Моніторинг у системі оцінювання

Лекція 5. Оцінка як обов’язковий елемент соціальної експертизи

План

Оцінювання, класифікація видів оцінювання.

Моніторинг у системі оцінювання.

Цілі та процедура оцінювання

Експертна оцінка

 

2 години – для студентів спеціальності “Соціальна робота ”

 

1. Оцінювання, класифікація видів оцінювання.

Оцінка – встановлення відповідності кількісно-якісних характеристик якогось об’єкта щодо певних вимог. Види оцінок: моральна (схвалення чи осуд соціальних явищ відповідно до етичних категорій добра і зла), педагогічна (визначення міри засвоєння учнями знань, умінь і навичок відповідно до навчальної програми), практично-вибіркова (бракераж).

Суб’єктом оцінки є той хто оцінює, об’єктом – той кого оцінюють, предметом – те, що підлягає оцінюванню і власне оцінка. Дієвість оцінки залежить від авторитетності суб’єкта оцінки, ситуації оцінювання, якості оцінки (її обґрунтованості, диференційованості), відношення об’єкта оцінки до всіх елементів оцінюваної ситуації.

У педагогічній психології треба враховувати знання, розуміння матеріалу, вміння практично використовувати його та рівень та глибину психологічного контакту учня і вчителя. Оцінка буде тільки тоді обґрунтована, коли оцінкове судження стосується мотивів вчинку, його місця у системі поведінки учня, засобів його здійснення.

Об’єктами оцінювання соціальної експертизи є соціальна програми, соціальні проекти.

Встановлено, що основними видами завдань оцінювання є:

1. оцінювання ефективності програми / проекту.

2. збір та аналіз даних для звітності перед засновниками, спонсорами, донорами тощо (пов’язана із отриманням грандів).

3. пошук шляхів покращення програми / проекту (проводиться самими організаторами з метою вдосконалення роботи проекту / програми).

4. порівняння різних програм / проектів з метою визначення кращих.

Залежно від цілей та завдань оцінювання в окремих організаціях використовують різні види оцінок персоналу. Їх класифікують за багатьма ознаками.

За змістом оцінки можуть бути частковими, коли оцінюють лише певні якості виконавця чи рівень виконання роботи, та комплексними, коли оцінюють в комплексі ділові та особистісні якості, трудову поведінку, результати діяльності.

За регулярністю проведення процесу оцінювання оцінки поділяються на такі, що одержуються постійно з певною періодичністю — раз у півроку, у рік, у два роки; епізодичні оцінки, які зумовлені певним етапом (завершенням випробувального терміну, пересуван­ням по службі, заходами дисциплінарної відповідальності тощо).

Залежно від критеріїв оцінювання виокремлюють кількісну оцінку, якісну, часових орієнтирів, аналітичне оцінювання (зведення всіх оцінок за всіма критеріями).

У практиці оцінювання програм країни Європейського Союзу застосовують три основні види оцінювання залежно від періоду оцінювання розрізняють вхідну (або базаву/ формуюче), поточну (процесуальне) та підсумкову оцінки (оцінювання за результатами).

Вхідна оцінка здійснюється на початковому етапі розробки програми / проекту (або окремого виду проектної діяльності), коли потрібно оцінити вихідну ситуацію, реалістичність цілей та завдань, доречність та адекватність обраних об’єктів, очікуваних результатів [7. c. 81].

Поточна оцінка застосовується, коли програма/ проект вже впроваджується і, не очікуючи його закінчення, потрібно оцінити перебіг подій – чи насправді реальна діяльність підповідає запланованій, чи потрібні якісь кардинальні зміни, додаткові заходи тощо. Вона може містити кількісні (кількість учасників, наданих послуг, працюючих організацій тощо) та якісні характеристики (які зміни в поглядах, поведінці учасників спричинила участь у програмі / проекті; як це використали люди для поліпшення ситуації; що нового було ними ініційовано).

Підсумкова оцінка – це оцінка результатів, яких досягнуто наприкінці проекту; здійснюється аналіз рентабельності програми / проекту.

За системністю оцінювання використовують такі оцінки: системні, коли задіяні всі блоки системи оцінки; безсистемні, коли оцінювач має право вибирати критерії, методи, способи, інструменти, процедуру оцінювання.

За суб'єктом оцінювання розрізняють оцінку працівника його керівником, колегами, клієнтами, підлеглими або всебічну, так звану 360о-оцінку, що враховує в комплексі всі перелічені оцінки.

Крім того, суб'єктом оцінки може бути і сам оцінюваний. Тоді йдеться про самооцінку, або внутрішню оцінку персоналу. Інформацію про внутрішню оцінку, тобто самооцінку трудових зусиль, дає проведення мотиваційно-оцінкового моніторингу. Поєднання внутріш­ньої та зовнішньої оцінок персоналу дає змогу повніше реалізувати орієнтуючу та стимулюючу функції оцінки.

За професійно-функціональною структурою є такі види оцінки:

•  оцінка робітників;

•  оцінка службовців (фахівців);

•  оцінка керівників.

Останній класифікаційний поділ має велике значення, оскільки суттєво впливає на вибір критеріїв, методів і процедур оцінювання.

Кожен з видів оцінювання дає інформацію для прийняття управлінських рішень, а також допомагає побачити нові перспективи, підготувати звіт про суспільний результат від реалізації програми / проекту. Завдяки цьому оцінювання підвищує розуміння учасників самого процесу, підвищує їхню відповідальність за результати виконання програми, сприяє забезпеченню стійкого фінансування тощо.

Виділяють шість основних типів оцінювання залежно від завдання, яке стоїть перед тим, хто здійснюватиме оцінювання.

1. Оцінювання послідовності дій/заходів:

- дає концептуальні відповіді на питання про логічну побудову програми (логічний взаємозв’язок між причинами й наслідками);

- дає концептуальні відповіді на питання щодо операційної логіки та послідовності дій у рамках програми.

Оцінювання послідовності дій/заходів дає змогу оцінити правильність, послідовності етапів роботи та виявити рівень і характер впливу такої послідовності на ефективність та результативність програми.

2. Попереднє оцінювання операційної стратегії – здійснюється до початку реалізації програми. Воно допомагає зрозуміти, як взаємодіють окремі частини програми, як між собою, так і з ресурсами, необхідними на виконання програми. Таке оцінювання допомагає відповісти на запитання типу: чи достатньо людських ресурсів відповідної кваліфікації, необхідних для виконання складових частин програми? Чи своєчасно будуть надані фінансові, технічні й інші засоби для виконання програми згідно з графіком тощо. Крім того, таке оцінювання дає змогу визначити, чи відповідають цілі програми поточній ситуації (яка може змінитися з часом), чи правильно визначено обсяг ресурсів, необхідних для впровадження програми, тощо. Загалом таке оцінювання допомагає мінімізувати ризики.

3. Оцінювання процесу реалізації – дає детальну інформацію про те, чи відбувається реалізація програми згідно з планом, а також чи бенефіціари відчувають і сприймають короткотермінові результати програми. Таке оцінювання доповнює зворотний зв'язок і тому допомагає керівництву.

4. Оцінювання шляхом дослідження окремих ситуацій (case study) – допомагає керівництву програми вчитися на «живих» прикладах через вивчення вдалого й невдалого досвіду, щоби в подібних ситуаціях повторювати рішення або, навпаки, одразу шукати інші. В цьому разі сила рішення має вирішальне значення.

5. Оцінювання довготермінових ефектів програми, або оцінювання впливу – проводиться, як правило, через 3-7 років по завершенні програми з метою визначити реальний її (або сукупності програм) вплив на суспільство.

За допомогою такого оцінювання виявляють справжні причиново-наслідкові зв’язки між поставленими цілями та досягнутими результатами.

6. Мега-оцінювання покликане об’єднати результати кількох оцінювань (короткотермінових, середньотермінових, довготермінових), відомих досліджень тощо стосовно певної тематики. При цьому, використовуючи загальні критерії та зводячи різноманітні дані, роблять висновок щодо надійності та дієвості отриманих результатів.

Крім того, оцінювання може бути як внутрішнім, так і зовнішнім залежно від того, хто його здійснює. Внутрішню оцінку реалізують люди яеі безпосередньо реалізують програму /проект. Для зовнішньої оцінки запрошують зовнішніх експертів.

Наявні підходи та методи оцінювання мають бути адаптованими в кожному конкретному випадку з огляду на потребу.

Існують різні форми оцінювання. Вони відрізняються метою та рівнем аналізу і можуть певною мірою збігатися. Оцінювання, розглянуте в данному посібнику, необхідно відрізняти від такого:

a) Завчасне оцінювання (Appraisal): критична перевірка потенційної цінності (корисності) справи (напр., програми), здійснюване до моменту прийняття рішення щодо початку впровадження.

б) Моніторинг (Monitoring): постійне відстежування прогресу впровадження програми задля визначення відповідності планові та прийняття

необхідних рішень щодо вдосконалення діяльності.

в) Критичний огляд (Review): періодичне або спеціальне, часто швидке визначення стану виконання програми, до якої не застосовують звичайного оцінювання. Критичні огляди, як правило, застосовують до операційних питань.

г) Обстеження (Inspection): загальна перевірка, покликана виявити слабкі місця та збої в роботі і запропонувати шляхи коригування.

д) Розслідування (Investigation): спеціальна перевірка заяви щодо порушення та забезпечення доказів для можливого судового переслідування чи дисциплінарного покарання.

ж) Аудит (Audit): визначення адекватності управлінського контролю для забезпечення: ефективного використання ресурсів; збереження фондів; надійності фінансової та іншої інформації; відповідності чинному законодавству та політиці, чинним правилам; ефективності управління ризиками; адекватності організаційної структури, систем і процесів.

з) Дослідження (Research): системне вивчення, призначене для створення чи розвитку знань.

е) Внутрішнє управлінське консультування (Internal Management Consulting): консультаційні послуги, покликані допомогти керівництву запровадити зміни, викликані організаційними й управлінськими проблемами, та вдосконалити внутрішні робочі процеси.

    Комплексна оцінка.

Загальна оцінка будь-якої соціальної програми складається з оцінки окремих її аспектів: організаційного, економічного, соціального, політичного тощо. Отримані часткові оцінки можна об’єднати в єдину комплексну або інтегральну оцінку, яка дає одночасно оцінити якість програми.

Найповніше система оцінювання проявляється в комплексній оцінці працівника, яку можна розробляти за всіма категоріями персоналу організації.

Рис. 5.4. Структура комплексної оцінки працівника

Структуру комплексної оцінки можна подати у вигляді моделі, що охоплює три групи характеристик (рис. 5.4).

•  працівника щодо його ділових та особистісних якостей;

•  трудової (ділової) поведінки;

•  виконання роботи, її результатів.

Із рис. 5.4 видно, що між трьома групами характеристик персоналу існує тісний зв'язок. Його основою є те, що трудова діяльність одночасно є процесом реалізації здібностей, знань, інших ділових якостей; сукупністю дій при виконанні професійно-функціональних обов'язків; матеріальним втіленням якостей та поведінки в результатах праці. Результати праці є найважливішим компонентом комплексної оцінки, оскільки вони, по-перше, дають певне уявлення і про ділові якості працівника, і про його трудову поведінку, а по-друге, саме вони є свідченням досягнення індивідуальних і організаційних цілей підприємства.

Воднораз обмежуватись лише оцінкою результатів неправомірно, оскільки ці результати можуть бути одержані за різних типів трудової поведінки, різними діями та засобами. Крім того, результати діяльності соціального працівника не завжди залежать від докладених ним зусиль. У багатьох випадках ефективність послуги, що надається працівниками соціальних служб, визначається суб'єктивними факторами. Серед них велике значення мають індивідуально-психологічні властивості клієнта соціальної служби: його бажання змінити свій спосіб життя, стан здоров'я, підтримка з боку оточення тощо.

Існує кілька підходів до визначення комплексної оцінки персоналу. Один з них був розроблений Науково-дослідним інститутом праці (Москва, 1989 р.) і вдосконалений Київський національним економічним університетом [1, с 195]. Хоч здебільшого ця методика розроблена для промислових підприємств, її за певної адаптації можна застосовувати і в інших галузях, зокрема у сфері соціальної роботи. В основі методики оцінки персоналу лежить взаємозв'язок узгоджених показників всіх трьох груп характеристик, що входять до комплексної оцінки працівника Коп:

де 0,5 — емпіричний коефіцієнт, який посилює значущість оцінки складності та результатів праці; Кп — професійно-кваліфікаційний рівень працівника; Дп — ділові якості працівника; С, — складність виконуваних функцій (роботи); Рп — результати праці; О, С, А — відповідно оцінка освіти, стажу роботи за спеціальністю, активності у підвищенні кваліфікації та професіоналізму; 0,85 — максимальна оцінка професійно-кваліфікаційного рівня у балах.

Кожний елемент формули також є підсумованою величиною, яка формується з конкретних ознак. Залежно від специфіки виду діяльності ознаки різняться.

Наведені у формулі показники професійно-кваліфікаційного рівня працівника та його ділових якостей мають найважливіше значення для оцінювання персоналу соціальних служб. При оцінюванні професійно-кваліфікаційного рівня соціального працівника необхідно визначати його відповідність таким вимогам:

• рівень освіти соціального працівника: вища, неповна вища, середня, середня спеціальна;

• базова спеціальність та її відповідність професійно-кваліфікаційним вимогам. Перевагу отримають соціальні працівники, які мають насамперед фахову освіту, а також освіту в галузі педагогіки, психології, медицини, соціології. Працівники, які не мають фахової освіти, при оцінюванні одержують меншу кількість балів;

• стаж роботи у сфері служб та органів соціального захисту населення;

• рівень професіоналізму. Це найскладніший показник, який потребує спеціальної розробки виходячи з конкретних завдань, виконуваних соціальним працівником, а також якості та результативності їх реалізації.

При оцінюванні ділових якостей соціального працівника можна орієнтуватися на такі якості:

• високий рівень знань, вміння володіти і використовувати в комплексі знання про соціальні процеси, особливості взаємозалежності та взаємодії соціальних груп, а також знання в галузі психології, соціології, соціальної психології, права;

• професійна чесність, вміння відстоювати об'єктивні дані та засновані на них висновки і пропозиції на адресу органів управління незалежно від політичної кон'юнктури та особистої вигоди;

• знання правової сфери суспільства, законодавства з питань соціального захисту населення, юридичних засад діяльності різних соціальних інститутів;

• концентрація уваги, здатність до вольової регуляції, самоорганізація, добра пам'ять, комунікативні властивості, емпатичні схильності, доброзичливість, тактовність та ін.

Перелік якостей соціального працівника може бути доповнений та частково змінений. Проте при оцінюванні праці соціального працівника як суб'єкта професійної діяльності слід враховувати такі якості:

• особистісні якості, їх відповідність роботі соціальної служби;

• компетентність, великі знання та уміння в галузі соціального захисту, а також у сферах, які прямо чи опосередковано з нею пов'язані;

• уміння встановлювати адекватні міжособистісні стосунки у різних ситуаціях спілкування.

З метою уніфікувати вимірювання різних оцінок їх складові оцінюють у балах (табл. 5.3).

Таблиця 5.3

Вихідні дані комплексної оцінки працівника

Підставляючи дані табл. 5.3 у формулу Коп, одержуємо значення комплексної оцінки, наприклад, соціального працівника А:

К = 0,5-0,23-1,0 + 0,15-1,8 = 0,39.о.п

Цю методику комплексної оцінки можна застосовувати для оцінювання всіх категорій персоналу: робітників, спеціалістів, керівників. Оскільки оцінювання праці різних категорій працівників має свої особливості, різнитимуться також показники оцінки, способи виявлення та вимірювання результатів праці.

У зв'язку з цим застосовують прямі та опосередковані методи оцінки. За допомогою прямих методів оцінюють результати праці спеціалістів, керівників або персоналу організації. Опосередкованими методами оцінюють не результати діяльності, а хід виконання роботи, рівень дотримання функціональних обов'язків. Як правило, обидва методи поєднуються на практиці (рис. 5.5) [2, с 241].

Рис. 5.5. Схема оцінювання діяльності керівників соціальних організацій

Для одержання точнішої оцінки роботи керівників застосовують лише основні показники, які впливають на результати діяльності всієї організації. Ці нечисленні показники (4-6 позицій) забезпечують приблизно 80 % всіх результатів, тобто істотно впливають на досягнення цілей організації чи підрозділу [5, с 567].

Процедура оцінювання спеціалістів має певні особливості і здійснюється за такими напрямами:

• оцінка результатів основної діяльності (виконання прямих функціональних обов'язків);

• оцінка діяльності, що супроводжує основний процес (підвищення кваліфікації, творча активність);

• оцінка поведінки спеціаліста в колективі;

• оцінка якостей спеціаліста.

Розглянемо фрагмент форми комплексної оцінки соціального працівника (табл. 5.4).

Таблиця 5.4 Фрагмент форми комплексної оцінки соціального працівника

Моніторинг у системі оцінювання.

 Моніторинг соціологічний (від лат. Monitoring - застережливий) - форма організації проведення соціологічних досліджень, що забезпечує постійне одержання соціологічної інформації про стан певного соціального процесу або соціальної ситуації.

 У соціологічну практику це поняття прийшло з екології, де терміном "моніторинг" позначається безперервне спостереження за станом навколишнього середовища з метою попередження про можливі небажані відхилення у найважливіших параметрах. При організації соціологічних досліджень за типом моніторинг соціологічний зазвичай визначається невелике число найбільш істотних показників, що відображають стан соціального середовища, потім методом повторних досліджень регулярно проводяться соціологічні виміри, що дозволяє накопичувати й аналізувати інформацію в динаміці, використовуючи порівняння з базовими або нормативними показниками.

 Моніторинг соціологічний покликаний вирішувати певне коло наукових завдань, класифікувати які можна як за предметним, так і по функціональному підставах. При першому підході слід виділити вирішуються моніторингом соціологічним змістовні проблеми, при другому - типи підлягають вирішенню завдань. Предметні завдання моніторингу соціологічного випливають з початкового представлення авторів про сутність, закономірності, напрями та перспективи аналізованих процесів. Що ж стосується типів завдань, то стосовно до моніторингу соціологічному, вони поділяються на методичні, наукові та інформаційні.

 Методичні завдання моніторингу соціологічного полягають у розробці та експериментальній перевірці предметної структури моніторингу соціологічного; науково-організаційної структури моніторингу соціологічного; методів побудові і реалізації вибірки; методів та інструментів опитування; методів обробки та аналізу даних.

 Наукові завдання моніторингу соціологічного можна розділити на дві групи. Перша полягає у використанні одержуваних даних для відстеження та аналізу соціальної динаміки аналізованих процесів.

 Друга група завдань полягає у перевірці справедливості (оцінці ймовірності реалізації) гіпотез, висунутих в науково-дослідницькому проекті. Сюди можна віднести оцінку загальної соціальної спрямованості несформованого ринку робочої сили, а також емпіричну перевірку гіпотез про напрями та результати соціального процесу.

 Інформаційні завдання моніторингу соціологічного полягають у забезпеченні органів влади наукової і політичної громадськості країни методично надійної та політично незалежною інформацією про вплив відслідковуються факторів на різні соціальні суб'єкти і соціальні процеси і про соціальне самопочуття цих суб'єктів.

Моніторинг допомагає відстежити процес робіт, які відбуваються в рамках соціальної програми/проекту для порівняння реального стану справ з планом. Результати моніторингу дають можливість своєчасно реагувати на певні відхилення від плану, які виникають під час реалізації програми / проекту, з метою їх корекції, мінімізації негативних наслідків, не передбачуваних ситуацій.

Для здійснення моніторингу програми / проекту необхідний певний інструментарій. Він має бути конкретним та зрозумілим, відповідати на гологі питання, які стосуються досягнення завдань і мети програми / проекту; відповідати критеріям, що мають полекшити зрівняльність результатів. До інструментарію моніторингу можуть входити інтрвю, спостереження, анкети, фокус-групи. Важливою складовою моніторингу соціальних програм / проектів є періодичний аналіз поточної та підсумкової звітності за відповідними схемами.