Цілі та процедура оцінювання

Кожне оцінювання має бути спланованим, для того щоб:

- визначити мету та масштаб оцінювання, а також користувачів його результатами;

- визначити методи оцінювання;

- визначити базові показники, з якими будуть порівнювати показники досягнень програми;

- визначити необхідні ресурси та часові рамки проведення оцінювання.

Для проведення процедури оцінювання потрібно:

1. Визначити цілі оцінювання;

2. Визначити об'єкт (и) оцінювання;

3. Скласти план оцінювання і визначитися з методологією і інформаційними джерелами;

4. Зібрати інформацію;

5. Обробити інформацію, зробити аналіз, висновки, скласти звіт;

6. Надати попередній звіт замовникові;

7. Надати фінальний звіт з пропозиціями відносно використання результатів оцінювання.

Крім того, важливо сформулювати перелік документів, які сприятимуть глибшому розумінню сутності соціальної програми / проекту і допоможуть у реалізації.

Визначення мети оцінювання

Щоб результати оцінювання мали практичну користь, потрібно визначити, яка основна мета її проведення.

Для формулювання мети оцінюваня необхідно відповісти на такі запитання:

Чому здійснюється оцінка саме цієї програми або стратегії?

Яку інформацію передбачається здобути?

Як використовуватимуть отримані дані?

Найпоширенішою є класифікація цілей оцінки, розроблена відомим фахівцем у галузі розвитку людських ресурсів Д. Макгрегором:

1) інформативна мета, яка полягає в забезпеченні керівників різних рівнів управління необхідними даними про роботу своїх підлеглих, а також про їх індивідуальні здобутки та недоліки;

2) мотиваційна мета, яка передбачає взаємозв'язок матеріальної винагороди і морального заохочення з трудовою поведінкою і результатами праці і таким чином орієнтує персонал на покращення діяльності, набуття нових професійних навичок, необхідних для кращого виконання завдань із соціального захисту;

3) адміністративна мета, яка постійно реалізується у процесі прийняття кадрових рішень: підвищення (пониження) по службі, переведення на іншу роботу, перепідготовка та перекваліфікація, заохочення або покарання, припинення трудового договору.

Експертна оцінка

Вивчення суджень, думок експертів щодо досліджуваної проблеми називають експерт-опитуванням, експертизою, а самі судження — експертними оцінками. Експертна оцінка – метод прогнозування соціального явища або процесу, який дозволяє отримати необхідну інформацію від компетентних осіб (експертів) [Словарь по соц. пед./ Мордах воль. – М., 2002.]. Експертиза — спеціальне компетентне дослідження будь-якого питання, що потребує спеціальних знань і подання мотивованих висновків. Практика останніх років свідчить, що використання експертних оцінок у соціологічному дослідженні, що дає змогу підвищити рівень соціального управління. Вони мають важливе значення в розв’язанні завдань соціального прогнозування і проектування.

До основних видів експертного опитування слід віднести анкетування, інтерв’ю, «мозкову атаку», дискусії, поради, ділові ігри. Бажаного ефекту досягають, використовуючи різні види опитування.

Експертну оцінку здійснюють у кілька етапів. На першому етапі готують і видають документ, в якому формулюють такі питання: завдання та цілі експертизи, її необхідність; строки виконання робіт; завдання, склад, обов’язки та права групи управління, фінансове і матеріальне забезпечення робіт. Підготовка цього документа, формування групи управління та відповідальність за організацію її роботи покладається на керівника групи.

У найзагальнішому вигляді виокремлюють такі напрями використання експертизи в соціологічному дослідженні:

- оцінки соціальних властивостей суспільних систем та їхніх елементів, процесів, явищ і прогнозування тенденцій їхнього розвитку;

- визначення ступеня вірогідності соціологічної інформації, здобутої іншими методами;

- атестація колективів чи членів колективів за рівнем соціальної активності, професійної придатності тощо. У силу характеру соціальної експертизи одним з гарантів її об'єктивності є спільна робота експертів, а також який обирається тип організаційної моделі експертування. Організатор може вибрати одну з викладених нижче організаційних моделей експертної роботи.

 Модель I: «Рецензія». Рецензування в організаційному відношенні - найбільш традиційна форма експертної оцінки, що включає:

 • замовлення на рецензію особі (організації), що виступає в якості експерта;

 • надання експерту матеріалів, що підлягають рецензуванню;

 • прийняття підсумкового документа - рецензії та відповідні дії: схвалення і подальше завершення стосунків з рецензентом (оплата рецензії, надання слова при обговоренні документа, рішення авторсько-правових питань і т.д.); відправка рецензії експерту на переробку або доопрацювання; перезаказ рецензії іншому експерту.

 Рецензія - просте і найменш витратний експертування документа, але воно не містить усіх переваг експертної роботи і може ввести орган, що приймає рішення, в оману щодо справжнього стану справ або перспектив доопрацювання документа.

 У рамках даної моделі може бути передбачений компенсуючий ці недоліки варіант:

 • рецензія замовляється кільком не пов'язаних між собою експертам, причому замовлення містить перелік вимог, включаючи формулювання запитань, на які експерти повинні відповісти обов'язково й однозначно;

 • рецензії приймаються без будь-яких обмежень щодо якості, крім пунктів, обговорених у технічному завданні;

 • тексти рецензій обробляються соціологічними методами, прийнятими при обробці документальних джерел, спеціально залученими фахівцями, перед якими не ставляться власне експертні завдання;

 • підсумки вторинної обробки експертних оцінок складають акт експертизи, що розглядається органом, що замовив експертне дослідження.

 У рамках даної моделі може розглядатися і консультування - фактично це рецензування без подання тексту експертного висновку.

 Модель 2: «Моніторинг». Ця модель застосовується, якщо виробництво соціальної експертизи набуває регулярний характер і здійснюється на довготривалій основі.

 У даному випадку може бути використана наступна послідовність дій:

 • приймає рішення орган укладає договір про експертизу в порядку моніторингу, відповідно до якого він стає (на обумовлений термін) клієнтом поспіль експерти (або використовується більш правильна в організаційному відношенні схема: замовник - організатор - виконавець, - про що буде сказано пізніше);

 • експерт розробляє стандартну схему моніторингу, що автоматично застосовує в тому чи іншому часовому режимі (наприклад, при появі кожного проекту відповідного правового акта або кожного соціального проекту, представленого на розгляд приймає рішення органу, або щокварталу незалежно від того, чи з'являється новий привід для проведення соціальної експертизи);

 • експерт подає органу, що приймає рішення, підсумки дослідження, проведеного в порядку моніторингу, за стандартною формою, що передбачає в тому числі порівняння даних результатів з більш ранніми результатами, отриманими в тому ж порядку.

 Застосування моделі «Моніторинг» може бути ефективним, якщо експертом є наукова установа або підрозділ, кваліфікація співробітників або партнерів якого дозволяє розраховувати на високу якість експертної оцінки однорідного, але досить великого матеріалу. У рамках моніторингу експертна оцінка використовується поряд з іншими дослідницькими технологіями.

 Застосування моніторингу малоефективно, якщо характер вирішуваних завдань різний і не зводиться до моделі суспільства, обмеженою лише деякими параметрами. Інша особливість моніторингу - виявлення його ефективності лише після накопичення достатнього матеріалу для порівняння досліджуваних явищ або процесів.

 Модель 3: «Проект». Ця модель експертного дослідження використовується при вирішенні групи суміжних завдань, в якій експертна оцінка набуває інструментальне значення як основа проектування бажаних суспільних станів і тенденцій.

 У найбільш загальній формі модель «Проект» передбачає наступні етапи:

 • усвідомлення замовником наявності проблеми і бажання її вирішити;

 • постановка замовником завдання проведення соціальної експертизи перед організатором;

 • осмислення організатором задачі і вибір адекватної організаційної схеми рішення, складання пропозицій замовнику, включаючи бізнес-план;

 • опрацювання пропозицій організатора із замовником, прийняття замовником рішення щодо проведення експертизи, включаючи порядок і гарантії фінансового, матеріально-технічного, інформаційного забезпечення, а також умови схвалення експертного висновку (рівень мінімальних вимог);

 • залучення організатором експерта, постановка завдання, договір щодо умов праці експерта і винагороди за підсумками роботи (включаючи питання авторського права), підписання договору організатором і експертом;

 • робота організатора з переструктуруванню експерта в сенсі розкриття його резервів для вирішення творчих завдань, робота експерта у творчому режимі;

 • оформлення результатів творчої праці без уніфікації понятійної середовища та орієнтації на вимоги до інтерфейсу (інтерфейсом прийнято називати засоби, що забезпечують передачу інформації користувачеві в доступній йому формі. Вимоги інтерфейсу полягають у забезпеченні адекватного розуміння користувачем інформації, призначеної для нього, без умови додаткового освоєння нових мовних коштів);

 • переробка підсумків експертом (ущільнення інформації та систематизація висновків);

 • обробка організатором отриманого від експерта результату відповідно до прийнятним інтерфейсом (у тому числі шляхом залучення до роботи фахівця з перетворенням текстів відповідно до прийнятого у замовника інтерфейсом);

 • представлення підсумків експертизи замовнику, оформлення акту приймання продукції, завершення стосунків замовника з організатором та організатора з експертом.

 Трудомісткість такої моделі експертування є її перевагою: підсумок експертизи набуває мультиплікаційний ефект, а значить, експертний висновок можна багаторазово використовувати в різних контекстах управлінської діяльності.

 Одночасно вирішується і нерутінний завдання з формування творчо активної експерта, який з виконавця конкретного замовлення перетворюється на ініціатора висунення певних соціально значимих ідей і рішень. Зазвичай такі групи зберігаються протягом кількох років.

 Моделями «Рецензія», «Моніторинг», «Проект» не вичерпується перелік можливих організаційних форм соціальної експертизи. Різниця завдань, які доводиться вирішувати в кожному конкретному випадку, як і відмінність ресурсів (кадрових, фінансових, матеріально-технічних), а також відмінність звичних для даної ситуації організаційно-діяльнісних схем визначає вибір форми експертного дослідження. Можлива й комбінація різних форм експертизи.

 При проведенні соціальної експертизи необхідно чітко уявляти, на які критерії, показники, норми буде орієнтуватися експерт. Критерії соціальної експертизи, соціальні показники і норми повинні:

 • мати відносний характер (тобто виявляти своє значення тільки при зіставленні явищ, ситуацій, тенденцій і т.д.);

 • володіти мірою (тобто піддаватися вимірюванню в тих або інших умовних одиницях);

 • припускати зміна під дією керованих суспільством факторів.

 Етапи роботи експертів при використанні різних моделей експертування мають різний зміст.

 При реалізації моделі 1 етапність трьочастная (замовлення - робота - приймання роботи), при цьому організатор зобов'язаний, по суті, лише надати документи, що підлягають експертизі, і, якщо це необхідно, деякі супутні матеріали та додаткову інформацію.

 При використанні моделі 2 етапність та ж. Організатор і тут виконує майже виключно функцію постачальника експортованого матеріалу, вся інша робота організується підрядився науковим колективом.

 Спеціальні завдання постають перед організатором, якщо експертиза здійснюється за моделлю 3:

 1-й етап: організатор, уклавши договір з замовником, формує план експертного дослідження, веде пошук експерта, переговори з ним, укладає договір;

 2-й етап: організатор визначає місце проведення колективної роботи, що відповідає особливостям обираються методів, обладнує його необхідними засобами, погоджує з експертом графік колективної роботи;

 3-й етап: організатор проводить перші колективні опрацювання питання, запрошуючи методологів - фахівців з організаційно-діяльнісних ігор чи інших фахівців з організації колективної творчої діяльності (або веде цю роботу сам);

 4-й етап: організатор в певний планом момент припиняє творчий пошук експерта і організовує етап підготовки первинного експертного матеріалу (неформатованого і без дотримання вимог щодо інтерфейсу);

 5-й етап: організатор форматує матеріал і переробляє його відповідно до вимоги інтерфейсу, залучаючи фахівців (включаючи окремих членів експертної групи) або самостійно;

 6-й етап: організатор представляє перероблений матеріал експертові і узгоджує з ним текст, що направляється як підсумок експертизи замовнику;

 7-й етап: організатор вносить матеріал на розгляд замовника.

 Етапи можуть поєднуватися або, навпаки, деталізуватися шляхом виділення підетапів. Зміст етапів може змінюватися.

 Робота над експертним висновком ведеться різними способами, кожний з яких має свою специфіку і певну технологію. Якщо використовується організаційна модель «Рецензія», то технічні прийоми такої роботи достатньо прості і загальновідомі. У цьому випадку додатковим засобом може бути пам'ятка експерту, в якій вказується, які пункти повинен містити текст висновку і на які питання слід відповісти в обов'язковому порядку.

 Модель «Моніторинг» і особливо модель «Проект» вимагають більш складної роботи з експертами, активізації їх креативних (творчих) здібностей, якщо мова йде про фахівців. Існують і особливості роботи з експертами - носіями і споживачами соціальних послуг. Тут в основному доводиться використовувати розроблені в соціології варіації методу опитування.

 Ряд методів роботи з експертами передбачає очну форму, коли висновок (думка) формується в ході безпосереднього контакту експертів між собою або з організатором. Інші методи (підготовка доповідної записки, відповіді з опитувальних листів, формалізований анкетне опитування та ін) припускають заочна участь експертів.

 З очних методів наведемо технологічну схему методу ситуаційного аналізу:

 1) для аналізу представляється опис (в тому числі і в діалоговій формі) реальної життєвої ситуації;

 2) в ході аналізу виявляються проблема, її симптоми, встановлюється її типовість шляхом зіставлення з іншими проблемами, виключаються з опису несуттєві умови, пропонуються можливі способи виходу із ситуації і можливі наслідки цього; на цій підставі формулюється найбільш прийнятне рішення;

 3) отримані в результаті аналізу експертні матеріали далі аналізуються відповідно до загальних правил роботи з експертними висновками.

 Особливе значення даного методу полягає в тому, що експерт, аналізуючи запропоновану для розгляду ситуацію, самостійно формулює дослідницьку задачу. Це означає, що при залученні групи експертів можна отримати не тільки різні відповіді на поставлені питання, а й урізноманітнити самі питання, що визначають кваліфікацію фахівця, його компетентність та евристичні можливості.

 Недоліками методу можна вважати спрощення задачі і редукцію безлічі причин, чинників, умов до мінімального набору параметрів, орієнтацію на сьогочасні залежності і ігнорування довгострокових і прихованих (латентних) факторів.

 Прикладом заочного методу може бути технологічна схема методу Дельфі, мета якого - подолання конформізму експертів, спотворює якість експертизи. Ця мета досягається, перш за все, анонімністю експертів і особливостями процедури, яка передбачає наступний порядок дій:

 1) кожен член групи експертів дає числову оцінку якого-небудь процесу, явища чи об'єкта;

 2) організатор опитування підраховує і повідомляє всім експертам середню оцінку (медіану) і показник розкиду (інтервал між крайніми з них);

 3) експертів, які дали крайні оцінки, просять письмово обгрунтувати свою думку. Ці обгрунтування анонімно передаються іншим експертам;

 4) аналогічно проводяться другий тур і наступні тури опитування, які закінчуються, коли інтервал оцінок експертів виявиться досить вузьким.

 Варіанти методу - запит в експертів не точної оцінки, а інтервалу, в якому вона повинна перебувати; ознайомлення експертів не з оцінками, а з аргументацією інших членів експертної групи; подання на перших етапах роботи лише окремих оцінок, а не групової думки і т.д.

 Гідність методу в тому, що на відміну від колективної роботи експертів при якій психологічно непереборно вплив на окремих експертів думки нікого більшості (не обов'язково в числовому виразі - іноді мова може йти про авторитет досвіду, посади, особистості колеги), в цьому випадку анонімність роботи та письмова оцінка створюють іншу ситуацію спілкування і знижують вплив на учасників роботи домінуючого думки.

 Як один з якісних методів експертної оцінки метод Дельфі дозволяє досягти не тільки цікавих результатів при аналізі тих чи інших державних рішень з соціальних питань, але і в складних питаннях соціальної експертизи вийти на конвенціальних угоди за критеріями, показниками, нормам. Метод ефективно застосовується при виявленні найважливішою причини з обмеженого ряду причин будь-якого явища або найважливішого результату з набору результатів тієї або іншої дії.

 Недоліком методу Дельфі є те, що він все ж не усуває повністю прагнення експерта слідувати думці більшості. Тим не менше останнім часом цей метод з певними поправками застосовується все частіше. Його використання може виявитися ефективним при організації соціальної експертизи за моделлю «Моніторинг».

 Застосовуючи ці та інші методи (метод експертних оцінок, організаційно-діяльнісної гру, «мозкову атаку», метод сценаріїв та ін), експерт створює кінцеву продукцію експертизи - висновок, наданий в певній формі. Найчастіше це експертний висновок, але використовуються також форми експертного спостереження (підсумкового документа рекомендаційного характеру, в якому основну увагу експерта зосереджена на виробленні конструктивних пропозицій, спрямованих на вирішення проблеми, що розглядається) та проектної розробки.

 Експертний висновок може застосовуватися при аналізі нормативних актів, прийнятих (готуються до прийняття) на федеральному, регіональному або місцевому рівнях.

  Експертне спостереження використовується при формуванні загального уявлення про стан проблеми і при виробленні рекомендацій, в тому числі при підготовці тих чи інших рішень (у ході законопроектних робіт і т.д.).

 Проектна розробка виходить за межі завдань соціальної експертизи і в цьому сенсі не може бути обов `язковою, як форма представлення експертної оцінки. Ініціатива подання експертизи у вигляді проектної розробки може виходити тільки від самого експерта (експертної групи). Але, зрозуміло, така ініціатива може бути, у свою чергу, ініційована системою організації експертної роботи, якщо ця система спирається на творчі можливості експертів і мобілізує їх новаторський потенціал.

 При підготовці кінцевої продукції експертизи, в якій би з трьох названих форм вона не створювалася, передбачається подвійне оформлення результатів експертизи.

 Перший етап експертизи - фінальний матеріал експерта, виконаний у звичних для нього формах, термінах і т.д. Це «неформатований» матеріал: він ще не відповідає встановленим у договорі вимогам щодо складу документів, їх обсягу, структури, інших формальних ознак. Інакше кажучи, це нарис ув'язнення, його ескіз.

 Другий етап експертизи - висновок (спостереження, проект), перероблене відповідно до вимог інтерфейсу. Оскільки мова, прийнята в наукових колах, і мова, якою користуються у приймаючих рішення органах, різниться, експертна робота може виявитися незрозумілою. А оскільки сенс проведення експертизи полягає в тому, щоб замовник з її допомогою коригував свої дії, саме на його мову повинна бути переведена виконана професійна робота.

 Виконання цих вимог інтерфейсу входить у завдання організатора. Однак це не означає, що організатор неодмінно сам проводить адаптацію і що експерт не має права або не в змозі провести таку роботу в рамках свого договору з організатором. Технологічно важливо розвести ці два етапи роботи і не вимагати на етапі первинної обробки результатів експертизи того, що є спеціальною завданням іншого етапу.

 СПИСОК ВИКОРИСТАНОЇ ЛІТЕРАТУРИ

 1. Горкіна А.П. та ін Соціальна енциклопедія. - М., 2000.

 2. Луків В.А. Соціальна експертиза / Ін - т молоді. - М., 1996.

 3. Литвак Б.Г. Експертні оцінки та прийняття рішень. - М., 1996.

 4. Дятченко Л.Я., Іванов В.М. та ін Соціальні технології. - М., 1995.

 5. Осипов Г.В. та ін Енциклопедичний соціологічний словник. - М., 1995.

 6. Тетерський С.В. Введення в соціальну роботу. - М., 2001 р.

У процесі експертної оцінки експерти виконують, як правило, дві основні функції:

1) формують об’єкти (набір показників, альтернативні ситуації, цілі, рішення);

2) здійснюють вимірювання характеристик (оцінка якості, імовірності події, значущості цілей тощо).

Цю роботу виконують на підставі логічного мислення, відповідних знань, інтуїції, практичного досвіду, широко користуючись методами математичної статистики, теорії групового вибору, теорії вимірювання.

Оскільки експертна оцінка є думкою компетентної особи — експерта (групи експертів), то він має бути висококваліфікованим, авторитетним фахівцем, знати мету і завдання дослідження, що проводиться, і мати такі якості, як принциповість, об’єктивність, здатність нетенденційно оцінювати досліджуваний об’єкт.

Найпоширенішим різновидом соціальної експертизи є професійна атестація, яка має на меті збирання інформації щодо оцінювання професійних і моральних якостей працівників, виявлення професійно безграмотних осіб. Професійна (функціональна) безграмотність — це брак необхідних знань і навичок, неспроможність виконувати професійні обов’язки внаслідок відсутності потрібної кваліфікації.

Для проведення професійної атестації створюють спеціальну комісію. Атестований доповідає їй про свою діяльність. Обговоривши звіт, комісія оцінює діяльність атестованого і розробляє заходи для її вдосконалення. Ефективність атестації як способу збирання первинної соціологічної інформації залежить від раціональності використання в ній елементів інтерв’ю, аналізу документації, включеного спостереження тощо.

Якість експертної оцінки при цьому забезпечується відповідністю соціальних показників, що за ними здійснюється атестація, поставленим завданням, а також компетентністю і колегіальністю атестаційної комісії. Останнє полягає, по-перше, у тім, що члени цієї комісії мають добре знати атестованого по його роботі, а по-друге — репрезентувати всі структури, з якими він взаємодіє у виробничій діяльності.

Висновки атестаційної комісії мають бути інтегральними, комплексними, тобто охоплювати різні сторони професійної діяльності людини, містити оцінку перспектив і шляхів їх досягнення.

Отже, крім інформаційної функції, професійна атестація може виконувати й соціально-регулятивну. Можливості атестації за умов переходу до ринкової економіки, різних форм власності, розвитку демократії значно збільшуються. Її результати можуть використовуватися для оцінювання трудового внеску тих працівників, діяльність яких безпосередньо не зв’язана з кінцевими результатами, для конкурсного добору спеціалістів та керівників, для опрацювання складних управлінських рішень. Інакше кажучи, професійна атестація є обов’язковою складовою менеджменту.

Оскільки об’єктом соціологічного дослідження є певна соціальна спільнота (група, колектив), то важливо знати, а отже, вивчати її соціально-психологічні якості. Для цього використовують методики, розроблені в психології, зокрема тестування — експериментальний метод психодіагностики

 

1.

а)

б)

в)

г)

2.

а)

б)

в)

г)

3.

а)

б)

в)

г)

4.

а)

б)

в)

г)

5.

а)

б)

в)

г)

6.

а)

б)

в)

г)

7.

8.

9.

10.