Методика проведення та оцінки результатів експертних оцінок (на прикладі впровадження системи моніторингу здоров’я населення на рівні первинної медико-санітарної допомоги)

Вступ

Метод експертних оцінок — це прадавній науковий метод, який дозволяє отримати об’єктивну оцінку на основі певної сукупності індивідуальних думок експертів. Слово «експерт» (expertus) у перекладі з латинської мови означає «досвідчений», що, в свою чергу, походить від слова «experire» — досліджувати. Експерт — це особа (спеціаліст), якому довірено висловити думку про якийсь суперечливий чи складний випадок, оскільки людство у складних ситуаціях завжди намагалося врахувати думку висококваліфікованих спеціалістів у різних сферах життєдіяльно­сті (Гнатієнко Г.М., Снитюк В.Є., 2008).

Метод експертних оцінок визнано одним із специфічних методів досліджень у соціальній медицині, про що йшлося у Постанові президії Вищої атестаційної комісії України від 09.04.2003 р. № 18-09/4 «Паспорт спеціальності 14.02.03 — соціальна медицина» (uazakon.com/documents/date_11/pg_ibgzsx.htm). Однак цей метод у діючій системі охорони здоров’я застосовується доволі рідко. На нашу думку, це пов’язано як з неознайомленістю медичних фахівців з методологією, так і з відсутністю сучасного науково опрацьованого алгоритму проведення методу експертної оцінки та аналізу його результатів.

Як уже зазначалось у попередніх роботах (Рудень В.В., Гутор Т.Г., 2008а; б), нами розроблено систему моніторингу стану здоров’я населення на рівні первинної медико- санітарної допомоги із запропонованим електронним паспортом здоров’я. Однак наразі в Україні не існує єдиної позиції щодо важливості та нагальності запровадження моніторингу стану здоров’я населення у практичну діяльність (Горбань Є.М. та співавт., 2004; Зелінський С.Е., 2009). Відтак для дослідження потенційної ефективності та можливого практичного запровадження розробленої нами системи у діяльність сімейного лікаря, проведено експертну оцінку з-поміж викладачів вищих навчальних медичних закладів України щодо вирішення окреслених питань.

Мета роботи — розроблення алгоритму методу експертних оцінок на прикладі впровадження системи моніторингу здоров’я населення на рівні первинної медико- санітарної допомоги, а також популяризація цього методу.

Об’єкт і методи дослідження

У ході виконання наукової роботи застосовано ретроспективний, статистичний, кваліметричний методи та контент- аналіз із дотриманням правил системного аналізу і системного підходу.

Результати та їх обговорення

Методика проведення експертної оцінки зводиться по своїй суті до виконання обов’язкових елементів, що визначають етапи її проведення:

1. Виявлення необхідності щодо проведення експертної оцінки.

2. Складання плану і програми експертизи:

• формулювання мети та завдань експертної оцінки;
• розробка анкети (опитувальника);
• вибір способу оцінки компетентності експертів;
• формування правил проведення опитування експертів (тобто вибір методу експертних оцінок);
• формування правил та методів обробки думок експертів.

3. Формування групи експертів та проведення власне експертної оцінки.

4. Групування та зведення матеріалів експертизи.

5. Розрахунок статистичних показників:

• визначення відносних величин;
• розрахунок групових оцінок із врахуванням шкали ваги експертів;
• визначення достовірності різниці поміж отриманими відносними чи середніми величинами (з використанням непара­метричних методів Манна — Уїтні, Колмо­горова — Смирнова, Ван дер Вардена);
• дослідження взаємозалежності поміж висновками експертів (за допомогою методів рангової кореляції Спірмена чи Кендалла);
• обчислення коефіцієнта детермінації (відображає частку впливу певного фактора при дії декількох на результат);
• проведення рангування (при наявно­сті масиву кількісних та напівкількісних даних).

6. Визначення ступеня однодумності експертів за допомогою розрахунку:

• коефіцієнта варіації (відображає однорідність сукупності);
• показника асиметрії;
• показника ексцесу (гостровершинності);
• коефіцієнта осциляції (відображає відносне коливання значень).

7. Впровадження у практику зроблених висновків.

Опрацювання існуючої проблеми та намагання визначити шляхи подальшого розвитку власне і визначають необхідність щодо проведення експертної оцінки. Цю методологію доцільно використовувати у разі, коли наступні фактори ускладнюють можливість прийняти оптимальне рішення:

• існує неможливість точного прогнозування наслідків прийнятого рішення;
• відсутність чи неповність статистичної інформації, на основі якої приймається рішення;
• наявність факторів, які не піддаються контролю зі сторони особи, що приймає рішення;
• наявність декількох варіантів вирішення проблеми та необхідність вибору одного з них;
• неповторність та неможливість експериментальної перевірки прогнозованого перебігу подій і результатів процесів вирішення проблеми.

Алгоритм опрацювання мети та зав­дань експертної оцінки відбувається аналогічно, як при організації статистичного дослідження.

Анкета в експертних методах — це певним чином організований набір питань, відповіді на які розглядаються як інформація про ступінь впевненості експерта у ймовірності щодо розвитку певної події чи відносної важливості аналізованої події. Відтак, при опрацюванні анкет (опитувальника) щодо експертування системи моніторингу стану здоров’ я населення на рівні первинної медико- санітарної допомоги нами використано наступні типи запитань:

1. Питання, відповідь на яке полягає у виборі одного із декількох точно сформульованих позицій. Спеціаліст робить вибір шляхом вибору (підкреслення) одного із декількох варіантів думок, що позначені в запитанні.

Наприклад: Окресліть стаціонарне забезпечення сімейного лікаря, яке необхідне для запровадження ефективного моніторингу стану здоров’я: комп’ютер — 1, інтернет — 2, носії інформації — 3, принтер — 4, сканер — 5, факс — 6. Водночас експерти мають змогу висловити власну думку в графі «інше — 7».

2. Питання, в якому експертові пропонується поступити в якійсь конкретній ситуації. Відповідь фіксується як наявність чи відсутність цієї дії.

Наприклад: Чи погоджуєтесь Ви з тим, що запровадження системи моніторингу потребує створення на адміністративній території єдиного інформаційного простору?

3. Питання, що потребує від експерта висловити ймовірність якої-небудь ситуації в числовому вимірі (як правило, використовується бальна шкала).

Наприклад: Чи підтримуєте Ви думку щодо потреби запровадження в діяльність сімейного лікаря системи моніторингу за станом здоров’я людини на окремій лікарській дільниці? (поставте за рівнем значимості бал від 1 до 10).

4. Питання, відповіді на які «замасковані» відносними змінними величинами. Трактування результатів полягає в аналізі системи величин, які в подальшому проводять аналітики.

Наприклад: Яким чином зміниться частка умовно здорового населення при запровадженні системи моніторингу в практичну діяльність системи охорони здоров’я за інших незмінних умов? (сильно зменшиться — 1, незначно зменшиться — 2, без змін — 3, незначно збільшиться — 4, сильно збільшиться — 5).

5. Можна також у разі потреби використовувати питання, відповіді на які потрібно проставити в певному порядку згідно з їхньою значимістю, тобто прорангувати.

Набір питань в анкеті повинен мати логічний зв’язок, при цьому експерт може змінювати деякі з них, якщо вони не враховують всі необхідні, на його погляд, критерії.

Власне на етапі опрацювання програми експертної оцінки слід визначити, які саме фахівці будуть опитані, що здійснюється за допомогою одного із двох способів оцінки компетентності експертів (рис. 1).

Рис. 1

Основні способи оцінки компетентності експертів

Об’єктивний спосіб оцінки компетентності експерта включає:

• документальний метод, який передбачає підбір експертів, виходячи з їх професійних характеристик. Експерти повин­ні мати науковий ступінь та звання, належний стаж роботи за спеціальністю та атестаційну категорію;
• експериментальний метод, який передбачає проведення перевірки ефективності експерта в минулому. При цьому здійснюється розрахунок надійності й точності оцінок експертів на основі їхньої попередньої діяльності.

Суб’єктивний спосіб розрахунку компетентності експерта полягає у поєднанні само- та взаємооцінювання. Взаємооцінювання чи голосування передбачає аналіз характеристик, які були дані певному спеціалісту його колегами. Процедура самооцінювання полягає в тому, що експерт сам визначає вагомість своєї оцінки за певним запитанням (як правило, використовується 10-бальна шкала: від 0 — повністю некомпетентний до 10 — максимально компетентний). Водночас експертам пропонується оцінити ступінь впливу різних джерел інформації на їх думку. Так, спеціалістам пропонується висловити свою думку щодо впливу на них таких джерел інформації, як «проведений теоретичний аналіз», «практичний досвід», «узагальнення праць віт­чизняних авторів», «узагальнення праць закордонних авторів», «особистий досвід зі станом справ за кордоном», «інтуїція».

Загалом «ідеальний» експерт характеризується наведеними якостями (табл. 1).

Після вирішення всіх організаційних питань доцільно приступати до проведення власне експертної оцінки. Залежно від поставлених цілей та можливостей організаторів можна проводити експертну оцінку одним із нижченаведених методів (рис. 2).

Рис. 2

Основні методи проведення експертних оцінок

Суть індивідуального методу полягає в тому, що кожний експерт дає свою оцінку незалежно від інших, а потім ці оцінки за допомогою статистичних методів об’єднують у загальну. Основними способами проведення індивідуальної експертної оцінки є:

• інтерв’ювання (опитування за різними типами запитань, приклади яких наведено вище. Вважається, що найбільш точні та обдумані відповіді експерт дає після 30-секундного обмірковування на поставлене запитання);
• аналітичний спосіб (це доволі тривала робота для експертів, в результаті якої він повинен підготувати доповідну записку та надати морфологічний аналіз. Власне цей метод потребує від експерта проведення розбивки об’єкта аналізу на складові елементи, визначення стану та можливого впливу їх на результат. Цей метод доволі широко використовується на рівні Всесвітньої організації охорони здоров’я).

Груповий метод полягає у спільній роботі експертів та поданні узагальненої оцінки від цілої робочої групи. При проведенні цього методу використовуються метод Дельфі та метод «мозкової атаки».

• Метод Дельфі (походить від міста Дельфі та дельфійських мудреців) базований на тому, що на основі індивідуальних опитувань і спеціальної методології дозволяється уникнути групового впливу, який доволі часто виникає при роботі груп експертів. Техніка проведення цієї експертної оцінки полягає в тому, що спочатку всім експертам шляхом анонімного опитування ставиться певне запитання, відповідь на яке необхідно дати письмово в балах. Вважається, що завдяки письмовому опитуванню зменшується вплив таких факторів, як навіювання та схиляння до думки більшості. Опитування проводиться декількома етапами, при цьому встановлюється зворотний зв’язок у вигляді повідомлення оброб­леної інформації про збіг точок зору на попередніх етапах опитування. Наприклад, після чергового етапу проводиться обробка інформації, отриманої від експертів. При цьому показником групової думки вважається медіана, а показником узгодженості думок — діапазони квартилів (процентилей). Тобто визначається частка (це може бути 10 чи 15%) експертів, які дали найвищий та найнижчий бал. Після цього цим експертам повідомляють про те, що їх відповідь знаходиться не в серединній зоні, та пропонують обґрунтувати причини розбіжності в поглядах, надається змога ще раз поставити бал на поставлене запитання (при цьому не деталізується, хто з експертів потрапив чи не потрапив в серединну зону — цим самим виключається можливість впливу «авторитетних експертів» на загальну думку). Ця процедура дає змогу спеціалістам у разі необхідності змінити свою думку, враховуючи обставини, які вони могли упустити в першому етапі. Після повторного збору даних від експертів, які потрапили у крайні процентильні зони, проводиться повторний підрахунок аналогічних статистичних показників і процедура повторюється ще раз. В ідеалі процес за методом Дельфі має бути повторений як мінімум в 4 етапи, після чого медіана 4-го етапу приймається як кінцева узагальнена оцінка на поставлене запитання.
• Метод «мозкової атаки» полягає в тому, що формулюється певна проблема, яка в подальшому обговорюється групою експертів. При цьому жодна із запропонованих ідей не критикується, а навпаки — схвалюється. Використання цього методу дозволяє підвищувати продуктивність експертів: вважається, що «хороших» ідей виникає більше в тих випадках, коли намагаються аналізувати лише «хороші».

При плануванні експертної оцінки доцільним є визначення тих правил та методів обробки думок експертів, які будуть використовуватися при аналізі результатів. Ця процедура є вкрай важливою на етапі планування, оскільки нехтування нею може призвести до неможливості подальшого якісного аналізу отриманих результатів.

Після проведення власне експертної оцінки здійснюється групування та зведення матеріалів експертизи, що відповідає ана­логічним вимогам щодо проведення статис­тичного чи соціологічного дослідження.

При проведенні аналізу отриманих результатів аналітикам слід дати відповідь на два основних запитання:

1. Яку ж думку чи позицію висловили експерти?

2. Чи можна цю думку вважати достовірною та взяти її за основу при прийнятті управлінського рішення?

Для визначення позиції експертів щодо окремих запитань використовується розрахунок певних статистичних показників, які використовуються залежно від того, яким чином було сформульоване запитання та які варіанти відповідей пропонувалися. Відтак, якщо думка експерта має тільки якісну оцінку («так», «ні»), то нами згідно з основ­ними вимогами аналізу розраховувалися відносні величини (інтенсивні показники та показники співвідношення).

Якщо ж для висловлення думки експерти використовували кількісні параметри (бальну шкалу), то для розрахунку узагальненої думки здійснюється розрахунок середніх величин. Якщо склад експертів однорідний, то розраховується проста середня арифметична (М):

де V — індивідуальна думка кожного експерта; Σ — знак суми; n — кількість експертів.

Якщо ж склад експертів є неоднорідним (як при проведенні нашої експертної оцінки), то з-поміж експертної групи визначаються провідні фахівці, думка яких стосовно певних питань є більш значимою. Кожному з експертів у таких випадках присвоюється ваговий коефіцієнт (К). При опрацюванні результатів експертної оцінки на прикладі впровадження системи моніторингу стану здоров’я населення на рівні первинної медико-санітарної допомоги було використано шкалу ваги експертів (табл. 2).

При цьому для отримання узагальненої думки стосовно окремого питання вираховується зважена середня арифметична (М):

де V — індивідуальна думка кожного експерта; К — ваговий коефіцієнт; Σ — сума; n — кількість експертів.

Оскільки сформульовані нами запитання в анкетах передбачали відповіді типу «так» чи «ні» або виставлення балів, то оцінка вірогідності отриманих результатів здійснювалася за допомогою методів непараметричної статистики. Відтак, нами було використано такі непараметричні методи як Манна — Уїтні, Колмогорова — Смирнова, Ван дер Вардена. Водночас для дослідження взаємозалежності поміж висновками експертів за окремими запитаннями застосовано методи рангової кореляції Спірмена та Кендалла. Математичні розрахунки цих показників доцільно здійснювати з використанням комп’ютерних програм Atte­Stat for Excel або STATISTICA (Боровиков В.П., 2001; Реброва О.Ю., 2002).

При проведенні багатофакторного аналізу слід проводити розрахунок впливу окремо взятої причини на кінцевий результат. Для цього здійснюється розрахунок коефіцієнта детермінації, який може мати значення від 0% (причина зовсім не впливає на результат) до 100% (виключно ця причина спричинює результат).

Після отриманих результатів обов’ язковим елементом є розрахунок достовірності отриманої експертної думки. Для цього визначається ступінь однодумності експертів за допомогою:

• середнього квадратичного відхилення;
• коефіцієнта варіації (С), який вираховується за формулою:

де σ — середнє квадратичне відхилення;

М — середнє арифметичне значення.

Коефіцієнт варіації >30% означає неправильний підбір експертної групи, високу неоднорідність її за ступенем компетенції щодо цього запитання та неможливість вважати отриманий результат значимим.

Для детального аналізу однорідності експертної думки можна використати додаткові показники:

• показник рангової конкордації;
• показник асиметрії;
• показник ексцесу (гостровершинності);
• коефіцієнт осциляції (відображає відносне коливання значень).

Висновки

Запропонований алгоритм методології застосування методу експертних оцінок у соціально-гігієнічних дослідженнях на прикладі впровадження системи моніторингу здоров’я населення на рівні первинної медико-санітарної допомоги дозволяє зробити такі висновки:

1. Ідею щодо потреби запровадження системи моніторингу стану здоров’я населення на рівні первинної медико-санітарної допомоги підтримали всі 100,0% експертів, при цьому середній бал щодо важливості запровадження у запропонованих параметрах (0–10 балів) з використанням шкали вагомості експертів становив 8,32±1,56 бала. При цьому максимальну оцінку (10 балів), яка водночас стала і найпоширенішою, поставили 29,87% експертів, тоді як мінімальну оцінку (5 балів) поставили 2,67% фахівців. Оцінка розбіжностей думок експертів показує, що коефіцієнт варіації становить 18,75%, що свідчить про достатній рівень однодумності фахівців та можливість запровадження цієї системи у практичну діяльність сімейних лікарів.

2. Розроблена та запропонована для експертизи система моніторингу, на думку 85,7±4,0% експертів, надасть змогу перенести акцент у роботі сімейних лікарів на профілактичний напрямок за допомогою якісного проведення диспансеризації населення (88,3±3,7%) та систематичного проведення профілактичних оглядів населення прикріпленої дільниці (87,0±3,8%). Водночас 97,4±1,8% фахівців вважають, що ця система покращить інформаційні потоки в роботі сімейного лікаря, а 89,6±3,5% експертів твердять про можливість приймати за допомогою цієї системи управлінські рішення щодо збереження та зміцнення здоров’я населення, володіючи при цьому у 84,4±4,1% випадків інформацією про стан здоров’я здорових людей.

3. Метод експертних оцінок доцільно використовувати для вирішення дискутабельних питань у системі охорони здоров’я, одне з яких (доцільність запровадження системи моніторингу стану здоров’я населення на рівні первинної медико-санітарної допомоги) було вирішене.

Література

• Боровиков В.П. (2001) Statistica: искусство анализа данных на компьютере. Для профессионалов. Питер, Санкт-Петербург, 656 с.
• Гнатієнко Г.М., Снитюк В.Є. (2008) Експертні технології прийняття рішень. Маклаут, Київ, 444 с.
• Горбань Є.М., Латешев Є.Є., Пугач М.М. (2004) Моніторинг як складова частина технологій управління перебудовою медико-санітарної допомоги на засадах сімейної медицини. Охорона здоров’я України, 2(13): 38–46.
• Зелінський С.Е. (2009) Специфіка впровадження інформаційних технологій, зокрема медичних автоматизованих робочих місць у закладах охорони здоров’я. Управління закладом охорони здоров’я, 9: 61–73.
• Реброва О.Ю. (2002) Статистический анализ медицинских данных. Применение пакета прикладных программ STATISTICA. Медиа Сфера, Москва, 312 с.
• Рудень В.В., Гутор Т.Г. (2008а) Методичні рекомендації по організації моніторингу стану здоров’я населення у діяльності сімейного лікаря та розробки комп’ютерного паспорту здоров’я. Київ, 30 с.
• Рудень В.В., Гутор Т.Г. (2008б) Науковий твір «Модель моніторингу за станом здоров’я населення в діяльності сімейного лікаря (Львівський варіант)»; МОН України, Державний департамент інтелектуальної власності. Свідоцтво про реєстрацію авторського права на твір № 25598 від 09.09.2008.

Адреса для листування:

Рудень Василь Володимирович
79010, Львів, вул. Пекарська, 69
Львівський національний медичний університет ім. Данила Галицького, кафедра соціальної медицини, економіки та організації охорони здоров’я