Путівник по «джунглях гайдлайнів»: оцінювання методологічної якості клінічних настанов за допомогою опитувальника AGREE як невід’ємна складова адаптації клінічних настанов

Вступ

Клінічні настанови — один із багатьох інструментів, доступних фахівцям сфери охорони здоров’я, спрямованих на поліпшення якості надання медичної допомоги. (Legido-Quigley H. et al., 2013). За визначенням Інституту медицини (Institute of Medicine), США, клінічна настанова (англ. сlinical practice guidelines) — це твердження, розроблені на основі системної методології для допомоги лікарю і пацієнту у прийнятті рішення щодо надання раціональної медичної допомоги в різних клінічних випадках (Field M.J., Lohr K.N. (Eds), 1990). По суті клінічна настанова є формою медичного втручання і, як і будь-яке інше неякісне втручання, неналежна клінічна настанова спричинить суттєві ризики для багатьох пацієнтів. Водночас професійні медичні організації та урядові структурні підрозділи повинні мати впевненість щодо належної якості клінічної настанови перед початком її впровадження у практику, оскільки саме така настанова містить наукове обґрунтування рішень стосовно подальшого розвитку, ресурсного забезпечення, виявлення чинників незадовільної медичної допомоги, а також сприятиме професійному удосконаленню працівників сфери охорони здоров’я. Всі користувачі клінічної настанови прагнуть мати впевненість щодо належної якості та чіткий зв’язок із доказами.

Клінічна настанова базується на понятті «доказова медицина». Відповідно до найбільш широко вживаного визначення, доказова медицина — добросовісне, точне і свідоме використання кращих результатів клінічних досліджень для вибору лікування конкретного пацієнта. Проте на практиці ця вузька спрямованість часто розширюється на систему клінічних рекомендацій, спрямованих на групи пацієнтів, та оцінки медичних технологій, в яких акцент робиться на технології. Всі ці компоненти доказової медицини мають на меті поліпшення здоров’я шляхом ретельної наукової оцінки (Legido-Quigley H. et al., 2013).

Актуальність для України

Перші кроки у стандартизації медичної допомоги в Україні зроблені на початку 1990-х років. Стандарти і протоколи медичної допомоги розроблені з метою упорядкування медичної допомоги, проте їм були властиві певні недоліки, насамперед методологічні (Бліхар В. та співавт., 2010). Нині зрозуміло, що одним із найбільш суттєвих недоліків перших документів був експертний підхід до їх створення, відсутність даних щодо ефективності медичних втручань, лікарських засобів та інших медичних технологій, які були включені до клінічних протоколів.

Із 2006 р. в системі охорони здоров’я розпочато використання клінічних настанов для обґрунтування змісту медико-технологічних документів, спочатку у пілотному проекті (Росс Г., Новічкова О., 2006), потім — на основі методичних рекомендацій (МОЗ України, НАМН України, 2009), а сьогодні — відповідно до Методики розробки та впровадження медичних стандартів (уніфікованих клінічних протоколів) медичної допомоги на засадах доказової медицини, затвердженої наказом МОЗ України від 28.09.2012 р. № 751 «Про створення та впровадження медико-технологічних документів зі стандартизації медичної допомоги в системі Міністерства охорони здоров’я України» (далі — Методика) (МОЗ України, 2012б).

Опитувальник з експертизи та оцінки настанов (Appraisal of guidelines research and evaluation — AGREE) представлений в Україні у 2006 р. в рамках реалізації проекту ТАСIS (Technical assistance for the commonwealth of independent states, 2004–2006 рр.) «Support to the development of a system of medical standards in Ukraine». «Посібник для розробників клінічних рекомендацій/медичних стандартів», розроб­лений в рамках цього проекту міжнародними та українськими експертами на замовлення МОЗ України під егідою Європейського Союзу, містив інформацію про опитувальник AGREE та інструкцію щодо його застосування (Росс Г., Новічкова О., 2006). Основні вимоги до клінічної настанови, сформульовані в AGREE:

• відкритість і прозорість процесу розроблення;
• узгодження інтересів (і можливостей) споживачів і надавачів медичних послуг;
• відповідність рекомендованих лікувально-діагностичних і профілактичних методів і технологій сучасному стану медичної науки;
• об’єктивність і надійність даних;
• вибір найефективніших витрат на реалізацію медичних технологій (Grol R. et al., 2003).

З плином часу оцінювання методологічної якості клінічних настанов за допомогою опитувальника AGREE стало невід’ємною складовою процедури вибору клінічних настанов для адаптації та використання в практиці вітчизняної системи охорони здоров’я.

Також у 2012 р. на ДП «Державний експертний центр МОЗ України» покладене завдання інформаційного, кадрового та матеріально-технічного забезпечення розробки медико-технологічних документів зі стандартизації медичної допомоги (МОЗ України, 2012а). З цього часу обов’язково забезпечується застосування AGREE під час вибору прототипів клінічних настанов для обґрунтування змісту положень уніфікованого клінічного протоколу медичної допомоги. Відповідно до підпункту 3.3.2 пункту 3.3 розділу ІІІ Методики: «Оцінка методологічної якості відібраних у процесі пошуку клінічних настанов здійснюється згідно з міжнародним опитувальником AGREE» (МОЗ України, 2012б).

Щоразу перед оцінюванням експерти проходили короткий тренінг із використання AGREE. Серед експертів — головні позаштатні спеціалісти МОЗ України, обласні позаштатні спеціалісти, головні лікарі, завідувачі відділів, провідні наукові співробітники, завідувачі кафедр, президенти українських медичних товариств, фондів, представники благодійних організацій, Бюро ВООЗ в Україні, члени-кореспонденти НАМН України, професори, доктори та кандидати медичних наук. Загалом за допомогою AGREE експертами проведено 1092 оцінки клінічних настанов. Одна клінічна настанова в середньому оцінена п’ятьма експертами (від 4 до 8 експертів залучені для оцінки одного прототипу), з них двоє представляли Департамент стандартизації медичних послуг Державного експертного центру МОЗ України.

Станом на 01.02.2015 р. у процесі підготовки медико-технологічних документів для системи охорони здоров’я України за допомогою опитувальника оцінено 214 настанов за 63 темами, в тому числі 91 настанова, розроблена урядовими організаціями, та 123 настанови, розроблені неурядовими організаціями — професійними асоціаціями, товариствами, фондами тощо. Найвищі оцінки отримали клінічні настанови, розроблені Національним інститутом досконалості медичної допомоги Великобританії (National institute for health and care excellence — NICE) та Шотландською міжуніверситетською мережею настанов (Scottish intercollegiate guidelines network — SIGN). Це свідчить про те, що ці настанови мають високу методологічну якість, розроблені належним чином, а їх рекомендації відповідають основним критеріям якості. Загалом оцінено 34 настанови NICE та 19 настанов SIGN.

У табл. 1 наведені приклади оцінок настанов за темою «Шизофренія». Видно, що настанови, розроблені урядовими організаціями NICE та SIGN, в середньому отримали вищі оцінки, ніж настанови, розроб­лені Британською асоціацією психофармакології (British association for psychopharmacology) і Королівським коледжем психіатрів Австралії та Нової Зеландії (Royal Australian and New Zealand college of psychiatrists). У табл. 2 наведені приклади оцінок настанов за темою «Цукровий діабет 1-го типу».

Проблеми та шляхи їх вирішення

Впродовж останніх десятиліть кількість доступних клінічних настанов неухильно зростає. Сьогодні настанови відіграють важливу роль у формуванні політики в галузі охорони здоров’я і створюються з метою охоплення всіх сфер медичної допомоги (наприклад профілактики, діагностики, реабілітації тощо). Очікується, що вони покликані сприяти більш послідовній, ефективній і дієвій медичній допомозі та поліпшенню здоров’я населення. Державні органи, професійні асоціації та інші організації у сфері охорони здоров’я все частіше спонсорують розроблення та розповсюдження клінічних настанов. Зростає кількість настанов, підготовлених європейськими та міжнародними групами.

Хоча принципи розроблення якісних з методологічної точки зору настанов можна легко знайти у вільному доступі, наприклад «SIGN 50: A guideline developer’s handbook» (Посібник для розробників настанов, 2008 р., оновлений у 2014 р.), багато опублікованих рекомендацій позбавлені основних ознак якості. Визначення якості настанов не є простим процесом. Загалом настанова є «хорошою», якщо вона в підсумку зумовлює поліпшення результатів для пацієнтів. Вона повинна бути науково обґрунтованою, корисною і надійною. Тим не менш, свідчення цього в настанові іноді недоступні. Серія проведених досліджень з оцінки якості клінічних настанов свідчить, що багато рекомендацій не відповідають основним критеріям якості (Ward J.E., Grieco V., 1996; Varonen H., Makela M., 1997; Cluzeau F. et al., 1999; Shaneyfelt T.M. et al., 1999; Grilli R. et al., 2000; Lacasse Y. et al., 2001). Часто найкраще, чого можна очікувати від настанови, це деякої інформації про те, що розробники намагалися звести до мінімуму всі упередження, які могли виникнути у складному процесі створення настанови. Тому дуже важливо оцінити процес розроблення клінічних настанов для того, щоб бути впевненим у надійності та обґрунтованості сформульованих рекомендацій.

Існують різні проблеми, пов’язані з якістю настанов, які можуть перешкоджати їх максимально ефективному використанню (Grol R. et al., 2003):

1. Недостатня якість. На сьогодні існує доволі багато настанов низької якості. Складається враження, що існує ціла «індустрія» з розробки настанов, які різняться між собою саме за якістю. Є ризик того, що лікарі та інші фахівці можуть заплутатися у всіх цих настановах, враховуючи, що деякі настанови з однієї тематики іноді надають різні практичні рекомендації. Багато з існуючих настанов не розроблені відповідно до чітких і систематичних принципів, їм бракує перевірених даних або наявні ознаки захисту інтересів окремих груп, в тому числі медичних та фармацевтичних компаній.

2. Недостатність доказів. Незважаючи на ретельний пошук та аналіз наукової літератури, доказова база доступна лише для частини положень у настанові. При розробленні настанови важливими є думки експертів, переваги лікарів і пацієнтів, а також соціальні пріоритети. Коли доказів недостатньо, необхідні надійні процедури для включення експертних висновків та уподобань заінтересованих сторін. Настанови, в яких такі процедури відсутні, не можуть бути віднесені до хороших.

3. Перенесення доказових даних у практичні рекомендації. Навіть коли докази представлені, часто буває важко перевести їх у практичні рекомендації. Користувачі настанов на практиці мають справу з більш гетерогенною популяцією пацієнтів і більш складними процесами лікування, ніж зазвичай охоплені в первинних публікаціях за результатами досліджень. Крім того, досить непросто перевести рекомендації настанови у конкретні практичні рішення, оскільки настанови ніколи не можуть охопити всі відповідні клінічні дані, необхідні для окремих пацієнтів.

4. Інтерпретація доказів. Настанови створюються людьми, які зазвичай схильні до помилок і суб’єктивних інтерпретацій, з одного боку, та знаходяться під впливом особистих міркувань і культурних традицій, з іншого. Навіть коли наявні чіткі докази, вони часто по-різному інтерпретуються різними розробниками з різним культурним або професійним досвідом.

5. Застосовність рекомендацій. Наслідки щодо впровадження настанови з боку пацієнтів, необхідні ресурси, персонал, навички та обладнання зазвичай не розглядають у процесі розроблення настанов. Наприклад, беззастережна реалізація настанови з диспепсії може призвести до збільшення кількості ендоскопій. Питання, чи суспільство готове і в змозі платити за певні інновації, не може бути вирішене на основі лише наукових даних. У більшості настанов ці питання, на жаль, не розглянуті.

6. Складний процес імплементації. Протягом тривалого часу більшість розробників настанов вірили, що надійні докази, представлені практикуючим лікарям у структурованому вигляді, автоматично сприятимуть підвищенню ефективності лікування. Тим не менш, результати багатьох контрольованих досліджень і систематичних оглядів свідчать, що зусилля щодо імплементації рекомендацій часто не дуже успішні. У кращому разі виявлені невеликі або помірні поліпшення в лікувальному процесі (зазвичай не більше 5–10%, залежно від використовуваних методів імплементації), у той час як вплив на результати лікування часто не вивчали, або він був відсутнім. Питання імплементації рідко враховують при розробленні настанов.

Проведена значна робота з метою визначення атрибутів високоякісної клінічної настанови, що привела до активних дебатів щодо того, які критерії якості є найважливішими. За підсумками широкої дискусії у 1996 р. запропоновано такі критерії, як застосовність, достовірність, відтворюваність, клінічна гнучкість, чіткість, мультидисциплінарність, а також запланований перегляд (Legido-Quigley H. et al., 2013).

Для вирішення цих завдань у 1998 р. створена Міжнародна команда розробників настанов і дослідників — AGREE Collaboration. Основна мета групи, до складу якої увійшли дослідники і менеджери у сфері охорони здоров’я із 12 країн світу (Великобританія, Нідерланди, Данія, Фінляндія, Франція, Швейцарія, Іспанія, Канада, Італія, Німеччина, США, Нова Зеландія) — створення універсального інструменту для оцінки процесу розроблення настанов та його відображення в настанові. Спираючись на чітку методологію, група зосередилася на мінливості якості клінічних настанов. Результатом роботи групи став інструмент AGREE, який представлений світовій спільноті у 2003 р. (AGREE Collaboration, 2003).

Опитувальник AGREE призначений для оцінки якості клінічних рекомендацій. Він має загальний методологічний характер і розроблений з метою допомогти розробникам та користувачам настанов із клінічної практики оцінити методологічну якість, точність і прозорість, з якими розроблена настанова (Grol R. et al., 2003). З моменту свого першого випуску AGREE вивів на новий рівень процес оцінки клінічних настанов і швидко став міжнародним золотим стандартом для їх оцінки та розвитку. Інструмент AGREE перекладений багатьма мовами, процитований у >200 публікаціях, схвалений рядом організацій охорони здоров’я.

Інструмент AGREE розроблений на основі багатоступеневого процесу генерації, вибору і переосмислення оціночних питань, польових випробувань і процедур уточнення. Спочатку невелика робоча група склала перелік із 82 питань з уже існуючих оціночних інструментів і відповідної літератури, які покривали всі основні компоненти якості настанови. Термін «якість» у контексті клінічних настанов визначений як упевненість, що упередження, пов’язані з ретельністю розробки, представлення та застосовності настанови, зведені до мінімуму в процесі розробки. Цей перелік розісланий усім членам групи AGREE та іншим міжнародним експертам для рецензування. У результаті «перша» версія інструменту пройшла польові випробування надійності та достовірності на 100 настановах за участю 195 оцінювачів із 11 країн світу. Після уточнення інструмент знову протестований на випадковій вибірці з 33 настанов із попереднього набору настанов, але вже за участю інших оцінювачів. Результати були обнадійливими і свідчили, що інструмент простий у використанні й може застосовуватися щодо широкого діапазону настанов у різних країнах (AGREE Collaboration, 2003).

До остаточної версії опитувальника увійшли 23 пункти, згруповані у 6 розділів, присвячених різним складовим процесу розроблення настанови:

1. Сфера застосування та цілі.

2. Залучення заінтересованих сторін.

3. Ретельність розроблення.

4. Зрозумілість і спосіб представлення.

5. Можливості застосування.

6. Незалежність розробників.

Кожний розділ присвячений окремій характеристиці якості рекомендацій:

1. Сфера застосування та цілі (пункти 1–3) — стосується загальної мети рекомендацій, специфічних клінічних питань та цільової групи пацієнтів.

2. Залучення заінтересованих сторін (пункти 4–7) — визначає, наскільки рекомендації враховують погляди потенційних користувачів.

3. Ретельність розроблення (пункти 8–14) — стосується процесу збору та синтезу доказів, методів складання й оновлення рекомендацій.

4. Зрозумілість та спосіб представлення (пункти 15–18) — стосується мови та формату рекомендацій.

5. Можливості застосування (пункти 19–21) — стосується оцінки можливих організаційних, поведінкових і фінансових наслідків впровадження клінічних рекомендацій.

6. Незалежність розробників (пункти 22–23) — стосується незалежності рекомендацій і визнання можливого конфлікту інтересів з боку розробників.

Як і у разі будь-якого інструменту, постійне використання вимагало розвитку та поліпшення його властивостей, корисності для широкого кола заінтересованих сторін і легкості в реалізації. Таким чином, оригінальна версія опитувальника AGREE оновлена з метою методологічного вдосконалення практичної застосовності та методологічних властивостей оригінального інструменту, а саме його обґрунтованості й надійності. Ці зусилля привели до появи нової версії опитувальника для оцінки настанов — AGREE II.

Протягом багатьох років використання інструменту визначено ряд питань, які потребували оновлення. Наприклад, оригінальний діапазон відповіді з чотирьох пунктів, який використаний для відповіді на кожен пункт інструмента AGREE, не відповідав методологічним стандартам оцінювання у сфері охорони здоров’я. Ця невідповідність загрожувала застосовності й надійності інструменту. Крім того, дані про корисність AGREE ніколи не збирали систематично стосовно різних груп користувачів. Розробники були також заінтересовані у визначенні стратегій, аби зробити процес оцінки більш ефективним: зменшити кількість елементів або кількість необхідних експертів, зберігаючи при цьому надійність інструменту. Тому розпочато дослідження з метою вивчення можливості розроблення коротких версій інструменту AGREE, які б містили менше пунктів з урахуванням унікальних пріоритетів різних заінтересованих сторін.

З метою знайти відповіді на ці запитання створено AGREE Next Steps Consortium, який провів два дослідження з проблеми. У рамках першого дослідження представлено нову шкалу відповідей із семи пунктів і оцінено її властивості й застосовність, проаналізовано корисність пунктів AGREE для рішень, які приймають різні заінтересовані сторони, і систематично зібрано рекомендації заінтересованих сторін щодо внесення змін до AGREE. У другому дослідженні оцінено структуру інструменту і розроблено нову допоміжну документацію, спрямовану на полегшення ефективного й точного використання інструменту.

У результаті зроблено такі ключові висновки:

• оцінки якості розділів AGREE — хороші предиктори результатів, пов’язаних із імплементацією рекомендацій;
• учасники (тобто розробники, дослідники, менеджери та лікарі) оцінили розділи та запитання AGREE як дуже корисні, але ніяких відмінностей у рейтингах корисності серед груп не виявлено;
• доказів необхідності розроблення скорочених версій інструменту не знайдено;
• психометричні властивості шкали із семи пунктів є обнадійливими;
• інструмент успішно розрізняє високу і низьку якість змісту настанов;
• новий Посібник користувача AGREE добре сприйнятий користувачами;
• користувачі надали значний зворотний зв’язок про те, як поліпшити інструмент і Посібник користувача (Brouwers M.C. et al., 2010).

На підставі результатів досліджень і трьох раундів переговорів і консенсусу внесено певні уточнення, що зумовило появу AGREE II, який містить новий Посібник користувача, 23 пункти інструменту, які об’єднані у 6 розділів, та 2 остаточних загальних запитання, в яких оцінювач має зробити загальні висновки про якість настанови, враховуючи, як він оцінив 23 пункти. У табл. 3 порівняно пункти оригінального інструменту AGREE та AGREE II (Burls А., 2010).

Мета AGREE II полягає у створенні засад для:

• оцінки якості клінічної настанови;
• забезпечення методологічної стратегії розроблення настанови;
• інформування, які саме дані та яким чином ці дані мають бути представлені в настанові.

Як і оригінальний інструмент, AGREE II призначений для оцінки настанов, розроб­лених місцевими, регіональними, національними чи міжнародними групами або організаціями, включаючи як оригінальні версії, так і оновлення вже існуючих настанов.

Отже, які переваги надає нова, поліпшена версія AGREE II? Групі AGREE Next Steps поставлені такі завдання:

• уточнити терміни;
• поліпшити супровідні документи;
• посилити здатність до вимірювання;
• перевірити корисність інструменту для різних заінтересованих сторін.

AGREE II має аналогічну структуру до первинного документу, з тими же шістьма розділами, але удосконаленим Посібником для користувача. Для підвищення зручності використання AGREE II не тільки уточнює опис кожного елемента, але також додає поради щодо того, де знайти необхідну інформацію, і критерії для оцінювання кожного пункту. Посилання на «пацієнтів» замінене на «цільову аудиторію» або «пацієнтів і громадськість» на знак визнання того факту, що AGREE є корисним для громадської охорони здоров’я (Burls А., 2010).

Оцінювання за кожним пунктом змінилося з 4-бальної шкали Лайкерта (повністю згоден; згоден; не згоден; категорично не згоден) до 7-бальної (від «1: категорично не згоден» до «7: повністю згоден»), але конкретного опису значень 2–6 немає. Нова шкала надає користувачам можливість виражати певну рівноважну оцінку (наприклад «ані згоден, ані не згоден»), вибравши пункт 4. Хоча дехто може сказати, що і 5 категорій більше ніж достатньо, аби поліпшити застосовність інструменту, автори повідомляють, що вони «використовували високоякісні методи для удосконалення інструменту із застосуванням сильних емпіричних доказів», і в експериментальних дослідженнях перевагу надано саме 7 пунктам (Brouwers M.C. et al., 2010).

Як і в першому варіанті AGREE, запитання та розділи в AGREE II акцентують увагу на методологічних аспектах, пов’язаних із розробленням та представленням настанови. Проте вони не оцінюють клінічну доцільність або ефективність самих рекомендацій. Хоча ретельні розроблення та обґрунтованість рекомендацій є важливими, ці запитання недостатні для того, щоб визначити, чи рекомендації є дієвими і влучними, оскільки ретельність розроблення та обґрунтованість рекомендацій не обов’язково корелюють між собою. Тому важливим доповненням є пункт: «Переваги та обмеження сукупності доказів чітко описані» (запитання 9). Він допоможе користувачам оцінити обґрунтованість рекомендацій, оскільки квазіекспериментальні докази можуть призвести до широкої мінливості в рекомендаціях та їх дотриманні. Удосконалення інструменту AGREE визначене як одна з важливих сфер подальшого розвитку (Brouwers M.C. et al., 2010).

Хоча AGREE II є ще одним позитивним кроком у поліпшенні якості клінічних настанов, є запитання, які цей інструмент не вирішує. Наприклад, одним із обмежень є те, що більшість настанов охоплюють окремі захворювання, в той час як пацієнти часто мають супутні захворювання. Ще належить з’ясувати, чи повинні розроблятися клінічні настанови, які охоплюватимуть декілька захворювань, чи необхідно визнати, що ця проблема може бути вирішена лише індивідуально з пацієнтом. Можливо, AGREE III проллє світло на це питання.

Більш детальну інформацію стосовно опитувальника AGREE, а також Посібник для користувача українською мовою можна знайти за посиланням (http://www.dec.gov.ua/mtd/agree.html). Переклад AGREE ІІ українською мовою знаходиться у процесі опрацювання з метою запровадження у практику підготовки адаптованих клінічних настанов для вітчизняної системи охорони здоров’я.

Висновки

Застосування опитувальника AGREE дозволяє зробити усвідомлений вибір прототипів клінічних настанов на користь тих, які найбільше відповідають критеріям доказової медицини. Розроблення медико-технологічних документів зі стандартизації медичної допомоги на основі підтверджених фактичних даних є одним із важливих кроків інтеграції України в Європейський Союз. Гармонізація національної системи медико-технологічних документів із вимогами європейського співтовариства дозволить забезпечити ефективність, якість та рівні можливості доступу до медичної допомоги, а також запровадити ефективні принципи кращої практики європейського рівня та захистити пацієнтів від низькоякісних лікувальних програм.

Список використаної літератури

• Бліхар В.Є., Морозов А.М., Шпак І.В. та ін. (2010) Аналіз медико-технологічних документів зі стандартизації медичної допомоги та обґрунтування шляхів їх удосконалення. Вісн. соц. гігієни та організації охорони здоров’я України, 4: 72–80.
• МОЗ України, НАМН України (2009) Наказ МОЗ України та НАМН України від 19.02.2009 р. № 102/18 «Про затвердження Уніфікованої методики з розробки клінічних настанов, медичних стандартів, уніфікованих клінічних протоколів медичної допомоги, локальних протоколів медичної допомоги (клінічних маршрутів пацієнтів) на засадах доказової медицини» (втратив чинність).
• МОЗ України (2012а) Наказ МОЗ України від 08.10.2012 р. № 786 «Про визначення головної організації у сфері розробки медико-технологічних документів зі стандартизації медичної допомоги, проектів нормативних актів щодо медичного, в тому числі фармацевтичного, обслуговування та фармаконагляду» (http://www.moz.gov.ua/ua/portal/dn_20121008_786.html).
• МОЗ України (2012б) Наказ МОЗ України від 28.09.2012 р. № 751 «Про створення та впровадження медико-технологічних документів зі стандартизації медичної допомоги в системі Міністерства охорони здоров’я України» (http://www.moz.gov.ua/ua/portal/dn_20120928_751.html).
• Росс Г., Новічкова О. (2006) Посібник для розробників клінічних рекомендацій/медичних стандартів. NICARE, Київ, 166 с.
• AGREE Collaboration (2003) Development and validation of an international appraisal instrument for assessing the quality of clinical practice guidelines: the AGREE project. Qual. Saf. Health Care, 12(1): 18–23.
• Brouwers M.C., Kho M.E., Browman G.P. et al.; AGREE Next Steps Consortium (2010) AGREE II: advancing guideline development, reporting, and evaluation in health care. Prev. Med., 51(5): 421–424.
• Burls A. (2010) AGREE II-improving the quality of clinical care. Lancet, 376(9747): 1128–1129.
• Cluzeau F.A., Littlejohns P., Grimshaw J.M. et al. (1999) Development and application of a generic methodology to assess the quality of clinical guidelines. Int. J. Qual. Health Care, 11(1): 21–28.
• Field M.J., Lohr K.N. (Eds) (1990) Clinical practice guidelines: directions for a new program. Institute of Medicine and National Academy Press, Washington, 168 p.
• Grilli R., Magrini N., Penna A. et al. (2000) Practice guidelines developed by specialty societies: the need for a critical appraisal. Lancet, 355(9198): 103–106.
• Grol R., Cluzeau F.A., Burgers J.S. (2003) Clinical practice guidelines: towards better quality guidelines and increased international collaboration. Br. J. Cancer, 89 Suppl. 1: S4–S8.
• Lacasse Y., Ferreira I., Brooks D. et al. (2001) Critical appraisal of clinical practice guidelines targeting chronic obstructive pulmonary disease. Arch. Intern. Med., 161(1): 69–74.
• Legido-Quigley H., Panteli D., Car J. et al. (2013) Clinical Guidelines for Chronic Conditions in the European Union. World Health Organization, 256 p.
• Shaneyfelt T.M., Mayo-Smith M.F., Rothwangl J. (1999) Are guidelines following guidelines? The methodological quality of clinical practice guidelines in the peer-reviewed medical literature. JAMA, 281(20): 1900–1905.
• Varonen H., Mäkelä M. (1997) Practice guidelines in Finland: availability and quality. Qual. Health Care, 6(2): 75–79.
• Ward J.E., Grieco V. (1996) Why we need guidelines for guidelines: a study of the quality of clinical practice guidelines in Australia. Med. J. Aust., 165(10): 574–576.