РЕЗУЛЬТАТЫ НЕЗАВИСИМОГО ТЕСТИРОВАНИЯ ТРЕХ ПРОГРАММ ВЫЧИСЛЕНИЯ ПОКАЗАТЕЛЕЙ ВАРИАБЕЛЬНОСТИ СЕРДЕЧНОГО РИТМА

ВВЕДЕНИЕ

Повторяемые метрологические характеристики любого диагностического метода являются обязательным условием для его успешного развития. В последнее десятилетие в биомедицин­ских исследованиях все шире используется метод оценки различных характеристик функционального состояния организма по данным показателей вариабельности сердечного ритма (ВСР). Несмотря на то что этот диагностический метод применяется в научных исследованиях с 60-х гг. прошлого столетия, до сих пор не решено много проблемных методических вопросов.

Наиболее сложно оценить качество вычис­ления спектральных характеристик (СХ) ВСР. В Украине, как и в других странах, отсутствуют органы государственного метрологического тестирования вычисления СХ ВСР, но существуют различные рекомендации по выполнению такого тестирования.

В общеизвестных международных рекомендациях по применению методики ВСР (Task Force of the European Society of Cardiology and the North American Society of Pacing and Electrophysiology, 1996) в разделе «Точность и стандартизация коммерческого оборудования» рекомендуется для тестирования использовать тестовые последовательности кардиоинтервалов (ТПК) с заданными параметрами ВСР, то есть те, которые генерирует компьютерная программа. В Российских рекомендациях 2001 г. указывается на нерешенность проблемы метрологического тестирования разных программ анализа ВСР, предлагается использовать некий разрабатываемый прибор «HRV-тест, состоящий из набора реальных и генерируемых электрокардиографических (ЭКГ) сигналов, а также результаты их обработки стандартной программой анализа ВСР» (Баевский Р.М. и др., 2001, с. 76).

На заседании круглого стола международного симпозиума по ВСР (Харьков, 2003) нами была обозначена актуальность проблемы отсутствия повторяемости результатов спектрального анализа ВСР при использовании приборов разных производителей и предложена программа дей­ствий для разработки соответствующей системы метрологической аттестации. В дальнейшем нами был разработан генератор эталонных по­следовательностей кардиоинтервалов с задан­ными СХ (Во­робьев К.П., Паламарчук Е.А., 2003) и на примере проверки российской программы с открытым импортом кардиоинтервалов (ORTO Science, v4.9.61, Ижевск) показана сущность методической проблемы (Паламарчук Є.А., Воробйов К.П., 2004). На кворуме специалистов в Харьков (23–25. 05. 2005 г.) мы изложили проект механизма метрологической аттестации программ расчета СХ ВСР и предложили заинтересованным производителям соответствующих программных продуктов пройти такую независимую аттестацию (Воробьев К.П., Паламарчук Е.А., 2005). К сожалению, ни один из производителей систем анализа ВСР в Украине, кроме автора программы КардиоСпектр, до сих пор не представил свои программы для тестирования. В связи с этим нами был создан аппаратно-программный комплекс, позволяю­щий выполнить тестирование программ, в которых отсут­ствует режим импорта интервалограмм.

Цель исследования — обеспечение повторяемости результатов вычисления спектра ВСР в различных приборах и программах.

МЕТОДЫ

Для обеспечения метрологической оценки СХ систем или программ ВСР нами был использован известный в технике метод измерения моночастотным сигналом с эталонной частотой и мощностью. С этой целью были разработаны измерительные программные и аппаратные средства. Они позволили генерировать и вводить в исследуемые приборы эталонные тестовые последовательности QRS-комплексов.

Специальная программа генерирует ТПК с заданными частотными характеристиками с точностью 1 мс. Эти сигналы управляют микропроцессорным устройством, которое с дискретностью 10 мкс симулирует QRS-комплексы амплитудой 3 мВ. При помощи программы-генератора (Воробьев К.П., Паламарчук Е.А., 2003; Паламарчук Є.А., Воробйов К.П., 2004) для тестирования подготовлены ТПК со следующими СХ (табл. 1).

Примечание. f — частота гармоники; P — мощность гармоники.

При выборе заданных характеристик ТПК мы исходили из следующих условий. Клинически значимые мощности спектра ВСР составляют 200–5000 мс². Верхний и нижний предел этого диапазона использован для большинства ТПК. При экспериментальных исследованиях и в клинике критических состояний могут регистрироваться крайне низкие мощности частот. Для оценки возможности проведения исследований тестируемым устройством при крайне низких мощностях СХ ВСР использована заданная мощность 2 мс².

Протокол тестирования включил все 23 ТПК. Первые три ТПК с различными заданными мощно­стями спектра ВСР в середине стандартных частотных диапазонов наиболее показательны для оценки общих характеристик тестируемых устройств и нелинейно­сти частотных преобразований. Выборки №4 и №5 с задан­ными мощностями на краях стандартных частотных диапазонов (соответственно справа и слева каждого частотного диапазона) предназначены для оценки точности определения частот. Восемнадцать ТПК (6–23) являются моночастотными и позволяют оценить следующие спектральные параметры: точность определения спектральных частот и их мощно­сти в каждом поддиапазоне (VLF, LF, HF), коэффициент нелинейности (неравномерности) амплитудно-частотных характеристик (АЧХ), уровень побочных гармоник (ложные спектральные составляющие).

Формализацию результатов тестирования проводили по следующему протоколу.

1. Коэффициент ошибки вычисления заданной мощности спектра ВСР вычисляли по формуле: K(f)=P(x)/P(0), где P(x) — вычисленная мощность спектра ВСР; P(0) — заданная мощность спектра ВСР.

Коэффициент K(f) вычисляли как для общей мощности спектра, так отдельно для каждого спектрального диапазона во всех ТПК. Значение этого коэффициента показывает, какую долю от заданной мощности спектра вычисляет тестируемая программа. В идеале этот коэффициент равен единице.

2. Уровень нелинейности АЧХ. Эту характерис­тику программных продуктов оценивали между диапазона­ми (для ТПК №1–3) и внутри диапазонов (для ТПК № 6–23). Нелинейность между диапазонами вы­числяли по формуле: NL (%)=((P_max–P_min)/(P_G/3))*100, где P_max и P_min — соответственно максимальное и минимальное значение мощности спектра в трех стандарт­ных спектральных диапазонах; P_G — общая измеренная мощность спектра ВСР.

Уровень нелинейности вычисляли при равных заданных мощностях в трех стандартных диапазонах. Значение NL показывает соотношение между минимальным уровнями мощности в этих диапазонах и значением средней измеренной мощности для всех диапазонов.

Аналогично вычисляется уровень нелинейности внутри диапазонов путем оценки степени различий между двумя вычисленными значениями мощ­ности на разных частотах одного диапазона при равных заданных мощностях. Например, для HF при заданной мощности ТПК=5000 мс² показатель NL_HF_5000 (%)=((P_max–P_min)/5000)*100, где P_max — это вычисленное значение мощности спектра в области HF одной ТПК, которое превышает аналогичное значение HF во второй ТПК (P_min) при равных заданных мощностях (5000 мс²). Идеальная система вычисления СХ ВСР должна показывать значения уровней нелинейности близкие к нулю.

3. Уровень шумов (для выборок 6–23), которые обусловлены появлением побочных гармоник при вычислении СХ ВСР Nz (%)=(P(x)/P(0))*100, где P(x) — вычисленная мощность спектра ВСР в одном из двух стандартных диапазонов при заданных мощностях спектра в этих диапазонах, равных нулю; P(0) — заданная мощность спектра ВСР для моночастотной ТПК.

Этот показатель вычисляется для моночастотных ТПК, отдельно для тех диапазонов, в которых заданная мощность равна нулю. Показатель уровня шумов (Nz) означает вероятный ложный уровень мощности по отношению к заданному истинному уровню мощности в одном из диапазонов моночастотной ТПК. Общий уровень шумов для каждой моночастотной ТПК вычисляется как сумма показателей Nz в двух диапазонах с заданными нулевыми значениями мощности спектра ВСР.

4. Оценку эквивалентности дисперсии и вы­численной общей мощности выполняли по простому соотношению вычисленной общей мощности спектра ВСР и значением несмещенной дисперсии ТПК. Этот тест проводили со всеми ТПК и обобщали в виде графиков. В идеальной системе вычисления спектра ВСР этот показатель должен приближаться к еди­нице.

ОБЪЕКТЫ ИССЛЕДОВАНИЯ

Для исследований выбраны три устройства украинских производителей: монитор фирмы «Utas» UM300 v.6.26 rev.9 ( Киев), программа фирмы «Solvaig» КардиоCпектр v.4.1b (Киев), CardioLab+ (Харьков). Для полноты представления о возможностях программных продуктов также проведено самотестирование программ расчета СХ ВСР: CARDIO-10DX v.12.62 (Винница) и МАК-3 (Луганск), которые созданы авторами данного проекта и имеют государственные сертификаты качества. В устройствах UM300 и CardioLab+ ТПК вводились при помощи описанного выше способа. В остальных программах для тестирования использовали их режим импорта ТПК. Во всех программах обрабатывались не менее чем пятиминутные размерности ТПК.

ОШИБКИ ВЫЧИСЛЕНИЯ МОЩНОСТИ СПЕКТРА

Первичные коэффициенты ошибок вычисления мощности спектра из всех выборок сгруппированы в обобщающие показатели: вычислены средние коэффициенты ошибки для общей мощности (K_TP) и средние коэффициенты ошибки мощностей в каждом стандартном диапазоне (K_P для каждого диапазона). Эти средние показатели вычислены для ТПК с различными заданными мощностями (табл. 2).

Примечание. Здесь и дальше по вертикали выделены коэффициенты ошибок, которые вычислены на ТПК крайне низкой мощностью спектра ВСР (2 мс²), что актуально для определенных целей исследований. Нижние выделенные строки в таблице — результат самотестирования программ авторов публикации.

Исходя из данных таблицы, следует, что в программе КардиоСпектр прослеживается четкая систематическая ошибка, в соответствии с которой общая мощность вычисляется с ошибкой +130%, мощность VLF +60%, LV +104%, HF +131%. В программе монитора фирмы Utas резко занижены вычисляемые показатели мощности спектра с очевидным завалом АЧХ (почти в десять раз!) в области больших мощ­ностей спектра. Программа CardioLab+ в ряду трех программ независимого тестирования наиболее точно и с приемлемым уровнем ошибок для клинических целей вычисляет спектральные мощности при малых и больших клинически значимых мощностях спектра ВСР.

Каждый коэффициент в табл. 2 показывает, во сколько раз вычисленное значение мощности спек­тра больше заданного в ТПК. Метрологическое и методологическое значение этих коэффициентов заключается в том, что они позволяют провести нормализацию данных в ранее выполненных с помощью этих программ исследованиях.

НЕЛИНЕЙНОСТЬ АЧХ ТЕСТИРУЕМЫХ ПРОГРАММ ВЫЧИСЛЕНИЯ СХ ВСр

В соответствии с вышеописанным протоколом показатели линейности АЧХ тестируемых программ представлены в табл. 3.

Максимальная нелинейность АЧХ обнаружена у программы монитора UM300. Для показателя NL эта нелинейность обусловлена завалом АЧХ в области VLF. В этой программе в области клинически значимых мощностей спектра ВСР (200 мс² и 5000 мс²) вычисленная амплитуда VLF на два порядка ниже заданных, а измеренная HF превышает VLF соответственно в 50 и 20 раз. Кроме того, внутри диапазонов LF и HF существует умеренная нелинейность, сопровождаемая высокой систематической ошибкой вычисления абсолютных значений мощности спектра (см. табл. 2).

В программе КардиоСпектр обнаружен завал АЧХ от HF к VLF, что является причиной показанной выше систематической ошибки измерения абсолютных значений мощности спектра ВСР. Программа вычисляет завышенные значения мощности спектра HF в два с половиной раза, в области LF в два раза, а в области VLF — в полтора раза по отношению к заданным мощностям. При этом следует заметить, что в ряду трех тестируемых программ данный алгоритм расчета спектра ВСР обеспечивает наиболее высокую независимость показателей нелинейности АЧХ от уровня заданной мощности ТПК (в области клинически значимых мощностей спектра ВСР).

Среди трех тестируемых программа CardioLab+ обеспечивает лучшую линейность АЧХ, но отмечается некоторый завал в области VLF, особенно при низкой заданной мощности ТПК.

ШУМОВЫЕ ХАРАКТЕРИСТИКИ ТЕСТИРУЕМЫХ ПРОГРАММ

В соответствии с протоколом для каждой тестируемой программы получено по 18 показателей уровней шумов. Пары показателей уровней шумов на двух разных частотах внутри каждого стандартного диапазона усреднены, а затем по протоколу вычислены общие уровни шумов для каждой моночастотной ТПК. В результате получено по 9 обобщающих шумовых характеристик каждой программы (табл. 4).

В программе монитора UM300 показатели шумов относительно низкие, но если учесть, что уровни шумов вычисляются по отношению к заданной мощности спектра (а в данной программе резко занижены абсолютные вычисленные величины мощности спектра), то следует провести коррекцию этих показателей. Реальный уровень шумов для 200 мс² будет больше в два раза, а для 5000 мс² — в десять раз (см. табл. 2).

По тем же причинам в программе КардиоСпектр обратная ситуация — реальный уровень шумов приблизительно вдвое меньше, чем указанные в таблице.

ТОЧНОСТЬ ОЦЕНКИ ЧАСТОТ СПЕКТРА ВСР

Тестирование на точность определения заданных частот выполнено с помощью ТПК №4–5 (см. табл. 1). ТПК №4 представляет собой спектральный тест, в котором на левом (более низкочастотном) краю каждого из диапазонов задана мощность 1000 мс². В ТПК №5 такая же мощность задана на правом краю каждого стандартного диапазона. Эти ТПК соответ­ственно обозначены как L (left) R (right) (табл. 5).

Результаты этого теста показывают, что в каждой из трех тестируемых программ отмечены существенные погрешности вычисления. Так, например, при расчете правосторонних ТПК в программе КардиоСпектр и на мониторе UM300 большая часть мощности спектра VLF отнесены этими программами к LF. В результате мощность VLF существенно занижена, а LF — завышена. В программе CardioLab+ отмечены такие же, но менее выраженные погрешности для правосторонней ТПК, а в левосторонней ТПК по­грешность вычисления VLF привела к потере почти половины заданной мощности.

РЕЗУЛЬТАТЫ ТЕСТИРОВАНИЯ НА ЭКВИВАЛЕНТНОСТЬ ДИСПЕРСИИ И ОБЩЕЙ МОЩНОСТИ СПЕКТРА ВСР

При вычислении соотношения общей мощности спектра и несмещенной дисперсии в ТПК с заданными мощностями 2 мс² в большинстве программ по извест­ным причинам обнаружены грубые погрешности. Поэтому тесты с крайне низкими клинически незначимыми мощностями исключены из анализа, а остальные результаты (по 16 тестов) обобщены в виде коробочных графиков с указанием медианы и квартилей вычисленных отношений по каждой ТПК (рисунок).

Рисунок. Статистика соотношений общей мощности спектра и дисперсии в 23 ТПК в разных программах вычисления СХ ВРС

На рисунке медиана определяет относительную обобщенную погрешность программы в разах (1 — отсутствие погрешностей), а квартиль характеризует величину разброса отдельных ее показателей в разах. Нулевая высота квартиля свидетельствует об отсут­ствии разброса.

Как и в предыдущих тестах, программа CardioLab+ показывает лучшие результаты в сравнении с двумя другими программами, которые проходили независимое тестирование. Программы UM300 и КардиоСпектр дают соответственно заниженные и завышенные результаты вычислений, что подтверждается первой группой тестов оценки соотношения заданных и вычисленных мощностей.

ЗАМЕЧАНИЯ ПО ТЕСТИРОВАНИЮ ПРОГРАММ ПРИ КРАЙНЕ НИЗКИХ ЗАДАННЫХ МОЩНОСТЯХ СПЕКТРА ВСР

В клинических условиях крайне низкие мощности спектра ВСР могут встречаться при критических состояниях, тяжелых повреждениях головного мозга, ботулизме, длительно текущем сахарном диабете. Для всех этих ситуаций необходимо использовать спе­циальную аппаратуру и программы, обеспечивающие регистрацию кардиоинтервалограммы с точностью не менее 1 мс и сохраняющие первичные результаты о каждом кардиоинтервале в двухбайтном представлении. Кроме того, следует использовать программы расчета спектра ВСР с высокой спектральной разрешающей способностью и низкими шумовыми характеристиками.

Как видно из результатов независимого тестирования трех оцениваемых программ, ни одна из них не справляется с корректной оценкой крайне низких мощностей спектра ВСР. Наиболее удовлетворительный результат по уровням абсолютной погрешности, нелинейности и шумам показала лишь программа CardioLab+. Это подтверждает наши теоретические предположения, которые высказаны при оппонировании на защите докторской диссертации (Хрипаченко І.А., 2007). Автор диссертации попытался оценить спектры ВСР у крыс, у которых средняя мощность спектра в диапазонах не превышает 1 мс². Наш теоретический анализ показал, что программа CardioLab+ имеет предельную разрешающую способность около 4 мс² и не пригодна для исследований подобного рода (http://www.kkn.by.ru). Это предположение подтвердилось в результате данного тестирования.

Мы заявляем, что из известных программ для оценки крайне низких мощностей ВСР пригодна некоммерческая программа МАК-3. Это также следует из результатов самотестирования.

О РЕЗУЛЬТАТАХ САМОТЕСТИРОВАНИЯ

Результаты самотестирования программ, которые разработали авторы публикации представлены научному сообществу как заявление о том, что существуют корректные алгоритмы вычисления спектра ВСР, позволяющие соответствовать достаточно высоким метрологическим критериям для обеспечения клинических и экспериментальных исследований, в том числе для вычисления крайне низких мощностей спектра ВСР. Авторы готовы представить свои программные продукты научной общественности для проверки заявленных результатов самотестиро­вания.

ОБСУЖДЕНИЕ

Результаты данного независимого исследования обнаружили грубые метрологические дефекты в известных программах, которые входят в состав украинских сертифицированных аппаратно-программных комплексов вычисления СХ ВСР. При помощи этих программ выполняется множество научных исследований, по результатам которых присуждаются ученые степени и утверждаются те или иные научные приоритеты. На самом деле в этих исследованиях часто используются методы, базирующиеся на некорректной обработке и интерпретации сигналов, которые принципиально не позволяют получать повторяемые результаты.

Господин «Метод» занимает центральное положение в науке. Поэтому без метода исследования нет и новых научных фактов. Очень часто именно метод исследования определяет развитие научной школы. С другой стороны, неадекватный метод, его метрологические дефекты являются прежде всего факторами дискредитации этого метода и способствуют развитию лженауки.

Мы уже обращались к методологическим проблемам использования ВСР в клинике в диагностике вегетативных нарушений при рассеянном склерозе. Было показано возникновение систематической ошибки при изучении ВСР в группах, смешанных по возрастным и половым признакам (Воробьев К.П., Сорокин Ю.Н., 2006). Это, безусловно, важный методический аспект, но эта проблема абсолютно теряет свою актуальность, когда различные исследователи используют приборы и диагностические системы, имеющие несовместимые метрологические характеристики.

Мы надеемся обсудить детали результатов данного тестирования в специализированных изданиях и на кворумах специалистов. С другой стороны, основной фактологический материал достаточно полно представлен в данной публикации и каждый заинтересованный может сделать свои выводы. В данной публикации на основе результатов метрологического тестирования хотелось привлечь внимание к общим проблемам в клинической науке.

Результаты данного тестирования обозначили принципиальный методологический конфликт в нашем научном обществе. Суть этого конфликта состоит в том, что в сложившемся стереотипе ученые не несут ответственности за качество используемых методов диагностики. Проблема метрологической аттестации программ вычисления СХ ВСР обсуждается нами в публикациях, на конференциях и сети Интернет уже несколько лет, но до сих пор мы не только не получили государственной поддержки в этом вопросе, но и, наоборот, зачастую ощущаем неприятие наших действий как со стороны производителей аппаратно-программных комплексов вычисления ВСР, так и со стороны отдельных исследователей. Такое отношение к проблеме снижает рейтинг украинской клинической науки и углубляет кризис, который из методического переходит в методологический.

ВЫВОДЫ

1. Существующие коммерческие системы оценки СХ ВСР не обеспечивают повторяемости результатов различных клинических исследований.

2. Отсутствие общепризнанной методики оценки точности СХ ВСР и ее нерешенность резко снижают качество соответствующих научных исследований.

3. Предлагается технология и протокол метрологического тестирования, которые позволяют прозрачно оценить все основные метрологические характеристики систем оценки СХ ВСР.

АВТОРСКИЙ ВКЛАД В ИССЛЕДОВАНИЕ

Воробьев К.П. — идея проекта, разработка и из­готовление аппаратно-программного комплекса для тестирования, разработка протокола тестирования, проведение тестирования устройств UM300, CardioLab+ и программы КардиоСпектр, обобщение цифрового материала, выполнение расчетов по тестам и написание публикации.

Паламарчук Е.А. — идея методики метрологи­ческой оценки СХ ВСР, разработка программы генератора эталонных последовательностей кардиоинтер­валов, научное консультирование по теории спектральных преобразований, обсуждение и коррекция протокола тестирования, согласование публикации.

ЛИТЕРАТУРА

• Баевский Р.М. и др. (2001) Анализ вариабельности сердечного ритма при использовании различных элетрокардиографических систем (Методические рекомендации). Вестник аритмологии, 24: 65–87.
• Воробьев К.П., Паламарчук Е.А. (2003) К вопросу о стандартизации методов спектрального анализа кардиоинтервалограмм (http://www.vkp.dsip.net/Papers/HRV_Imit_Vinn.htm).
• Воробьев К.П., Паламарчук Е.А. (2005) Проект механізму метрологічної атестації програм розрахунку спектральних характеристик варіабельності серцевого ритму (программный доклад научно-практической конференции «Компьютерная медицина 2005», Харьков, 23–25.05.2005 (http://www.vkp.dsip.net/Papers/HRV_Ch_05.html).
• Воробьев К.П., Сорокин Ю.Н. (2006) Зависимость характеристик вариабельности ритма сердца при рассеянном склерозе от возраста, половой принадлежности и тяжести состояния. Укр. мед. часопис, 2(52): 89–94 (http://www.umj.com.ua/arhiv/52/1819.php).
• Паламарчук Є.А., Воробйов К.П. (2004) Верифікація механізму обрахунку спектральних характеристик віріабельності серцевого ритму в діагностичних системах за допомогою програмного еталону гармонічних сигналів. Клиническая информатика и телемедицина, 1: 41–46 (http://www.vkp.dsip.net/Papers/HRV_imitat04.htm).
• Хрипаченко І.А. (2006) Нейрогуморальна регуляція та оптимізація її оцінки у хворих на синдром поліорганної недостатності. Автореферат дис. докт. мед. наук, 14.01.30 — анестезіологія та інтенсивна терапія, Дніпропетровськ, 40 с.
• Task Force of the European Society of Cardiology and the North American Society of Pacing and Electrophysiology (1996) Heart rate variability. Standards of measurement, physiological interpretation, and clinical use. Eur. Heart J., 17(3): 354–381.

Адрес для переписки:
Воробьев Константин Петрович
91055, Луганск, ул. Польского, 4, кв. 10
E-mail: [email protected]
www.vkp.dsip.net