Базовые аспекты мета-анализа. Часть 2

В первой части цикла статей, посвященных базовым аспектам мета-анализа, рассмотрено само понятие мета-анализа и представлены основные рекомендации, которыми необходимо руководствоваться при его проведении [1]. Мы узнали, как применять графики риска смещений для оценки наличия смещений в исследованиях; выяснили, чем может быть обусловлена гетерогенность исследований, и рассмотрели способы ее вычисления. Также мы детально обсудили различные типы моделей, позволяющие обобщить результаты исследований, и способы расчета весов исследования в общей усредненной оценке размера эффекта. Кроме того, мы затронули аналитический метод анализа чувствительности – метод leave-one-out и продемонстрировали графическое представление такой оценки, а также представили основную диаграмму для отображения результатов мета-анализа – форест-диаграмму (forest plot).

Включенные в мета-анализ оригинальные исследования могут различаться, поскольку проводились разными коллективами, с разными пациентами, в разные временные промежутки. С целью учета подобных различий между клиническими исследованиями введено понятие гетерогенности, оценка и учет которой важны для объективного количественного обобщения результатов. Разнообразие характеристик пациентов, медицинских вмешательств и исходов считают клинической гетерогенностью. Вариабельность дизайна исследований, методик оценки исходов и различных единиц измерения обозначают методологической гетерогенностью. Оба вышеуказанных вида гетерогенности приводят к появлению статистической гетерогенности, связанной с различиями в оценке размера эффекта. При дальнейшем рассмотрении гетерогенности в текущей статье мы будем считать, что методологическая и клиническая гетерогенность сведены к минимуму, а имеющаяся статистическая гетерогенность или просто гетерогенность связана со скрытыми вмешивающимися факторами.

В данной публикации мы глубже затронем методы выявления скрытой гетерогенности и оценки публикационных смещений, а также приведем способы расчета наиболее частых статистик, используемых для оценки размера эффекта в мета-анализе.

АНАЛИЗ ПОДГРУПП

К методам, позволяющим выявить скрытые вмешивающиеся факторы (конфаундеры или модераторы), относят анализ подгрупп и метарегрессионный анализ. Оба метода имеют свои преимущества и недостатки.

При реализации анализа подгрупп исследуемую выборку разделяют по заданному признаку на подгруппы для проведения между ними сравнительного анализа. Так, при оценке распространенности сердечно-сосудистых заболеваний модераторами являются пол и возраст пациентов. В связи с этим для корректной оценки необходимо рассчитывать распространенность сердечно-сосудистых заболеваний отдельно в подгруппах пациентов, выделенных по полу и возрасту (например, по десятилетиям жизни). Кроме того, анализ подгрупп может использоваться для ответа на специфичные исследовательские вопросы о конкретных группах интереса. Например, в исследовании, в котором принимали участие пациенты с сахарным диабетом, было обнаружено положительное влияние экспериментального воздействия на уровень протеинурии. В связи с этим при апостериорном анализе исследователи выделили подгруппу пациентов с хронической болезнью почек для более детального изучения влияния экспериментального препарата на функцию почек. Однако подобное разделение на подгруппы возможно провести только при наличии исходных данных пациентов. В опубликованных исследованиях клинические данные, как правило, представлены в обобщенном виде, что затрудняет применение анализа подгрупп в явном виде при проведении мета-анализа.

Тем не менее, имея обобщенные результаты опубликованных клинических исследований, применить метод анализа подгрупп в мета-анализе для получения усредненной оценки размера эффекта можно следующим образом. На первом этапе необходимо оценить внутригрупповой размер эффекта, на втором этапе – межгрупповой размер эффекта [2].

Внутригрупповой анализ

Предположим, что нам необходимо оценить различия в размере эффекта между двумя экспериментальными препаратами (препарат А и препарат В). Мы можем разделить отобранные для мета-анализа клинические исследования на необходимое количество групп (в нашем случае две) в зависимости от типа используемого медицинского препарата. Затем мы рассчитаем средний размер эффекта в каждой подгруппе, используя модели с фиксированными или случайными эффектами. Методику применения вышеуказанных моделей и расчета взвешенного размера эффекта по нескольким исследованиям мы подробно обсуждали в нашей предыдущей публикации [1].

Модель с фиксированными эффектами корректно применять, если мы считаем, что исследования в подгруппах похожи друг на друга по дизайну, методологии и другим характеристикам. Примером корректного использования модели с фиксированными эффектами может быть следующая гипотетическая ситуация. Фармакологическая компания провела несколько сходных исследований по изучению экспериментального препарата А в сравнении с плацебо и также несколько сходных исследований по изучению экспериментального препарата B в сравнении с плацебо. Наша цель заключается в обобщении размера эффекта отдельно для препарата А и препарата B. В реальной жизни подобная ситуация редка. Если мы имеем несколько клинических исследований, выполненных разными коллективами авторов, в разных странах, по разным протоколам и клиническим рекомендациям, то мы ожидаем наличие различий между этими исследованиями в истинном размере эффекта. В таком случае корректно применять модель со случайными эффектами, позволяющую учесть влияние множества случайных факторов на истинный размер эффекта.

Межгрупповой анализ

На втором этапе анализа подгрупп необходимо провести сравнение полученных средних размеров эффектов между группами и рассчитать стандартную ошибку для разницы средних [2]. Разница средних между группами рассчитывается так же, как и разница средних для исследований, включенных в мета-анализ (формула 5).

Для модели с фиксированными эффектами дисперсия для разницы средних размеров эффектов оценивается как сумма дисперсий каждой группы:

V_Diff = V_A + V_B, (1)

где V_Diff – дисперсия разницы средних;

V_A – дисперсия для группы А;

V_B – дисперсия для группы B.

Для модели со случайными эффектами при расчете дисперсии для разницы средних размеров эффектов дополнительно учитывается межгрупповая дисперсия:

 (2)

где τ²_Group – межгрупповая дисперсия;

m – количество подгрупп.

Нельзя оставить без внимания слабые стороны анализа подгрупп. Так, разделение выборки на подгруппы нарушает принцип рандомизации, потому повышает вероятность получения как ложноположительных, так и ложноотрицательных результатов. Выводы, полученные при анализе подгрупп, не следует трактовать однозначно. Поскольку разделение на подгруппы проводится, как правило, после завершения клинических испытаний, существует риск выявления случайных, при этом статистически значимых различий, в связи с чем результаты анализа подгрупп необходимо подвергать критическому обсуждению. Более того, необходимо отметить, что даже при выявлении статистически значимых различий при количественной оценке эффекта раздельно в подгруппах мы не можем полностью объяснить имеющуюся гетерогенность различиями по признаку, по которому мы разделили выборку на подгруппы. Это связано с тем, что подгруппы с высокой вероятностью будут отличаться не только по «разделяющему», но и по другим признакам. Таким образом, между выделенными нами подгруппами всегда будет присутствовать неучтенная гетерогенность, связанная с наличием скрытых модераторов.

МЕТАРЕГРЕССИОННЫЙ АНАЛИЗ

Метарегрессия – это углубленный анализ подгрупп, позволяющий одновременно учитывать различные скрытые модераторы, как числовые, так и категориальные. Метарегрессионный анализ подразумевает построение регрессионной модели, где в качестве переменной исхода выступает оценка размера эффекта, а в качестве параметров модели – характеристики включенных в анализ исследований – модераторы, как качественные, так и количественные (3). Коэффициенты метарегрессионной модели показывают величину и направление влияния каждого модератора на размер эффекта в исследовании.

θ_k = αX_k + ϵ_k , (3)

где θ_k – наблюдаемый эффект исследования k;

X_k – вектор, содержащий модераторы исследования k;

α – вектор коэффициентов регрессионной модели;

ϵ_k – отклонение наблюдаемого в исследовании эффекта от истинного эффекта.

Однако даже при применении метарегрессионного анализа присутствует остаточная гетерогенность, так как часть модераторов может быть не учтенной. Поэтому введено понятие метарегрессии со случайными эффектами, где учитывается случайная гетерогенность по аналогии с мета-анализом со случайными эффектами [3]. Реализация метарегрессионного анализа доступна с помощью пакета metafor¹ языка программирования R.

Результаты метарегрессионного анализа можно представить графически в виде пузырьковой диаграммы (рис. 1). Данные для построения графика по эффективности вакцины против туберкулеза находятся в открытом доступе и сопровождают библиотеку metafor языка программирования R. На графике представлена однофакторная модель зависимости размера эффекта (относительный риск) от модератора (градус широты) со случайными эффектами. Каждая точка на графике обозначает размер эффекта в конкретном исследовании. Размер каждой точки пропорционален значимости исследования в оценке общего размера эффекта. Прямая толстая линия – линия регрессии, дугообразные линии с закрашенной серой областью представляют 95% доверительный интервал для регрессионной оценки. Исследование, расположенное на графике ближе к экватору (точка 8), имело относительный риск, равный 1, что означало отсутствие эффекта вакцины в данном исследовании. По мере отдаления от экватора прослеживается увеличение размера эффекта в исследованиях. В исследованиях, расположенных на графике дальше от экватора (точки 4, 2), ожидаемый размер эффекта был наибольшим, при этом относительный риск менее 1 можно интерпретировать как более высокую эффективность вакцинации в этих исследованиях. В исследованиях 12 и 13 применение вакцины оказалось неэффективным, однако нужно учесть, что в этих исследованиях было много методологических неточностей, поэтому на графике они оказались в виде выбросов.

Проведение метарегрессионного анализа требует соблюдения определенных условий.

1. Количество исследований. В общем случае применение метарегрессии возможно, если в мета-анализ включено, как минимум, 10 исследований. Однако при большом количестве модераторов и их неравномерном распределении между включенными исследованиями для получения значимых результатов требуется увеличение выборки.
2. Предварительный выбор потенциальных модераторов. Составление протокола исследования с перечислением модераторов, которые планируется включить в метарегрессионный анализ, позволит как ограничить количество анализируемых подгрупп, так и избежать ложных результатов в связи со случайно обнаруженным в ходе исследования модератором. Конечно, при выявлении в процессе проведения анализа результатов новых сильных модераторов исследователь может провести дополнительные сравнения, однако такой анализ корректно обозначать как апостериорный (post hoc).
3. Ограничение количества модераторов. С увеличением количества анализируемых вмешивающихся факторов растет вероятность получения ложных результатов, поскольку при множественных сравнениях проводится коррекция статистически значимого уровня, достигнуть которого становится сложнее.
4. Рациональный выбор модераторов. Для получения интерпретируемых результатов выбор анализируемых модераторов должен быть научно и клинически обоснован. Кроме того, нужно четко различать прогностические факторы, которые непосредственно влияют на исход заболевания, и модераторы, которые влияют на само вмешательство и модифицируют эффект этого вмешательства на исход. Для анализа подгрупп и построения метарегрессионной модели некорректно использовать прогностические факторы. Например, при оценке смертности от онкологических заболеваний курение может выступать в качестве прогностического фактора, так как непосредственно влияет на смертность, поэтому этот фактор корректнее включать в модель, прогнозирующую исход заболевания. А возраст, условия проведения эксперимента, доза исследуемого препарата и дизайн исследования являются модераторами, которые можно включать в качестве параметров в метарегрессионную модель, оценивающую влияние модераторов на размер эффекта. Необходимо отметить, что отнесение фактора к прогностическому или к модератору зависит от целей конкретного исследования.
5. Влияние модератора может быть выявлено не всегда. Например, в несколько клинических исследований включали участников от 18 до 60 лет. В каждом отдельном исследовании может присутствовать взаимосвязь между возрастом и наблюдаемым эффектом. Однако если средний возраст между разными клиническими исследованиями сопоставим, то на уровне метарегрессионного анализа возраст окажется незначимым модератором. Подобный феномен получил название систематической ошибки агрегирования или экологического смещения.
6. Мультиколлинеарность модераторов. Мультиколлинеарными или взаимосвязанными считают модераторы, эффект которых на вмешательство нельзя разделить. Например, в исследованиях, где применяли более высокие дозы глюкокортикостероидов, участвовали пациенты с более тяжелым течением заболевания. В такой ситуации невозможно однозначно определить, что оказало больший эффект на результат лечения (доза препарата или тяжесть течения заболевания). Проверить модераторы на мультиколлинеарность можно с помощью корреляции. Выявление высокой корреляции свидетельствует о взаимосвязи модераторов, в таком случае для метарегрессионного анализа нужно выбрать лишь один из них.

СМЕЩЕНИЯ В ПУБЛИКАЦИЯХ

Мы выяснили, как выявить и количественно оценить влияние модераторов на размер эффекта в исследовании. В нашей предыдущей статье мы узнали, как визуально оценить риск наличия публикационных смещений в исследовании и как в общем случае рассчитать веса исследований в усредненной оценке размера эффекта [1]. Поиск и оценка смещений в публикациях играют важную роль, поскольку смещения влияют на корректность выводов, полученных при проведении мета-анализа. Далее мы подробнее остановимся на том, как математически оценить публикационные смещения и учесть их оценку в общей усредненной оценке размера эффекта при проведении мета-анализа.

Существуют два основных подхода к оценке публикационных смещений: аналитический и графический.

Аналитический подход

Аналитический подход представляет построение аналитической модели с целью отбора публикаций для включения в мета-анализ. Отборочные модели основаны на учете весов каждого исследования. В общем виде формулу для модели отбора можно представить следующим образом (4) [4–6]:

 (4)

где g(x|θ) – функция отбора исследования;

x – наблюдаемый в исследовании размер эффекта;

θ – истинный средний размер эффекта;

f(x|θ) – функция плотности вероятности х;

ω(x) – функция, задающая вес исследования;

интегральное выражение – вероятность включения исследования в мета-анализ.

Функции, задающие вес исследования, подробно обобщены в обзоре A. Sutton и соавт. [6]. Интерпретировать функцию весов можно следующим образом: чем выше значимость результатов исследования, тем вероятнее оно будет включено в мета-анализ. Для построения подобных аналитических моделей необходимо включение в мета-анализ не менее 10 исследований. Недостатком аналитического подхода является трудоемкость расчетов, а также то, что выбор функции весов основан на аналитических допущениях, поэтому интерпретация результата отборочной модели может представлять трудности.

Графический подход

Более применимым в практике методом оценки публикационных смещений представляется графический подход, реализация которого доступна при помощи готовых статистических пакетов, например библиотеки metafor языка программирования R. Графический подход для анализа публикационных смещений основан на оценке воронкообразных диаграмм (funnel plots), демонстрирующих зависимость размера эффекта от точности исследования. Размер эффекта и точность результатов исследования могут быть выражены различными статистиками в зависимости от поставленной цели. Наиболее часто оценка точности исследования в мета-анализе представлена стандартной ошибкой или обратной стандартной ошибкой (precision) в случае включения в мета-анализ одновременно как крупных, так и небольших исследований [7]. О вариантах оценки размера эффекта мы поговорим в следующем разделе. Воронкообразную диаграмму можно оценивать как визуально, так и статистическими методами. Статистические методы основаны на математической оценке асимметрии воронкообразных диаграмм и включают регрессию Эггера [8], ранговую корреляцию Бегга [9] и их различные модификации [10–12].

Симметричность воронкообразной диаграммы свидетельствует об отсутствии публикационных смещений (рис. 2). Для демонстрации представлены сгенерированные из нормального распределения данные, имитирующие результаты 20 исследований. Каждая точка на графике соответствует отдельному клиническому исследованию. На воронкообразных диаграммах по оси Х принято указывать статистику, оценивающую размер эффекта (в данном случае корреляция), по оси У – статистику, оценивающую точность результатов исследования [7]. В зависимости от выбранной статистики для оценки точности исследования воронкообразные диаграммы могут иметь различную форму (рис. 2). Средняя линия обозначает истинный средний размер эффекта, а боковые закрашенные области – доверительные интервалы для размера эффекта.

При наличии публикационных смещений исследования будут размещены несимметрично относительно истинного среднего размера эффекта (рис. 3). На графике представлены данные, находящиеся в открытом доступе, по эффективности вакцины против туберкулеза, которые мы обсуждали ранее. В данном случае в качестве статистики, оценивающей размер эффекта, использовали отношение рисков. Чем меньше стандартная ошибка и дисперсия у размера эффекта, тем выше точность исследования и тем ближе точка исследования расположена к верхушке диаграммы, и, наоборот.

Еще один метод оценки устойчивости результатов мета-анализа – анализ чувствительности, основанный на поочередном исключении исследований из мета-анализа, и его графическое представление мы обсуждали в нашей предыдущей статье [1].

ОЦЕНКА РАЗМЕРА ЭФФЕКТА В МЕТА-АНАЛИЗЕ

До сих пор мы использовали понятие размер эффекта, истинную оценку которого мы планируем получить при проведении мета-анализа. Размер эффекта может быть представлен различными статистиками в зависимости от единиц измерения, в которых выражен исход в публикациях. Далее мы обсудим наиболее часто употребляемые статистики для оценки размера эффекта и их формальное представление.

Разница средних (mean difference) и стандартизированная разница средних (standardized mean difference) – наиболее часто используемые статистики в мета-анализе для оценки размера эффекта результатов исследования, выраженных непрерывными числовыми значениями.

Разница средних (5) с дисперсией (6) оценивает абсолютную разницу между средними величинами в двух группах [13]; иными словами, оценивает среднюю величину, на которую экспериментальное вмешательство изменяет исход в сравнении с контрольным вмешательством. Применение разницы средних в мета-анализе возможно, если величины исходов в исследованиях представлены в одинаковых шкалах и единицах измерения.

μ_i = μ_iT – μ_iC, (5)

где μ_i – разница средних i-го исследования;

μ_iT – среднее значение эффекта в i-й экспериментальной группе;

μ_iС – среднее значение эффекта в i-й контрольной группе.

 (6)

где σ_i² – дисперсия разницы средних i-го исследования;

σ_i²_T – дисперсия эффекта в i-й экспериментальной группе;

σ_i²_C – дисперсия эффекта в i-й контрольной группе;

n_iT – размер экспериментальной выборки в i-м исследовании;

n_iC – размер контрольной выборки в i-м исследовании.

Стандартизированную разницу средних (7) с дисперсией (8) необходимо использовать, когда переменные одного и того же исхода в разных исследованиях, включенных в мета-анализ, выражены в различных шкалах и/или единицах измерения [13].

 (7)

где δ_i – стандартизированная разница средних i-го исследования;

μ_iT – среднее значение эффекта в i-й экспериментальной группе;

μ_iС – среднее значение эффекта в i-й контрольной группе;

σ_i – стандартное отклонение стандартизированной разницы средних i-го исследования.

 (8)

где σ_i² – дисперсия стандартизированной разницы средних i-го исследования;

σ_i²_T – дисперсия эффекта в i-й экспериментальной группе;

σ_i²_C – дисперсия эффекта в i-й контрольной группе;

n_iT – размер экспериментальной выборки в i-м исследовании;

n_iC – размер контрольной выборки в i-м исследовании.

Преимуществом использования стандартизированного показателя является возможность сравнения результатов между различными исследованиями, чего не позволяет показатель (абсолютной) разницы средних. Стандартизированная разница средних может принимать значения от 0 до 1, при этом значение 0,2 интерпретируется как малый; 0,5 – средний и 0,8 – большой размер эффекта [14]. Однако показатели разницы средних и стандартизированной разницы средних не учитывают разнонаправленные шкалы. Например, в мета-анализ включены исследования, где оценивают выраженность депрессии по 10-бальной шкале, при этом в одном исследовании больший балл по шкале свидетельствует о более тяжелом течении заболевания, а в другом, наоборот, о более легком течении депрессии. В таком случае перед расчетом разницы средних или стандартизированной разницы средних необходимо вручную привести шкалы к одному направлению (например, домножив одну из шкал на минус 1).

Отношение средних (ratio of means) – еще один подход к оценке размера эффекта в мета-анализе для исходов, выраженных непрерывными числовыми значениями [15], показывающий, во сколько раз экспериментальное вмешательство изменяет исход в сравнении с контрольным вмешательством. Преимуществом данной статистики является независимость оценки размера эффекта от различных шкал и/или единиц измерения переменных исходов в исследованиях, включенных в мета-анализ. Однако расчет отношения средних корректен только в случаях, когда переменная исхода может выражаться положительными, но не отрицательными единицами измерения.

Другими мерами оценки размера эффекта количественных переменных может быть стандартизированная разница в терминах минимально значимой разницы, разница в процентах от исходного уровня и другие. Для оценки размера эффекта категориальных данных используют отношение пропорциональных шансов (proportional odds ratios), временных рядов – отношение рисков (hazard ratio), переменных счета – отношение частот (rate ratio).

ЗАКЛЮЧЕНИЕ

В настоящей статье мы обсудили методы количественной оценки гетерогенности, их преимущества, недостатки и необходимые условия, а также математическую реализацию и интерпретацию графического представления метарегрессионного анализа. Кроме того, мы узнали, как проводить оценку публикационных смещений аналитическими и графическими методами и как учитывать публикационные смещения в оценке общего размера эффекта при проведении мета-анализа. Также мы остановились на статистиках, используемых для оценки размера эффекта, и привели пример расчета наиболее часто используемых статистик и их стандартных отклонений.