Базовые аспекты мета-анализа. Часть 1

Список сокращений:

ДИ – доверительный интервал
неРКИ – нерандомизированное исследование
РКИ – рандомизированное контролируемое исследование

Многие оригинальные исследования имеют сходные цели и задачи, но при этом проводятся разными коллективами, с разными пациентами, по иным протоколам и в разные временные промежутки. Результаты таких исследований могут быть разнообразны и противоречивы, что затрудняет принятие клинических решений. Благодаря концепции доказательной медицины разработаны инструменты, позволяющие объединить результаты многочисленных исследований, в определенной мере различающихся между собой [1]. Проверяя гипотезы в разных популяциях, мы получаем бесценные данные о том, что: а) эффект прослеживается у разных групп (или, наоборот, есть только в конкретных группах); б) существует вариабельность эффекта. Большое количество сходных исследований, по сути, являются репликациями одного большого эксперимента. Соответственно большее количество репликаций повышает мощность и степень доверия к результатам.

Существуют несколько основных инструментов, чтобы вынести суждение о совокупных результатах неких единообразных исследований.

• Систематические обзоры. Систематические обзоры включают все исследования, которые возможно найти, соответствующие неким строгим критериям включения. Данные критерии включения направлены на соблюдение ряда стандартов, предъявляемых к планированию исследований, их проведению и стандартным операционным процедурам и результатам (например, исследования по артериальной гипертензии, где артериальное давление оценивалось в соответствии с международными рекомендациями по кардиологии; исследования определенной манипуляции в хирургии, которая выполнялась строго в соответствии с четкими рекомендациями международных ассоциаций).
• Мета-анализы. Главным отличием мета-анализа от систематических обзоров является не только рассмотрение результатов ряда исследований, но и количественная оценка их результатов. В самом деле, нам необходимо знать не только то, что препарат/вмешательство обладает эффектом, но и оценить размер этого эффекта, и широту его вариабельности.

В настоящей публикации мы затронем базовые аспекты проведения мета-анализов, что делается после того, как проведен литературный поиск и фактически проведена бóльшая часть работы для систематического обзора.

ВКЛЮЧЕНИЕ ИССЛЕДОВАНИЙ В МЕТА-АНАЛИЗ

Рекомендации PRISMA

Детальное описание критериев и процесса литературного поиска не является темой настоящей публикации, однако важно помнить, что любое создание систематического обзора состоит из ряда ступеней. Эти ступени объединены в стандартную схему, получившую название «диаграмма PRISMA» (Preferred Reporting Items for Systematic Reviews and Meta-Analyses, предпочтительные элементы отчетности для систематических обзоров и мета-анализов), по названию соответствующих рекомендаций [2] (рис. 1). [2] (рис. 1).

Собственно, мета-анализ начинается после того, как завершено включение и доступны исследования, из которых будет выполнена экстракция данных.

Основными рекомендациями по предварительным и дальнейшим шагам, представляющим для читателя практический интерес, являются:

• Руководство Кокрановского общества по составлению систематических обзоров (Cochrane Handbook for Systematic Reviews of Interventions)¹ – данный документ размещен в интернете и представляет собой структурированное руководство с освещением практически всех аспектов литературного поиска, проведения метаанализа, базовых навыков по математической статистике, необходимых для такой работы.
•  Рекомендации PRISMA, о которых мы упоминали выше [2].

Представленные рекомендации помогут соблюсти высокие стандарты при написании систематических обзоров и уменьшить число возможных ошибок и неточностей, которые впоследствии могут затруднить продолжение работы. В связи с тем что метаанализы широко используются фармацевтическими компаниями, а также иными коммерческими структурами, соблюдение указанных в рекомендациях стандартов проверяется рецензентами очень тщательно как при рассмотрении, так и при публикации статей. Строгое соблюдение регламента и рекомендаций является залогом успешной публикации.

ОЦЕНКА ВОЗМОЖНЫХ СМЕЩЕНИЙ В ПУБЛИКАЦИЯХ

После сбора всех подходящих публикаций для включения в систематический обзор или мета-анализ необходимо оценить их с точки зрения возможных смещений. К сожалению, источников потенциальных смещений может быть довольно много, поэтому были разработаны специальные инструменты, позволяющие исследователям проводить потенциальную оценку публикаций. Такие инструменты получили название графики риска смещений, или risk of bias plots.

Данные графики можно строить для исследований с различными типами дизайна, в первую очередь для рандомизированных контролируемых исследований (РКИ) (рис. 2) и для нерандомизированных исследований (неРКИ) [3] [ 4] (рис. 3). Графики, приведенные ниже, получили название «светофоры». Основная идея сводится к тому, что исследователи, проводящие мета-анализ с включением РКИ (рис. 2), рассматривают каждое исследование по отдельности и оценивают, насколько велики риски, ассоциированные с 5 доменами:

• рандомизацией;
• вмешательством;
• пропущенными данными;
• оценкой конечной точки;
• представлением результатов.

Риск оценивается как «высокий», «средний» и «низкий».

В случае если в мета-анализ включаются неРКИ, оцениваются риски, связанные с 7 доменами:

• конфаундингом (confounding, влияние вмешивающихся факторов);
• отбором и включением пациентов;
• вмешательством;
• расхождением с протоколом;
• пропущенными данными;
• оценкой конечной точки;
• представлением результатов.

Оценка риска интерпретируется как потенциально «низкая», «умеренная», «высокая» и «очень высокая». Данный инструмент позволяет критически подходить к полученным в мета-анализе результатам и рассматривать исследования с высоким риском смещения как менее надежные. Детальное описание возможностей данного инструмента приведено на специализированном сайте².

 РАЗМЕР ЭФФЕКТА В МЕТА-АНАЛИЗЕ

Исследования, объединенные в мета-анализе, обычно оценивают результаты по идентичной конечной точке. Данная оценка есть эффект, который был достигнут, или наблюдаемый эффект. Эффект традиционно обозначается греческой буквой «тета» θ, наблюдаемый эффект по каждому из k исследований обычно обозначается, как θk. Понятие эффекта, его размера и его оценки описано в нашей публикации о тестировании статистических гипотез [6].

Существуют две основные концепции, позволяющие описать и оценить эффект нескольких исследований. Обе эти концепции привязаны к соответствующим статистическим моделям с фиксированными и со случайными эффектами.

Модель с фиксированными эффектами

Эта модель подразумевает, что включенные в метаанализ исследования очень похожи друг на друга в отношении дизайна, количества пациентов, методологии проведения, оценки результатов и других параметров. Исследования представляются сходными настолько, что их результаты, или эффекты θ1,2,3,...k, считают единой выборкой из одной генеральной совокупности всех возможных аналогичных исследований.

Вероятностное распределение такой совокупности имеет математическое ожидание (среднее взвешенное по вероятностям возможных значений), представляющее собой некий истинный размер эффекта θ̂ . Соответственно каждое исследование представляет собой элемент совокупности, а несколько случайно взятых из такого распределения исследований (мета-анализ) представляют собой банальную выборку.

Наблюдаемый эффект в каждом исследовании k будет отличаться от истинного на величину ошибки:

θ̂ = θ_k + ϵ_k.

Соответственно мы считаем, что среди нескольких исследований наиболее точными являются те, где величина выборочной ошибки ϵ наименьшая (рис. 4).

Выборка из нескольких исследований {1,2,3,...k} должна иметь некую центральную тенденцию или математическое ожидание, отражающее истинный размер эффекта. Таким образом, используя определение математического ожидания как среднее взвешенное, получаем:

• θ̂ – взвешенный размер эффекта по k исследованиям, являющийся результатом мета-анализа;

• θk – наблюдаемый эффект исследования k;

• wk – вес исследования k.

Из данного уравнения неясным остается, как получить вес каждого исследования. Как мы знаем, наблюдаемый эффект, полученный в исследовании k, является точечной оценкой (point estimate). В исследование k включено определенное количество пациентов, n. Мерой вариабельности эффекта θk будет его стандартная ошибка, рассчитанная как:

где

√n • σ – стандартное отклонение эффекта θk в исследовании k;

• n – количество пациентов в исследовании k.

В модели с фиксированными эффектами один из способов расчета весов выполняется с помощью так называемого метода обратной дисперсии (inverse variance method):

где

• sk 2 – квадрат стандартной ошибки эффекта θk в исследовании k;

• w_k – вес исследования k.

Таким образом, в модели с фиксированными эффектами вес любого исследования обратно связан с величиной обратной ошибки эффекта в исследовании и напрямую – с количеством включенных в исследование пациентов. Допущением модели является тот факт, что ничто, кроме количества пациентов, не может влиять на вес исследования.

Данная концепция, с одной стороны, представляется излишне упрощенной. В реальном мире исследования так или иначе отличаются друг от друга и данные различия обусловлены огромным количеством факторов помимо размера выборки.

Модель со случайными эффектами

Если в мета-анализе объединены исследования различного дизайна (РКИ, когортные и т.п.), проведенные в разные годы, в разных странах, в центрах с разными стандартами оказания медицинской помощи, с протоколами вмешательств по разным клиническим рекомендациям, требуется модель, которая будет учитывать различия не только по объему выборки, но и по вышеупомянутым факторам.

Такая модель предполагает, что эффект по каждому исследованию, включенному в мета-анализ, является выборкой из собственной совокупности размеров эффекта и отличается от математического ожидания собственной совокупности на величину ϵk (рис. 5).

Если мы включили в мета-анализ k исследований, следовательно, это k выборок из k различных генеральных совокупностей. При этом k совокупностей имеют свое распределение с математическим ожиданием в виде взвешенного размера эффекта, при этом каждая генеральная совокупность отличается от математического ожидания своего распределения на величину ξk. Такое общее распределение имеет точечную оценку, которая соответствует взвешенному эффекту в мета-анализе, θ̂, и дисперсию τ².

Таким образом, точечная оценка эффекта в каждом исследовании среди k отличается от взвешенного эффекта следующим образом:

θ̂ = θ_k + ϵ_k + ξ_k.

Показатель ξ_k объединяет различия, которые не связаны с ошибкой выборки.

Модель, которая использует данную логику, получила название модель со случайными эффектами. Веса индивидуальных исследований в такой модели рассчитываются следующим образом:

где

• sk 2 – квадрат стандартной ошибки эффекта θk в исследовании k;

• w_k – вес исследования k;

• τ² – дисперсия распределения нескольких генеральных совокупностей.

В свою очередь, взвешенный эффект рассчитывается абсолютно так же, как и для модели с фиксированными эффектами:

где • θ̂ – взвешенный размер эффекта по k исследованиям, являющийся результатом мета-анализа;

• θ_k – наблюдаемый эффект исследования k;

• w_k – вес исследования k.

Для вычисления показателя τ² используются различные математические подходы, наиболее часто – DerSimonian-Laird, ограниченного максимального правдоподобия (Restricted Maximum Likelihood), максимального правдоподобия (Maximum Likelihood), процедура Paule-Mandel и другие [7–9]. Выбор конкретного метода зависит от типа оценки конечной точки и от конкретной ситуации, поэтому требует консультации с биостатистиком.

HETEROGENEITY ASSESSMENT ОЦЕНКА ГЕТЕРОГЕННОСТИ

Мы выяснили, что включенные в мета-анализ исследования могут значительно различаться, более того, в зависимости от этих различий избирается та или иная модель анализа. Существует ли некая мера, с помощью которой можно оценивать степень различий? Можем ли мы как-то объяснить степень различий, и нужно ли это делать? Как определить, какие исследования больше отличаются от других? На все эти вопросы может дать ответ концепция о гетерогенности.

Гетерогенность зависит от многих причин, наиболее частые из которых:

• неверный подбор исследований для мета-анализа;
• наличие явных и скрытых факторов-модераторов, влияющих на взвешенный эффект (модератор фактически создает подгруппы с разным размером эффекта);
• небольшое количество исследований, используемых для мета-анализа.

Когда исследователи сталкиваются с избыточной гетерогенностью, например в ситуации, где у ряда исследований противоположное направление эффекта или когда крайне разный размер эффекта, необходимо разобраться, не имеет ли место ошибочное включение исследований в мета-анализ. Попытка объединить исследования, в которых оценивались совершенно разные параметры, приведет к огромной гетерогенности и не ответит на вопрос мета-анализа. Результаты такого мета-анализа будут крайне сомнительны.

Если мы считаем, что на данном этапе ошибки нет, необходимо далее искать причину высокой гетерогенности. Например, при использовании нестандартизованных показателей необходимо попытаться использовать стандартизованные. Ряд показателей может быть измерен в разных шкалах или значительно различаться на включении между исследованиями – стандартизация позволяет сгладить такие различия.

Следующей причиной высокой гетерогенности является наличие скрытых или явных модераторов или конфаундеров. Например, при оценке распространенности сердечно-сосудистых заболеваний явными модераторами являются пол и возрастная группа пациентов. Включение модератора и оценка его влияния на эффект и гетерогенность проводится с помощью метарегрессионного анализа, или метарегрессии. Дальнейший анализ подгрупп позволяет значительно снизить гетерогенность.

Наконец, малое количество исследований в метаанализе может привести к высокой гетерогенности.

По G. Rücker, существует 2 основных типа гетерогенности [10]:

• Гетерогенность, обусловленная дизайном или базовыми характеристиками. Причиной является попытка объединить в мета-анализе различные по дизайну исследования (включая тип исследования, характер вмешательства, способ оценки результатов, срок их оценки и другие параметры), а также исследования, сильно гетерогенные по когортам пациентов. Данный тип гетерогенности может приводить к статистической гетерогенности.
• Статистическая гетерогенность. Обусловлена точностью оценки и вариабельностью размера эффекта. Данную гетерогенность уже можно оценить количественно. Одной из причин (но совсем не всегда) статистической гетерогенности может быть гетерогенность, обусловленная дизайном. Methods to measure heterogeneity

Способы оценки гетерогенности

Cochran`s Q

Мы рассмотрели оба типа моделей и поняли, что существует наблюдаемый эффект θ̂ k некоего исследования k, а также взвешенный эффект, который мы рассчитываем θ̂ для всех исследований мета-анализа. Мы также помним, что у каждого исследования есть свой вес wk. Отклонение наблюдаемого эффекта от взвешенного может быть направлено в любую сторону (может быть с любым знаком). Если мы возведем отклонение в квадрат, оно больше не будет привязано к направлению.

Сумма взвешенных квадратов таких отклонений получила название Cochran’s Q:

Мы можем рассчитать отклонение наблюдаемого эффекта от взвешенного по всем исследованиям.

Распределение Cochran’s Q сильно приближено к распределению χ2 с K – 1 степенями свободы, где K – количество исследований в мета-анализе.

Cochran’s Q будет расти при увеличении количества исследований в мета-анализе, а также при наличии в нем крупных исследований с большим количеством пациентов.

I²-статистика Хиггинса и Томпсона

Данная статистика рассчитывается с помощью Cochran’s Q и указывает на % гетерогенности, обусловленный ошибкой ξk (ошибкой, не связанной с размером выборки).

Нулевая гипотеза состоит в том, что гетерогенность отсутствует и Cochran’s Q следует распределению χ2 с K – 1 степенями свободы (ожидаемая гетерогенность). Но у нас имеется и наблюдаемая гетерогенность Q. Тогда отклонение наблюдаемой гетерогенности от ожидаемой составляет:

и выражается в долях единицы или в процентах.

Принято выделять низкую (до 25%), умеренную (25–75%) и высокую (75% и выше) гетерогенность [11].

H²-статистика

Данная статистика рассчитывает отношение Q-статистики к K – 1: при отсутствии гетерогенности значение стремится к 1. Более высокие значения говорят о наличии гетерогенности между исследованиями.

Дисперсия гетерогенности τ²

Истинный взвешенный эффект имеет собственную дисперсию τ2 и стандартное отклонение τ. Данная статистика хорошо подходит для оценки меры гетерогенности, имея ту же размерность, что и эффект в исследованиях в мета-анализе. Зная рассчитанный взвешенный размер эффекта θ̂ в мета-анализе, мы можем оценить 95% доверительный интервал (ДИ) истинного эффекта как θ̂ ± 1,96 × τ.

АНАЛИЗ ЧУВСТВИТЕЛЬНОСТИ

Анализ чувствительности показывает, какое влияние могут оказать отдельные исследования на взвешенный эффект, или, другими словами, насколько результаты мета-анализа устойчивы.

Одним из наиболее часто используемых способов оценки чувствительности является метод leave-one-out Каждое исследование по одному удаляется из мета-анализа, после чего размер взвешенного эффекта и гетерогенность пересчитываются. Серьезные изменения по величине размера эффекта и снижение гетерогенности указывают на то, что именно исключенное исследование оказывает существенное влияние на общий результат. Если первоначально такое исследование в графике-«светофоре» было оценено исследователями как обладающее высоким/умеренным риском смещения, оно может быть исследованием-выбросом, и необходимо рассматривать целесообразность его присутствия в мета-анализе.

Графически результаты анализа чувствительности представлены на рисунке 6.

В примере на рисунке 6 взвешенный эффект, полученный в мета-анализе, является разницей средних (mean difference) и составил 0,16 [0,1; 0,23], мы видим, что при исключении поочередно исследований из мета-анализа взвешенный эффект существенно не меняется. При этом исключение исследования Protocol 162A существенно снижает гетерогенность, по статистике I2 до 5%. Данное исследование требует пристального внимания, так как его присутствие обуславливает высокие значения гетерогенности во всем мета-анализе.

В общем случае анализ чувствительности направлен на оценку того, как меняется взвешенный эффект при исключении исследований, которым при оценке потенциальных рисков смещения был присвоен «высокий» и «очень высокий» уровень риска. При возникновении существенного влияния на эффект при исключении таких исследований (например, в ситуации, когда после исключения исследований с высоким риском 95% ДИ нового взвешенного эффекта перестает включать точечную оценку взвешенного эффекта до исключения исследований) необходимо пересмотреть необходимость включения исследований с высоким риском в мета-анализ

ФОРЕСТ-ДИАГРАММА (FOREST PLOT)

Наиболее общим способом суммировать результаты мета-анализа является форест-диаграмма (forest plot) – специфический график, отображающий исследования, вошедшие в анализ, эффект в каждом из них, взвешенный эффект, а также ряд дополнительных характеристик, например, веса каждого исследования, показатели гетерогенности, тип выбранной статистической модели (фиксированные или случайные эффекты). Неотъемлемой частью forest plot является диаграмма, дублирующая размеры эффекта и их 95% ДИ, а также взвешенный эффект и его 95% ДИ.

Довольно часто размер точек на графике, характеризующих определенное исследование, связан с весом данного исследования (соответственно, точки наибольшего размера связаны с исследованиями с наибольшим весом).

Типичный forest plot показан на рисунке 7. Данные исследования взяты из материалов, сопровождающих библиотеку meta языка программирования R [12].

На рисунке 7 мы видим названия исследований и год публикации результатов, характеристики основных и контрольных групп (количества, средние и стандартные отклонения – необходимые нам данные для расчета стандартной ошибки), размер эффекта (в данном случае разница средних, mean difference, MD) и его 95% ДИ, веса в моделях с фиксированными и случайными эффектами, взвешенный эффект для обоих типов моделей, а также показатели гетерогенности.

Также мы видим диаграмму с отрисовкой все тех же размеров эффекта в исследованиях (в виде квадратов, размер которых указывает на веса) и взвешенные эффекты для моделей с фиксированными и случайными эффектами (в виде ромбов).

Вертикальная сплошная черта обозначает размер эффекта, равный нулю. Так как мы имеем дело с разницей средних, если 95% ДИ отдельных исследований или взвешенных эффектов включает ноль, значит высока вероятность, что наблюдаемые точечные оценки случайны.

В настоящем примере единственное исследование, где наблюдается значимый эффект, – Florell 1971, его вес в модели как с фиксированными, так и со случайными эффектами наивысший (38,6 и 33,3% соответственно). По результатам мета-анализа модель с фиксированными эффектами показывает наличие значимого эффекта, разница средних составила -0,71 [-1,26; -0,16], при этом результаты модели со случайными эффектами оказались незначимыми: точечная оценка составила -0,75, а 95% ДИ включает ноль [-1,53; 0,03].

ЗАКЛЮЧЕНИЕ

В настоящей части статьи мы познакомились с этапами включения исследований в мета-анализ, рассмотрели существующие рекомендации, с которыми необходимо познакомиться при написании мета-анализа, детально разобрали процесс создания весов, различные типы моделей, используемых в мета-анализах. Также мы познакомились с понятием гетерогенности и способом ее вычисления. Были представлены основные графики, публикуемые в мета-анализах, такие как forest plot и график leave-oneout для анализа чувствительности. В следующей публикации мы рассмотрим, как происходит анализ подгрупп и концепцию метарегрессии, а также научимся оценивать публикационное смещение, визуально и математическими методами. Дополнительно мы вспомним, как наиболее часто оценивается эффект в мета-анализе, и остановимся на стандартизованных показателях и оценке для них стандартной ошибки.