Рандомизация

Давайте на время оставим теорию и посмотрим на исследования, которые, по словам гомеопатов, подтверждают действенность их методов. У меня перед глазами стандартный обзор исследований гомеопатической арники, за авторством Эдварда Эрнста, где мы и найдем примеры. Стоит понять, что такие неточности не уникальны, а я не злобствую и не пытаюсь приписать лишнего. Мы просто проделаем то же, что медики и академики делают для оценки достоверности доказательств.

Итак, Гильдебрант с соавторами (как говорят в академии) изучил 42 женщины, которые принимали гомеопатическую арнику от болей в мышцах, и выяснил, что арника действует лучше, чем плацебо. На первый взгляд это правдоподобное исследование, но если присмотреться, то видно, что рандомизация не описана. Рандомизация — это еще одно базовое понятие клинических исследований: мы случайным образом распределяем пациентов по группам, принимающим плацебо и гомеопатические пилюли, так как в другом случае есть шанс, что доктор или гомеопат, сознательно или бессознательно, направит пациентов, думающих, что они выздоровеют, в группу гомеопатии, а не надеющихся — в группу плацебо, тем самым исказив результаты.

Рандомизация — это не новая идея. Жан Баптиста ван Гельмонт (John Baptista van Helmont) впервые предложил своим современникам-академикам сравнить их способы лечения, такие как кровопускания и клизмы (основанные на теории), с его способами, основанными на клинической практике. «Давайте возьмем из госпиталей, приютов или еще откуда-нибудь 200 или 500 больных с лихорадками, плевритами и т. д. Потом разделим их на две группы: одну лечите вы, другую — я… Посмотрим, у кого будет меньше могил».

Сейчас сложно найти столь беззаботного экспериментатора, который бы вообще никак не рандомизировал исследование, даже в области альтернативной медицины. Но удивительно часто встречаются исследования, в которых метод рандомизации некорректен: на первый взгляд они правдоподобны, но если присмотреться, то выяснится, что рандомизация была просто представлением, на самом деле сохранявшим для экспериментатора возможность влиять, сознательно или бессознательно, в какую группу будет направлен пациент.

В некоторых недостоверных исследованиях, во всех областях медицины, пациентов распределяют в группы по тому, как они записались на исследование: первый — в экспериментальную, второй — в контрольную, третий — в экспериментальную, четвертый — в контрольную и т. д. Это выглядит достаточно объективно, но, по сути, создает возможность систематических ошибок в исследовании.

Представим себе пациента, которого гомеопат считает безнадежным, сердечника, которому не станет лучше, какое бы лечение он или она ни получал, а следующий принимаемый пациент идет в «гомеопатическую» группу. Понятно, что сознательно или подсознательно гомеопат может счесть, что этот пациент «вряд ли будет заинтересован в участии в исследовании». Но если этот безнадежный пациент придет тогда, когда принимают в группу плацебо, экспериментатор примет его с большим удовольствием.

То же самое относится ко всем остальным некорректным методам рандомизации: по последней цифре в дате рождения, по дате появления в клинике и т. п. Есть ряд исследований, заявляющих, что пациентов распределяли, подбрасывая монетку, но, на мой взгляд (и на взгляд медиков), подбрасывание монетки тоже оставляет пространство для манипуляций. «По результатам трех бросков и все. Извините, по результатам пяти. Ой, я действительно ее не заметил, что она упала на пол».

Есть целый ряд, несомненно, корректных методов рандомизации, и хотя для их применения требуется здравый смысл, они почти ничего не стоят. Классический вариант — пациент звонит на специальный номер, где ему отвечает человек с генератором случайных чисел (а врач вообще не задействован до тех пор, пока пациент не включен в исследование). Это наиболее популярный метод среди дотошных исследователей, собирающих подтверждения тому, что они проводят достоверные исследования, просто потому что нужно быть бесспорным обманщиком, чтобы спутать результаты, и для этого придется потрудиться. К высмеиванию шарлатанов мы вернемся несколько позже, а сейчас мы говорим об одной из наиболее важных идей в современной интеллектуальной истории.

Имеет ли рандомизация значение? Как и в случае со слепотой эксперимента, эффект рандомизации изучали на большом количестве исследований и выявили, что нечестные методы рандомизации приводили к преувеличению эффектов от лечения на 41 %. По-настоящему серьезная проблема низкокачественных исследований не в том, что в них использовался некорректный метод рандомизации, а в том, что они вообще не указывали, каким способом делили пациентов на группы.

Это классический предупреждающий знак, часто говорящий о том, что исследование было проведено неправильно. И опять это не предубеждение: исследования с нечеткими методами рандомизации ведут к переоценке эффектов лечения на 30 %, что очень похоже на действие откровенно неработающего метода рандомизации.

На самом деле всегда стоит беспокоиться, если люди не сообщают о существенных деталях своих действий или результатов. Уже описаны два исследования, ставшие классическими,

О том, как часто недостоверная информация в научных статьях связана с дурацкими, часто преувеличенными результатами. Да, в исследованиях, где методика не описана полностью, преимущества нового способа лечения преувеличиваются в среднем на 25 %. Прозрачность и детали — это все в науке. Гильдебрант с соавторами, хотя в этом нет их вины, оказались иллюстрацией для разговора о рандомизации (и я им за это благодарен): возможно, они рандомизировали пациентов, возможно, они сделали это корректно. Но они это не описали.

Давайте вернемся к восьми исследованиям гомеопатической арники в обзоре Эрнста, которые мы выбрали случайно, потому что они демонстрируют частое явление в мире нетрадиционной и альтернативной медицины (НиАМ): большинство методологически безнадежно ошибочных исследований показывают действенность гомеопатии, тогда как ряд достоверных — то, что гомеопатия работает не лучше плацебо[8]. Теперь вы видите (я на это надеюсь), что, когда доктора называют исследование ненадежным, это не попытка «замять конфликт», когда академики умышленно исключают плохо проведенное исследование, превозносящее гомеопатию, или какую-то другую статью из систематического обзора — это происходит не из-за личных или этических предпочтений. Просто, если исследование проведено неверно, оно дает ненадежные результаты, к которым следует отнестись с большой осторожностью.

В этом вопросе есть и моральная, и финансовая сторона: правильная рандомизация пациентов не требует дополнительных денег, так же как и неосведомленность пациентов по поводу того, принимают ли они лекарство или плацебо. В общем, проведение исследования честно и с умом не обязательно ведет к дополнительным расходам, просто, прежде чем его начинать, нужно подумать. В ошибках, допущенных в вышеуказанных исследованиях, есть смысл обвинять только тех, кто эти исследования проводил. В некоторых случаях это будут люди, отвергнувшие научный метод как «ошибочную парадигму», но пока что все их новые парадигмы — просто «нечестные испытания».

Такие схемы часто попадаются в литературе по альтернативной медицине. В общем, исследования с ошибками гомеопатию (как и другие альтернативные методы) хвалят, а правильно проведенные исследования, где исключены все возможные источники ошибок, чаще показывают, что альтернативные методы эффективны примерно так же, как плацебо.

Этот феномен внимательно изучили и обнаружили почти линейную зависимость между методологическим качеством исследования гомеопатии и результатом такого исследования. Чем хуже исследование, то есть чем меньше оно похоже на честное, тем яснее вывод, что гомеопатия лучше плацебо. Академики обычно измеряют качество исследования, используя, например, опросник Джадада, семистраничный список, включающий в себя все вопросы, о которых мы говорили ранее, такие как «Описан ли метод рандомизации? Представлены ли результаты измерений?». На графике представлен индекс Джадада для результатов исследования гомеопатии.

Индекс Джадада (количество испытаний)

В левом верхнем углу видны бредовые исследования с серьезными методическими ошибками, триумфально демонстрирующие, насколько гомеопатия лучше плацебо. Переводя взгляд к правому нижнему углу, вы видите, что, когда индекс Джадада стремится к значению 5, исследования становятся более честными и начинают показывать, что гомеопатия не лучше плацебо.

В этом графике, однако, есть какая-то тайна, странность и почти детективная история. Маленькая точка в правом нижнем углу графика, представляющая 10 лучших по качеству исследований с наибольшими значениями индекса Джадада, выбивается из общей тенденции. Это странная находка для края графика: есть несколько высококачественных исследований, ломающих утверждения о том, что гомеопатия не лучше плацебо.

Как такое может быть? Могу сказать, что я думаю: в некоторых отчетах, попавших в эту область, факты подтасованы. Я не знаю, какие из них, как это произошло или кто это сделал, в каких из 10 отчетов, но я думаю именно так. Академикам часто приходится выражать резкую критику очень дипломатично. Вот профессор Эрнст, составивший этот график, обсуждает эту бьющую в глаза точку. Вы можете разгадать его дипломатические уловки («Да, господин») и прийти к выводу, что он тоже предполагает подделку данных.

Есть несколько гипотез для объяснения этого феномена.

Ученым, настаивающим, что гомеопатические средства ничем не отличаются от плацебо, стоит учесть следующее. Корреляционная зависимость, построенная по четырем точкам (индекс Джадада от 1 до 4), правдива. Экстраполяция этой прямой на пятую точку, где меньше возможности ошибиться (индекс Джадада = 5), показывает, что гомеопатические средства — это чистое плацебо. По сути, то, что средние результаты 10 исследований с индексом Джадада, равным 5, противоречат замеченной тенденции, показывает, что некоторые исследования (конечно, не все из них), проведенные убежденными гомеопатами, подкованными в методологии, выглядят убедительно, хотя на самом деле недостойны доверия.

Но это просто странность и отход от темы. В общей картине, даже если включить эти подозрительные исследования, ситуация не меняется, и «метаанализ» все же показывает, что гомеопатия не лучше плацебо.

Метаанализ?