беспристрастность снова в бою (меморандум лжеученых, ч. 2)

[eugenegp]

Поскольку мой предыдущий пост вызвал реакцию спонтанного самоизменения материалов Комиссии по лженауке и борьбе с фальсификацией научных исследований (http://eugenegp.livejournal.com/289318.html), я решил подробнее посмотреть на их содержание. Всё то же приложение номер 5, будем последовательны.
И буду нудным, извините, так что можете пропустить.

Итак, статья Frei H et al. Homeopathic treatment of children with attention deficit hyperactivity disorder: a randomised, double blind, placebo controlled crossover trial.European Journal of Pediatrics 2005, 164:758–767. ("Гомеопатическое лечение детей с синдромом дефицита внимания и гиперактивности: рандомизированное, двойное слепое, контролируемое исследование с кроссовером"). Раскритикована она в меморандуме так:

"Предубеждение бросается в глаза уже в абстракте, где авторы заявляют, что
«целью исследования является получение научных подтверждений
эффективности гомеопатии при СДВГ (синдроме дефицита внимания и
гиперактивности)». Объективный исследователь должен был бы ставить целью
выяснение, является ли в принципе гомеопатия эффективной при СДВГ.
Неудивительно, что авторы исследования продемонстрировали значимые
результаты. Тем не менее, в 2007 году в обзоре Коллаборации Кохрейна о
применении гомеопатии при СДВГ констатирован следующий вывод: «На
сегодня нет достаточных подтверждений эффективности гомеопатии при
лечении СДВГ» [10].

Эксперты не рассматривают ни методологию, ни результаты данного исследования. Единственное, о чем речь - "бросившееся в глаза предубеждение", которое, по мысли составителей меморандума, дискредитирует само исследование. Как же такое "предубежденное" исследование попало в научный журнал?

Открываем "абстракт", и видим, что даже судя по только абстракту, в исследовании не ставилась цель "получение научных подтверждений
эффективности гомеопатии" (obtain proof, or testimony, or confirmation). В абстракте написано о цели "получить научные фактические данные об эффективности гомеопатии" (obtain scientific evidence). Ведь evidence может быть как позитивным, так и негативным. На термин "negative evidence" Google находит 400,000 документов. Именно поэтому у слова evidence в англо-русском словаре есть, среди других, и значение "данные, факты, фактические данные".

Перепроверим себя и откроем саму статью. Там написано: целью было исследовать, есть ли значительные отличия у гомеопатии в сравнении с плацебо при лечении СДВГ (whether homeopathy is significantly distinct from placebo in the treatment of ADHD). Если кому интересно, в исследовании получено статистически достоверное долгосрочное улучшение (Long-term CGI improvement reached 12 points (63%, P <0.0001) (*).

Таким образом, если оставить в сторону предубеждения самой экспертной группы, надо тогда предполагать, что она не справилась с переводом абстракта с английского. А статью и не открывала. Но если эксперты, составляющие меморандум, плохо (как предполагает предыдущий разбор) понимают по-английски, как же они служили в очистке? делали анализ исследований? Ведь ни одного российского (или там немецкоязычного) исследования в меморандуме нет?

Ну хорошо, скажете вы. А в заключении Кохрейна-то что сказано? Действительно же на сегодня нет достаточных доказательств? ("There is currently little evidence for the efficacy of homeopathy for the treatment of ADHD"). Подтверждаю. На сегодня достаточных доказательств по стандартам Коллаборации Кохрейна нет. Доказательства есть, но их недостаточно, чтобы высший авторитет в области доказательной медицины рекомендовал гомеопатию, как лечение при СДВГ. Домашнее задание: попробуйте вывести из такого заключения "лженаучность".


---
(*) см. ниже замечание kobak и мой ответ:

===
третья часть Случай сопливых статистиков
четвертая часть - Случай неконтролируемого поноса

Comments

[eugenegp.livejournal.com]

По печальной необходимости скриншот, вдруг опять "машина времени" заработает

[speakus.livejournal.com]

Лучше ссылкой сохранять: http://wayback.archive.org/web/*/http://klnran.ru/wp-content/uploads/2017/02/m02_p5_errors.pdf
Или так: http://archive.is/xMKRS
В последнее время картинками часто фейки распространяются.

[eugenegp.livejournal.com]

Хотя с сайта Комиссии исходная версия была удалена, к счастью, она была разослана во многие СМИ. Вот старая версия Приложения 5:
http://web.archive.org/web/20170216152335/http://polit.ru/media/files/2017/02/06/m02_p5_errors.pdf

[eugenegp.livejournal.com]

Спасибо, что напомнили про wayback machine, утром говорил как раз про это, но не успел провериить наличие старой версии.

[eugenegp.livejournal.com]

Удивительно, старая версия исчезла из wayback machine.

А вы полный текст статьи читали ?

[petrkiskin.livejournal.com]

И где в ней "randomised, double blind, placebo controlled" ?

Да, я читал полный текст статьи

[eugenegp.livejournal.com]

"randomised, double blind, placebo controlled" в нем проводился на этапах 1 и 2 кроссовера.

Трудности при беглом ознакомлении с методологией могут возникнуть, что именно вас смутило?

Да мелочи ...

[petrkiskin.livejournal.com]

Ну и где там двойное слепое ? И с рандомизацией вопрос - если сначала отбирать только респондеров ...

Re: Да мелочи ...

[eugenegp.livejournal.com]

Я еще раз повторяю: двойное слепое на этапе 1 и на этапе 2. В чем проблема?
Рандомизация: У вас есть респондеры. Вы их рандомизировали по группам. Задавайте вопрос.

RE: Re: Да мелочи ...

[petrkiskin.livejournal.com]

Я не вижу в статье двойного слепого. Не вижу.
Отбор респондеров. Предположим, что у вас есть препарат Х, на который отвечает 10% больных. Вы отобрали эти 10% больных, поделили их на две группы и одной стали давать препарат дальше, другой нет, даете плацебо. В первой группе ура-ура улучшение, препарат на диво эффективен - все отвечают. а с плацебо - почти никто. Вопрос - какова будет эффективность препарата для выборки пациентов в целом ?

Re: Re: Да мелочи ...

[eugenegp.livejournal.com]

Понятия не имею (строгий ответ). Вы не забыли посмотреть objective исследования?

RE: Re: Да мелочи ...

[eugenegp.livejournal.com]

Вы не видите фразу "Patients, their parents, the investigators and the treating physician were blind to the assigned treatments and the treating physician had no contact with patients and parents during the crossover trial."
OK, я вас понял.

дык

[toogeza.livejournal.com]

"Мы проводили исследования, от которых пришли в ужас. На тысячу студентов медицинского института английский язык знают десять человек. Не десять процентов, а один! Не так знают, чтобы в кафе яичницу заказать, а чтобы статью прочесть в научном журнале, презентацию сделать. Без этого о каком медицинском образовании сегодня можно говорить? "

отсель: http://www.kommersant.ru/doc/3205843

Re: дык

[eugenegp.livejournal.com]

Ну это ж эксперты РАН, посмотрите, как себя люди аттестуют в подписях под экспертным заключением.
Статьи-то можно было открыть? А не подписывать чохом всё, что главный "инквизитор" составил?

распатронили

[toogeza.livejournal.com]

Евгений, огромное спасибо за все эти публикации. Вас всегда мега-интересно читать!

----
А вот ещё:

— А почему возникла необходимость разоблачать гомеопатию?

— Просто она стала очередной проблемой, на которую мы обратили внимание. Гомеопатия шла у нас в большой рост как всякое целительство. Последней каплей стало то, что на прошлых выборах в академии выбрали в членкоры РАН главу целого гомеопатического холдинга — ​Олега Юрьевича Эпштейна. Он изображал из себя крупного генетика, нормального медика, и его физиологи выбрали. Но потом, когда на общем собрании был опубликован список его достижений, то один-единственный математик догадался прочитать его. И с октября прошлого года мы решили форсировать эту тему, хотя планы разобраться с гомеопатией у нас были давно. Ранее мы уже дерматоглифику распатронили. Потом собирались заняться ГМО. Это плановая работа.

(Академик, председатель Комиссии РАН по борьбе с лженаукой и фальсификацией научных исследований Евгений Александров)

src: https://www.novayagazeta.ru/articles/2017/02/15/71521-gomeopatiya-odin-memorandum-i-pyat-sindromov

RE: распатронили

[bioplant.livejournal.com]

Вот кстати одним из распространённых аргументов против деятельности академика Фоменко (тоже объекта критики Комиссии по лженауке) является: "математик, пусть и академик, не профессиональный историк, и нечего ему лезть не в свою. область знаний" (тут даже взаимоотношения хронологии и математики пока опустим). Зато когда астрономы, филологи и _правильные_ математики начинают выступать экспертами в медицинских вопросах (против мнения физиологов!) - тут, значит, всё "нормально".

[eugenegp.livejournal.com]

Бонус - я часто рассказываю, что сама идея исследования с плацебо-контролем принадлежит гомеопатии. Один из авторов упомянутого Кохрейновского обзора, описал, вероятно, первые в истории науки официальные испытания лечения с плацебо-контролем, которые проводились в Санкт-Петербурге в 1829 и 1834 гг.
Так что Россия, как это не смешно, может претендовать на статус родины испытаний с плацебо-контролем :)

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1484568/

[kobak.livejournal.com]

> Если кому интересно, в исследовании получено статистически
> достоверное долгосрочное улучшение (Long-term CGI
> improvement reached 12 points (63%, P <0.0001).

Эта Ваша фраза мне кажется misleading. Речь в Вашей записи идет о randomised, double blind, placebo controlled исследовании, и таким образом эта фраза звучит так, что разница между гомеопатией и плацебо была показана с достоверностью p<0.0001. По-крайней мере, так я понял эту фразу, когда прочитал Вашу запись.

На самом деле "Long-term CGI improvement reached 12 points (63%, P <0.0001)" относится к разнице между >1 годом после эксперимента и моментом диагноза, при этом до начала (а также после окончания) randomised double blind фазы эксперимента всем пациентам открыто прописывали гомеопатию (Prior to the randomised, double blind, placebo controlled crossover study, they were treated with individually prescribed homeopathic medications.). В этом нет ничего плохого, но "63%, P <0.0001" к сравнению гомеопатии и плацебо отношения не имеют, если я правильно понял.

Более релевантной фразой из абстракта является, на мой взгляд, следующая: "During the crossover trial, CGI parent-ratings were significantly lower under verum (average 1.67 points) than under placebo (P=0.0479)."

Или я что-то то не так понял?

[eugenegp.livejournal.com]

Ваше замечание достаточно состоятельно. Проблема, однако, заключается в довольно сложной методике, вызванной необходимостью совместить достаточно жесткие требования к доказательности "двойных слепых рандомизированных с контролем" и назначение индивидуализированной гомеопатической терапии для ADHD пациентов.

В данном исследовании гомеопатическое назначение перед началом эксперимента использовалось для скрининга участников. Среднее время гомеопатического лечения в ходе скрининга составило пять месяцев. Это привело, судя по всему, к сильному carry-over effect на этапе собственно сравнения verum vs placebo в обеих группах.

Соответственно, я затрудняюсь выставить ровно один показатель для выводов этого исследования (там внутри много интересного); но, строго говоря, вы скорее правы.

[eugenegp.livejournal.com]

Я поставил update. Всё это, конечно, упрощение по абстракту, но кому надо, прочитает статью.

[kobak.livejournal.com]

Я-то прочитал всю статью, и у меня по ней есть более содержательные вопросы (и к ней более содержательные претензии). Мой предыдущий комментарий был всего лишь реакцией на неточность в тексте Вашей записи. Неточность, как мне кажется, важную, т.к. разница между delta=1.67, p=0.048 (клинически незначительная разница, статистическая значимость на грани) и delta=12, p<0.0001 (клинически очень существенная разница, статистическая значимость бесспорна) огромная.

Более содержательные вопросы сформулирую чуть попозже.

[eugenegp.livejournal.com]

Я хотел бы предупредить, что не уверен, что буду защищать данное исследование от объективного критического разбора. Лично я бы не выставлял его на щит в качестве первой линии аргументации доказывания отличия гомеопатических препаратов высоких разведений от плацебо - из-за высокой сложности и самого исследования, и использованного терапевтического подхода и неочевидности клинического результата для широкой публики.

К данному исследованию можно придумать массу содержательных вопросов. Однако последние мои посты не об этом, а о необычном, на мой взгляд, "тщательном научном анализе публикаций", предпринятом Комиссией по лженауке и фальсификации научных исследований.

[kobak.livejournal.com]

Понял.

Вопросы такие:

(1) Зачем нужна была такая длиная фаза скрининга до начала слепой рандомизированной фазы? Судя по Figure 3, более или менее весь терапевтический эффект произошел уже в течение этих 5 месяцев, дальнейшее лечение (в т.ч. после окончания слепой фазы) никакого дальнейшего эффекта уже не оказывало. Зачем вообще нужен скрининг? Я понимаю, что авторы там пишут про индивидуальное лечение в гомеопатии, но не понимаю, зачем нужен скриниг. Мне бы казалось, что надо начинать слепую рандомизированную фазу сразу после выписывания рецепта. Что я упускаю?

(2) В данном конкретном исследовании авторы ожидали, что CGI при плацебо пойдет вверх, а при гомеопатии пойдет вниз или хотя бы останется на том же уровне. Как в первом, так и во втором этапах слепой фазы. Вместо этого, на первом этапе показатель пошел вверх в обеих группах (Figure 2), а на втором этапе в группе плацебо остался примерно на том же уровне. Авторы это обсуждают и предлагают некое объяснение, но оно мне не кажется убедительным. Лично мне наиболее вероятным объяснением того, что я вижу на Figure 2, кажутся просто случайные колебания. Кроме того, мне не совсем понятна их статистическая mixed model (почему в ней нет interaction term? почему только анализируется только второй этап, а не первый?), но это уже детали, в которые вдаваться не обязательно. В целом - Вам кажутся изображенные на Figure 2 результаты убедительными?

(3) А какие работы Вам кажутся наиболее однозначно и убедительно доказывающими превосходство гомеопатии над плацебо?

[eugenegp.livejournal.com]

1) В рамках гомеопатической доктрины отсутствие отклика или неадекватный отклик на препарат в общем случае применяется как элиминирующая или уточняющая диагностика. При индивидуальной терапии соответствие препарата конкретному пациенту должно быть установлено до ослепления, иначе гомеопат не сможет собственно подобрать работающий препарат (препараты).

Если при индивидуальном лечении вы будете проводить слепую рандомизированную фазу сразу после выписывания первого же рецепта, то вы фактически будет проверять отличие от плацебо не гомеопатии, а гомеопатической терапии at first sight в исполнении конкретного гомеопата. Такие исследования тоже возможны, но я бы категорически возражал против них в случае с ADHD (нечетким зонтиком состояний с неизвестной этиологией и разнообразной симптоматикой) - достаточно посмотреть на разнообразие препаратов, которые были назначены (речь не о том, что они разные, а о том, что с точки зрения гомеопата, они рядом с друг другом не лежали).

Продолжительность фазы скрининга, насколько я понял объяснение авторов, определилась тем, что критерием eligibility было улучшение на 50%. Столько времени в среднем понадобилось гомеопатам, чтобы встречаясь с родителями раз в месяц, и при необходимости меняя препараты, достичь такого улучшения.

2) Объяснение, данное авторами, мне кажется возможным, но не является убедительным. Рисунок 2 мне не кажется достаточно убедительным per se. Достаточно убедительной лично мне кажется совокупность рис.2 и таблицы 4. Целый ряд индикаторов, как достигших статистической значимости, так и не достигших, изменился в сторону, соответствующей терапевтической эффективности. По своему опыту (как анализа данных, так и гомеопатическому*) я полагаю, что эффект имел место.

(*Под гомеопатическим опытом я имею в виду не bias, а особенности гомеопатической терапии, при которой в многосимптомных случаях улучшение на некоторых этапах может наблюдаться не по primary или pre-defined outcomes)

3) Я полагаю, что с гипотезой, что гомеопатия является плацебо, не согласуется имеющийся массив исследований in vitro. Почти сотня работ, в том числе мультицентровых и в том числе высокого качества, эффект подтверждают, многие были реплицированы, около 70% - успешно. Несмотря на публикационный bias и репутационные риски. Это было предметом предыдущего моего поста. То, что в присутствии фокусников у Бенвениста не получился эксперимент, не может объяснять результаты https://www.ncbi.nlm.nih.gov/pubmed/15105967 и последующие. Однако, по моему мнению, эффект на клеточных биологических моделях может оказаться постоянно ускользающим и малоубедительным.

Поэтому мне наиболее убедительными представляются относительно простые, неиндивидуализированные терапевтические эксперименты - для тех патологических состояний, где возможна специфическая терапия.
Я по-прежнему считаю обладающим убедительной силой серию экспериментов Taylor et al. http://www.bmj.com/content/321/7259/471.full (интересно, в какой степени вы разделите критику их статистики?), в т.ч. по различным secondary outcomes и initial aggravation.
Мне также кажется убедительной Influence of Potassium Dichromate on
Tracheal Secretions in Critically Ill Patients* https://www.ncbi.nlm.nih.gov/pubmed/15764779

[kobak.livejournal.com]

Спасибо за подробный ответ!

1) Понятно. Но из этого следует, что слепой эксперимент тут возможен, только когда гомеопатия (с точки зрения лечащего гомеопата) уже подействовала, но необходимо продолжать принимать гомеопатию для поддержания эффекта. Если болезнь такова, что результатом действия является полное излечение и продолжать принимать гомеопатию не нужно (ну, напр., какая-нибудь бородавка, которая в итоге отвалилась), то слепой эксперимент невозможен в принципе?

Или когда Вы в п. (3) говорите, что "наиболее убедительными представляются относительно простые, неиндивидуализированные терапевтические эксперименты - для тех патологических состояний, где возможна специфическая терапия" -- это как раз речь идет о заболеваниях, где не нужна индивидуальная гомеопатическая терапия, а можно прописать стандарнтное гомеопатическое лекарство ("at first sight", как Вы написали)? Т.е. гомеопаты считают, что с некоторыми заболеваниями это возможно, а с некоторыми нет?

3) Спасибо за ссылки. Я посмотрю, когда будет время. Что касается "интересно, в какой степени вы разделите критику их статистики?", я не очень понял о какой именно критике речь.