![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
eugenegpКак вы уже знаете, после обнаружения ошибок в научной части меморандума о гомеопатии текст экспертного заключения переправили задним числом. Смотрим дальше (уже исправленное).
Вот исследование Taylor MA et al. Randomised controlled trials of homoeopathy versus placebo in perennial allergic rhinitis with overview of four trial series. BMJ, 321:471–476. ("Рандомизированные контролируемые испытания гомеопатии против плацебо при хроническом аллергическом рините с обзором серии из четырех исследований").
Эта работа мне хорошо знакома, именно ее публикацию в одном из самых уважаемых научных журналов я использовал в антинаучном пари. Ее полный текст тут, краткий вывод - пациенты, получавшие гомеопатизированный аллерген в потенции 30c, показали значительное улучшение объективного показателя (объема вдыхаемого носом воздуха). P=0.0001 (вероятность случайного ложноположительного результата составила 1 намиллиондесять тысяч).
В меморандуме об этой работе говорится так:
Критики этого исследования [7], указывают, среди прочего на несоответствие
статистической мощности исследования количеству участников. В
исследовании участвовал только 51 человек суммарно в обеих группах
(гомеопатия и плацебо) при расчетном количестве в 60 в каждой группе. В
более позднем и крупном исследовании воспроизвести результаты не удалось [8].
Смотрим источник [7], на который ссылаются эксперты Комиссии по лженауке и борьбе с фальсификациями научных исследований. Оказывается, это публикация в блоге инженера-физика, специалиста по аэродинамике в компании Jaguar LandRover и упорного противника гомеопатии (https://apgaylard.wordpress.com/2009/05/15/homeopathy-awareness-week-and-hay-fever). Должно ли это смущать? Ведь любой мальчик имеет право крикнуть, что "король-то голый!" Посмотрим на сами аргументы. Проблема в том, что "критики исследования" перепутали риск ложноотрицательных результатов с риском ложноположительных. Другими словами, количество пациентов так мало, что могло и не показать положительный результат, даже если он есть. Но получилось-то совсем другое. (*)
Авторы самого исследования (а среди них и старший преподаватель кафедры статистики университета Глазго) критикам терпеливо ответили (Taylor MA, Reilly D, Llewellyn-Jones RH, Mcsharry C, Aitchison TC. Homoeopathy versus placebo in perennial allergic rhinitis – Author’s Reply. BMJ. 2001 January;322(7279):169+). Поэтому разбор аргумента о недостаточной статистической мощности в том самом источнике [7] специалист по аэродинамике заканчивает фразой In a theoretical sense this is correct. ("В теоретическом смысле авторы исследования правы").
Я понимаю, почему биолог П. ухватился за эту ложную критику еще в августе. Мне непонятно, как комиссия по лже-науке, полная математиков, могла пропустить такую ошибку в качестве аргументации. Будем надеяться на лучшее и предположим, что они не читали этот пассаж.
Подождите, а что на счет более крупного исследования [8], в котором воспроизвести результаты не удалось? Это Use of ultramolecular potencies of allergen to treat asthmatic people allergic to house dust mite. Только участие в нем принимали не пациенты с хроническим аллергическим ринитом, а астматики, имеющие аллергию на пылевого клеща. И болезнь другая, и дизайн другой, и цель исследования другая, и даже препараты не совпадают (у пациентов с ринитом для приготовления препаратов были использованы, кроме клещей, кошачий и собачий мех, пыльца деревьев и трав, и проч.). И 80% пациентов использовали в ходе эксперимента стероидные ингаляции (что должно быть исключено при изучении действия гомеопатии). У данного исследования астмы есть похожее исследование-предшественник, https://www.ncbi.nlm.nih.gov/pubmed/7983994, также проведенное Taylor-Reilly, но мы-то обсуждаем другое.
При этом знаете, какие результаты получены в этом более позднем и крупном исследовании, понравившемся нашим экспертам?
"Гомеопатическая иммунотерапия не эффективна в лечении пациентов с астмой. Различные паттерны реагирования для гомеопатической иммунотерапии и плацебо в ходе исследования остались без объяснения."
Т.е. и в группе, получавшей "гомеопатизированного" клеща, и в плацебо группе пациенты значительно улучшились. Но по трем secondary outcomes в ходе эксперимента наблюдалась разная реакция на verum и плацебо, с вероятностями morning peak expiratory flow (P=0.025); asthma visual analogue scale (P=0.017); mood (P=0.035). Да-да, объем воздуха и в этом исследовании показал отличия между плацебо и препаратом. По утрам. (**)
А лечить гомеопатической иммунотерапией (изопатией) астму не надо. Так и не делает никто, это только разницу с плацебо так проверить можно.
===
Что мы уже знаем:
см. ранее:
- Меморандум лжеученых, ч. 1. "Машина времени".чем отличается ученый от лже-ученого
- Меморандум лжеученых, ч. 2. Беспристрастность снова в бою;
см. далее:
- Меморандум лжеученых, ч. 4. Случай неконтролируемого поноса
==
(*) - Если подробнее, все это рассуждение про статистическую мощность имеет отношение только к одному из outcomes, улучшению по VAS. Именно по нему результат из-за недостаточного количества испытуемых мог оказатьcя ложноотрицательным, и он-таки действительно отрицателен, но это ничего не значит. А к выдыхаемому объему, по которому показана статистически значимая разница, все эти выкладки вообще отношения не имеют.
(**) - Само по себе второе исследование (Use of ultramolecular potencies of allergen to treat asthmatic people allergic to house dust mite) не следует истолковывать как поддерживающее отличие гомеопатии от плацебо. У оставшихся необъясненными вторичных эффектов м.б. другие причины, это скорее намек на возможность. Но и не стоит испытывать гомеопатические препараты на пациентах, получающих стероиды (или другие иммунодепрессанты).
Вот исследование Taylor MA et al. Randomised controlled trials of homoeopathy versus placebo in perennial allergic rhinitis with overview of four trial series. BMJ, 321:471–476. ("Рандомизированные контролируемые испытания гомеопатии против плацебо при хроническом аллергическом рините с обзором серии из четырех исследований").
Эта работа мне хорошо знакома, именно ее публикацию в одном из самых уважаемых научных журналов я использовал в антинаучном пари. Ее полный текст тут, краткий вывод - пациенты, получавшие гомеопатизированный аллерген в потенции 30c, показали значительное улучшение объективного показателя (объема вдыхаемого носом воздуха). P=0.0001 (вероятность случайного ложноположительного результата составила 1 на
В меморандуме об этой работе говорится так:
Критики этого исследования [7], указывают, среди прочего на несоответствие
статистической мощности исследования количеству участников. В
исследовании участвовал только 51 человек суммарно в обеих группах
(гомеопатия и плацебо) при расчетном количестве в 60 в каждой группе. В
более позднем и крупном исследовании воспроизвести результаты не удалось [8].
Смотрим источник [7], на который ссылаются эксперты Комиссии по лженауке и борьбе с фальсификациями научных исследований. Оказывается, это публикация в блоге инженера-физика, специалиста по аэродинамике в компании Jaguar LandRover и упорного противника гомеопатии (https://apgaylard.wordpress.com/2009/05/15/homeopathy-awareness-week-and-hay-fever). Должно ли это смущать? Ведь любой мальчик имеет право крикнуть, что "король-то голый!" Посмотрим на сами аргументы. Проблема в том, что "критики исследования" перепутали риск ложноотрицательных результатов с риском ложноположительных. Другими словами, количество пациентов так мало, что могло и не показать положительный результат, даже если он есть. Но получилось-то совсем другое. (*)
Авторы самого исследования (а среди них и старший преподаватель кафедры статистики университета Глазго) критикам терпеливо ответили (Taylor MA, Reilly D, Llewellyn-Jones RH, Mcsharry C, Aitchison TC. Homoeopathy versus placebo in perennial allergic rhinitis – Author’s Reply. BMJ. 2001 January;322(7279):169+). Поэтому разбор аргумента о недостаточной статистической мощности в том самом источнике [7] специалист по аэродинамике заканчивает фразой In a theoretical sense this is correct. ("В теоретическом смысле авторы исследования правы").
Я понимаю, почему биолог П. ухватился за эту ложную критику еще в августе. Мне непонятно, как комиссия по лже-науке, полная математиков, могла пропустить такую ошибку в качестве аргументации. Будем надеяться на лучшее и предположим, что они не читали этот пассаж.
Подождите, а что на счет более крупного исследования [8], в котором воспроизвести результаты не удалось? Это Use of ultramolecular potencies of allergen to treat asthmatic people allergic to house dust mite. Только участие в нем принимали не пациенты с хроническим аллергическим ринитом, а астматики, имеющие аллергию на пылевого клеща. И болезнь другая, и дизайн другой, и цель исследования другая, и даже препараты не совпадают (у пациентов с ринитом для приготовления препаратов были использованы, кроме клещей, кошачий и собачий мех, пыльца деревьев и трав, и проч.). И 80% пациентов использовали в ходе эксперимента стероидные ингаляции (что должно быть исключено при изучении действия гомеопатии). У данного исследования астмы есть похожее исследование-предшественник, https://www.ncbi.nlm.nih.gov/pubmed/7983994, также проведенное Taylor-Reilly, но мы-то обсуждаем другое.
При этом знаете, какие результаты получены в этом более позднем и крупном исследовании, понравившемся нашим экспертам?
"Гомеопатическая иммунотерапия не эффективна в лечении пациентов с астмой. Различные паттерны реагирования для гомеопатической иммунотерапии и плацебо в ходе исследования остались без объяснения."
Т.е. и в группе, получавшей "гомеопатизированного" клеща, и в плацебо группе пациенты значительно улучшились. Но по трем secondary outcomes в ходе эксперимента наблюдалась разная реакция на verum и плацебо, с вероятностями morning peak expiratory flow (P=0.025); asthma visual analogue scale (P=0.017); mood (P=0.035). Да-да, объем воздуха и в этом исследовании показал отличия между плацебо и препаратом. По утрам. (**)
А лечить гомеопатической иммунотерапией (изопатией) астму не надо. Так и не делает никто, это только разницу с плацебо так проверить можно.
===
Что мы уже знаем:
см. ранее:
- Меморандум лжеученых, ч. 1. "Машина времени".чем отличается ученый от лже-ученого
- Меморандум лжеученых, ч. 2. Беспристрастность снова в бою;
см. далее:
- Меморандум лжеученых, ч. 4. Случай неконтролируемого поноса
==
(*) - Если подробнее, все это рассуждение про статистическую мощность имеет отношение только к одному из outcomes, улучшению по VAS. Именно по нему результат из-за недостаточного количества испытуемых мог оказатьcя ложноотрицательным, и он-таки действительно отрицателен, но это ничего не значит. А к выдыхаемому объему, по которому показана статистически значимая разница, все эти выкладки вообще отношения не имеют.
(**) - Само по себе второе исследование (Use of ultramolecular potencies of allergen to treat asthmatic people allergic to house dust mite) не следует истолковывать как поддерживающее отличие гомеопатии от плацебо. У оставшихся необъясненными вторичных эффектов м.б. другие причины, это скорее намек на возможность. Но и не стоит испытывать гомеопатические препараты на пациентах, получающих стероиды (или другие иммунодепрессанты).
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2017-02-18 08:56 pm (UTC)0.0001 -- это одна десятитысячная.
no subject
Date: 2017-02-18 09:31 pm (UTC)no subject
Date: 2017-02-19 09:48 am (UTC)“Одно из наиболее убедительных и масштабных обобщений клинических исследований провел Совет по медицинским исследованиям Австралии в 2015 году. Совет проанализировал 1800 публикаций [1] и пришел к следующему выводу:
«В исследованиях на людях не обнаружено надежных свидетельств тому, что гомеопатия эффективна при лечении рассмотренных заболеваний [61 заболевание]: ни одно качественное исследование с достаточным размером выборки не подтвердило, что гомеопатия вызывает большие изменения здоровья, чем плацебо…» [2]
На сайте этого Совета представлено также 13 дополнительных документов [3].”
Это сильный аргумент. Хотелось бы чтобы Вы попробовали его проанализировать. Я не исключаю, что с такими серьёзными исследованиями срабатывает confirmation bias – авторитетные учёные считают ниже своего достоинства проводить корректные исследования гомеопатии, и в авторитетные журналы просто не пропускают статьи о таких исследованиях. Я считаю, что образование способствует догматизму.
no subject
Date: 2017-02-19 01:22 pm (UTC)Совет по медицинским исследованиям не занимался вопросом отличия от плацебо. Он обобщил материалы по доказательствам терапевтической эффективности. Таким образом, в материалы, анализированные австралийцами, не могли попасть ни исследования на биологических моделях (см. пост про ч.1), ни исследования на животных, ни исследования на здоровых людях.
[Дополнительно я полагаю, что фраза "Совет проанализировал 1800 публикаций" вводит в заблуждение. Совет оценил 1800 публикаций, а проанализировал только 225. Из них бОльшая часть была отвергнута как низкокачественное или слишком маленькое исследование (предположительно, вне зависимости от результата). Сравнение с плацебо проводилось при этом для 55 заболеваний, и в материалах меморандума дело представлено так, как будто по всем им получен одинаковый вывод, в действительности там три группы, и самая крупная из них (29) описана как "only one study that compared homeopathy with placebo was found and each of these studies was unreliable", вторая по размеру группа заболеваний (14) "some studies reported that homeopathy was more effective than placebo, but these studies were not reliable". (https://www.nhmrc.gov.au/_files_nhmrc/publications/attachments/cam02a_information_paper.pdf)]
Заниматься критикой в целом "австралийского отчета" не буду (хотя я полагаю, что там явный bias), по той простой причине, что я так же полагаю, что доказательная база уровня Level I Evidence-based Medicine по терапевтической эффективности гомеопатических препаратов крайне тощая. И главной причиной является крайняя скудная база проведенных исследований такого рода вообще, и по высоким (и все время уточняющимся) стандартам EBM в частности. Вне зависимости от того, подтвердили ли они терапевтический эффект или нет.
У меня сложилось впечатление, что "экспертная группа" меморандума в целом не достигла понимания, что вопрос терапевтической эффективности и вопрос отличия от плацебо - два принципиально разных вопроса. Отсутствие доказанной терапевтической эффективности не может служить ни основанием для обвинений в "лженаучности", ни основанием для исключения из клинической практики. Это лишь веский аргумент для лечащего врача при наличии другой, доказанной эффективной терапии с приемлемыми рисками для конкретного пациента.
(Например,известно, что некоторые члены экспертной группы назначают своим пациентам препараты Тамифлю и Реленца. Между тем доказательная база по ним крайне слаба в части лечебного эффекта, показывая при этом высокие риски побочных действий).
no subject
Date: 2017-02-19 02:09 pm (UTC)no subject
Date: 2017-02-19 03:11 pm (UTC)>У меня сложилось впечатление, что "экспертная группа" меморандума в целом не достигла понимания, что вопрос терапевтической эффективности и вопрос отличия от плацебо - два принципиально разных вопроса.
Какие-то здесь слишком тонкие смыслы. Австралийцы пишут, мол: Homeopathy is not more effective than placebo for the treatment of these health conditions, в рассматриваемой цитате от
no subject
Date: 2019-06-25 11:38 am (UTC)https://web.archive.org/web/20180726171432/https://www.nhmrc.gov.au/media/releases/2015/nhmrc-releases-statement-and-advice-homeopathy (https://web.archive.org/web/20180726171432/https://www.nhmrc.gov.au/media/releases/2015/nhmrc-releases-statement-and-advice-homeopathy)
А вот текст Меморандума 2 явно врёт. Там никаким боком 1800 не наберётся (https://kk1796.livejournal.com/2959.html).
Как Вы писали, даже аннотации нормально прочитать и перевести не могут.
no subject
Date: 2019-06-25 11:34 am (UTC)https://kk1796.livejournal.com/2959.html
no subject
Date: 2019-05-02 01:32 pm (UTC)ÐÑ Ð¿Ð¸ÑиÑе:
"ÐоÑÑÐ¾Ð¼Ñ ÑÐ°Ð·Ð±Ð¾Ñ Ð°ÑгÑменÑа о недоÑÑаÑоÑной ÑÑаÑиÑÑиÑеÑкой моÑноÑÑи в Ñом Ñамом иÑÑоÑнике [7] ÑпеÑиалиÑÑ Ð¿Ð¾ аÑÑодинамике заканÑÐ¸Ð²Ð°ÐµÑ ÑÑазой In a theoretical sense this is correct. ("Ð ÑеоÑеÑиÑеÑком ÑмÑÑле авÑоÑÑ Ð¸ÑÑÐ»ÐµÐ´Ð¾Ð²Ð°Ð½Ð¸Ñ Ð¿ÑавÑ").
ÐаканÑÐ¸Ð²Ð°ÐµÑ ÑÑазой? ÐÑкÑÑваем иÑÑоÑник.
"Taylor et al (2001) defended their work. They conceded that their study was underpowered but argued that this risked, âfalse negative results, not false positive results.â In a theoretical sense this is correct. However the analysis of Shang et al (2005) demonstrates that in practise the reverse is true. "
ÐÑ Ð½Ð¾ÑмалÑно Ñак :)
СобÑÑвенно Ð²Ð¾Ñ Ð² Ñем пÑоблема:
The basis for the study was a prestudy power calculation that required 120 patients to prove the hypothesis with a 5% significance and an 80% power.2 In fact, the authors only recruited 51 patients but analysed the results as if they had the required number. Their only conclusion was that they did not have enough data to make a conclusion.
If we accept the availability of only 51 patients at the outset, what are the relevant calculations? The power calculation is only 43%, and to maintain the power calculation at 80% the P value becomes 34%. The only conclusion is that the trial is not able to prove anything.
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1119423/
Ðе ÑекÑеÑ, ÑÑо P-value завиÑÐ¸Ñ Ð¾Ñ ÑазмеÑа вÑбоÑки. Скажем, 55% оÑлов на монеÑке пÑи вÑбоÑке 110 бÑоÑков и 1100 бÑоÑков имеÑÑ ÑазнÑÑ Ð·Ð½Ð°ÑимоÑÑÑ. Ðо еÑли Ñ Ð¼ÐµÐ½Ñ 55% оÑлов на вÑбоÑке 110 бÑоÑков, а Ñ ÑкажÑ, ÑÑо вÑбоÑка бÑла 550 бÑоÑков, Ñо Ñ Ð¼ÐµÐ½Ñ Ð±ÑÐ´ÐµÑ Ð½ÐµÐ¿ÑавилÑнÑй P-value.
ÐÑÐ²ÐµÑ Ð°Ð²ÑоÑов: Our study was indeed underpowered, but Miller misunderstands the implications of this: the increased risk from a smaller than desirable study is of false negative results, not false positive results.
ÐÑибоÑен. ÐÑÑе еÑÑÑ Ð¸ пÑавилÑнÑй подÑÑÐµÑ P-value и обÑÑÑнение поÑÐµÐ¼Ñ ÑÐ°Ð·Ð¼ÐµÑ Ð²ÑбоÑки важен.
no subject
Date: 2019-05-02 05:32 pm (UTC)no subject
Date: 2019-07-11 11:58 am (UTC)https://savvateev.livejournal.com/278909.html?thread=12239997#t12239997
no subject
Date: 2019-07-11 12:08 pm (UTC)no subject
Date: 2019-07-11 12:36 pm (UTC)no subject
Date: 2019-07-11 12:40 pm (UTC)no subject
Date: 2019-07-11 12:54 pm (UTC)Те точно так же можно сделать этот коктейль, запустить в речку из которой водозабор происходит и это починит всех аллергиков в городе(хотя бы по этим 4м направлениям)?
no subject
Date: 2019-07-11 01:28 pm (UTC)Гомеопаты так не лечат.
no subject
Date: 2019-07-11 01:41 pm (UTC)no subject
Date: 2019-07-12 01:54 pm (UTC)cлово "плацебо" в данном случае-это бытовое сокращение от "эффект плацебо" - то есть это не объект, а процесс. сравнивать можно только однотипные сущности - процесс с процессом, объект с объектом.
no subject
Date: 2019-07-12 01:43 pm (UTC)no subject
Date: 2019-07-12 02:32 pm (UTC)вообще говоря, если в качестве причин симптомокомплекса в одном исследовании выделяется сразу несколько разных - нужно либо предварительно обосновать (в других экспериментах, например), что бесконечно малая разница в причинах не ведет к бесконечно большой значимой разнице в последствиях (в физике/химии/биологии это называется "показать устойчивость модели по начальным условиям" - причем существуют разные критерии устойчивости - но биологам простительно знать только один критерий - Ляпунова) - то есть нужно принципиально обосновать, что у всех исследуемых организмов выборки отсутствует "память о причинах" на период времени исследования - ну если на пальцах выражаться.
Надеюсь, я понятно выразилась. Если что непонятно - спрашивайте.
Либо нужно в самом исследовании выделять соответствующие подгруппы и сравнивать попарно.
Тогда историю со стьюдентом вообще в принципе применять нельзя. О чем в учебниках для вузов по матстистике пишут черным по белому.
PS, надо дополнительно объяснять, почему перед началом эксперимента нужно обосновывать устойчивость модели по начальным условиям или и так понятно?
PPS. на всякий случай скажу, что если в одной группе вы соберете системы "с отсутствием памяти" о начальеных условиях, а в контрольную группу попадут системы "с памятью" - или наоборот - то все ваше исследование годится будет только на растопку бани. В лучшем случае - если бумага, на которой результаты будут напечатаны - нормально разожжется спичкой.
no subject
Date: 2019-07-12 04:10 pm (UTC)Грубо говоря, если у вас есть модель, описывающая взаимодействие иммунной системы человека с чужеродными белками, причем описыыающая процесс функционально и операционально _единым_ образом, то действительно, разницы большой нет - кошачьи белки, растительные или белки, выделяемые пылевыми клещами- иммунная система реагирует на КЛАСС функционально-операционально определенных раздражителей - ФУНКЦИОНАЛЬНО--КЛАССОВО.
Но это ведь не заслуга последователей Ганемана - это же не гомеопаты придумали теорию имунной системы, не гомеопаты придумали аллергию, и не они описали заболевание - аллергический хронический ринит. Не гомеопаты описали аутоимунную реакцию, не гомеопаты придумали тезис "имунная система человека может реагировать на чужеродные белки исключительным образом - так, что реакция ставит под угрозу существование организма"
но главное - среди испытуемых - судя по табличке - имеются граждане с историей приема стероидов, вазоконстрикторов, специализированной иммуносупрессивной терапии..
То есть веществ, кардинально изменяющих параметрические свойства _теоретической_ иммунной системы человека.
Но гомеопатам все параллельно - они все сразу чохом готовы излечить, не то, что глупые современные врачи.
А вообще мне интересно - как только совести у гомеопатов хватает - лезть с апломбом со своим самоваром в ЧУЖИЕ ТЕОРИИ.
Как современная теория клеточного и гуморального иммунитета совмещается с теорией Ганемана?
no subject
Date: 2019-07-12 01:45 pm (UTC)Вы сами то как - способны ее физический смысл пояснить? Или все, на что вас хватает - копи-пасты по принципу "авторы - мне соверующие"?
no subject
Date: 2019-07-12 01:41 pm (UTC)