чем отличается ученый от лже-ученого

[eugenegp]

Что делает ученый, изучающий нечто? Он исследует факты - т.е. информацию, полученную из прямого опыта (direct experience). Для этого ученый проводит эксперименты, описывает их результаты и публикует их.
Например, исследует влияние т.н. сверхмалых доз на биологические объекты. In vitro (в пробирке), чтобы исключить влияние плацебо.

Для того, чтобы понять, какие факты имеет смысл исследовать, важно знать о результатах других.
Поэтому второй тип исследования, который проводят ученые - взять все сходные эксперименты, проанализировать результат научными методами (чаще всего статистическими) и опубликовать этот анализ. Это занятие производное от первого, но вполне почтенное, нужное и важное. Такова, например, работа The in vitro evidence for an effect of high homeopathic potencies - a systematic review of the literature - "Доказательства эффекта высоких гомеопатических потенций - систематический обзор публикаций". Авторы этого обзора проанализировали статьи про 67 разных экспериментов, и вышло у них, что в 75% из них эффект подтверждается. 33% процента экспериментов являлись повторными, и в 73% повторных экспериментов положительный результат повторился. По подсчетам авторов, из 27 экспериментов с базофилами негативный результат только один.

Вывод авторов: "Даже эксперименты с высокими методологическими стандартами могут демонстрировать эффект высоких потенций. Ни один из положительных результатов не является достаточно стабильным, чтобы воспроизводиться всеми исследователями. Доказательную силу будущих экспериментов усилило бы всеобщее использование потенцирования в контрольной группе, рандомизации и ослепления" (*)

Что делает лже-ученый? Он не проводит эксперименты. Он не изучает эксперименты научным способом. Он публикует меморандум со своей позицией, а в обоснование приводит уже имеющиеся исследования, но с творческим подходом. И вот оказывается, что написано в цитированной выше работе (кто ж проверит?):

"Авторы обзора утверждают, что 75% исследований высоких гомеопатических разведений in vitro демонстрируют положительные результаты, но при этом отмечают, что все положительные результаты не могли быть воспроизведены. Также авторы отмечают отсутствие адекватного контроля, рандомизации и ослепления."

Следите за руками. Еще раз: ученые пишут, что "В большинстве повторных исследований эффекты подтверждаются. Но даже там, где два десятка исследований подтвердили результат, - хоть один отрицательный, но есть." А лже-ученый пишет: "Ни один положительный результат - не подтвердился."
Ученые пишут: "даже высокого качества исследования подтверждают результат. Всегда делайте по лучшим образцам, вслепую и с рандомизацией, пусть это и in vitro - будет больше веры." Лже-ученый: плохие были эксперименты, "отсутствовали адекватный контроль, рандомизация и слепые условия" (*)






* Поскольку влияние плацебо in vitro исключено, эксперименты in vitro никто не рандомизирует и не ослепляет. Но с тех пор, как исследователей гомеопатии стали обвинять, что они сами себя обманывают и в лабораторных условиях, новые исследования стали проводить с рандомизацией и ослеплением и in vitro.


UPDATE: Что делает лже-ученый, когда его поймали за руку? Он тайком и задним числом меняет информацию в своем опубликованном меморандуме. Но только в той части, где его "творчество" уже публично доказано.



UPDATE 2: а) исходный текст до изменений на сервисе wayback machine: http://wayback.archive.org/web/20170207112836/http://klnran.ru/wp-content/uploads/2017/02/m02_p5_errors.pdf (скисло) http://archive.is/xMKRS (стр.5)

б) разбор следующей "ошибки" :http://eugenegp.livejournal.com/290224.html
в) третья часть http://eugenegp.livejournal.com/290385.html
г) четвертая часть http://eugenegp.livejournal.com/290660.html

Comments

[livelogic.livejournal.com]

Да, трактовки в меморандуме, будем так говорить, иногда очевидно спорны.

[livelogic.livejournal.com]

Вот еще занятно. http://klnran.ru/wp-content/uploads/2017/02/m02_p5_errors.pdf

Belon et al. Histamine dilutions modulate basophil activation. Inflamm Res 2004,
53(5):181–188.
Эта работа — попытка повторить предшествующее исследование [15], которое
при тщательной перепроверке не подтвердилось [16]. Независимые попытки
воспроизвести исследование дали отрицательные результаты [17].

Текст как бы намекает, что все плохо. В самой работе, между тем:
https://www.ncbi.nlm.nih.gov/pubmed/15105967
In 3 different types of experiment, it has been shown that high dilutions of histamine may indeed exert an effect on basophil activity
...
We are however unable to explain our findings and are reporting them to encourage others to investigate this phenomenon.

Т.е. в трех типах экспериментов продемонстрировано что высокие разведения гистамина действительно могут оказывать влияние на деятельность базофилов. Автор не могут объяснить результата и призывают к дальнейшему исследованию.

[eugenegp.livejournal.com]

Немного иначе. Это та самая длинная серия из 27 экспериментов с базофилами. Лже-ученые приводят из нее одну положительную публикацию (Belon et al), и парируют ее тем "Независимые попытки
воспроизвести исследование дали отрицательные результаты". Да, в одном единственном эксперименте - отрицательные. А в остальных?

[livelogic.livejournal.com]

>Лже-ученые приводят из нее одну положительную публикацию (Belon et al)

По тексту манифеста не видно, что она положительная. Хотя бы так написали бы: "Эта работа — удачная попытка повторить предшествующее исследование [15]..."

[eugenegp.livejournal.com]

Я, собственно, написал, потому что данная "критика" лже-ученых дословно повторяет реплики Панчина в дискуссии со мной в ФБ - где он также игнорировал реальные публикации.

[eugenegp.livejournal.com]

Мой пост в ФБ про это https://www.facebook.com/eugene.peskin/posts/1316847551707493?ref=notif¬if_t=like¬if_id=1486714945208775

[livelogic.livejournal.com]

Еще интересно.

Разбирается работа Frei H et al. Homeopathic treatment of children with attention deficit hyperactivity disorder: a randomised, double blind, placebo controlled crossover trial. По мнению авторов меморандума: «Предубеждение бросается в глаза уже в абстракте, где авторы заявляют, что «целью исследования является получение научных подтверждений эффективности гомеопатии при СДВГ (синдроме дефицита внимания и гиперактивности)»».

Окей. Но далее по тексту авторы используют публикацию, где предубеждение бросается в глаза уже в заголовке:

"High-dilution" experiments a delusion
http://www.badscience.net/wp-content/uploads/benveniste02.pdf

[eugenegp.livejournal.com]

Могло бы создаться впечатление, что авторы меморандума плохо понимают английский язык. Потому что фраза
"The aim of this study was to obtain scientific evidence of the effectiveness of homeopathy in ADHD."
не переводится как "«целью исследования является получение научных подтверждений эффективности гомеопатии".
Evidence в науке может быть как положительный, так и отрицательный.

Но я далек от мысли, что лже-ученые просто не умеют читать по-английски.

[nailfor.livejournal.com]

первый раз что ли...
https://ru.wikipedia.org/wiki/%D0%93%D0%B5%D0%BD%D0%B5%D1%82%D0%B8%D0%BA%D0%B0_%D0%B2_%D0%A1%D0%A1%D0%A1%D0%A0

[livelogic.livejournal.com]

А скрин не зря был сделан, Евгений :) Товарищи ученые подправили первую проблему. Теперь там "Авторы обзора утверждают, что 75% исследований высоких гомеопатических
разведений in vitro демонстрируют положительные результаты, но ни один положительный результат не был достаточно устойчивым, чтобы воспроизводиться у всех исследователей".

[eugenegp.livejournal.com]

О. Какой сюрприз.

[eugenegp.livejournal.com]

Сделал Update.
Ни стыда (научного), ни совести (исследовательской).

[a-bugaev.livejournal.com]

Евгений, тут очень в тему старый добрый Фейнман (я как раз недавно читал)
https://www.skeptik.net/pseudo/feynman1.htm

Это, если буквально по тексту, то можно понять, что он против всякой паранауки (думаю, он туда же отнёс бы и гомеопатию). А если внимательно прочесть, то это скорее против суждений вида "оно не работает, потому что очевидно, что не может работать".

Но уж точно он был бы сильно возмущён методами авторов меморандума.

[eugenegp.livejournal.com]

Александр, если хотите, могу прислать ссылку на техническую запись моей лекции "Гомеопатия для чайников. Наука и шарлатанство" - прочитанной накануне выпуска меморандума. Там не очень хорошее качество.

[nebullah.livejournal.com]

No positive result was stable enough to be reproduced by all investigators.
Ну да
The reviewed in vitro experiments with high homeopathic potencies were inhomogenous in design
and quality. A surprisingly high number of different experimental approaches have been adopted .
Ну да
Единственное исследование, которое воспроизводится лучше всех.
A publication bias in a highly controversial field like homeopathy is not unlikely
Ну да.
More replications should be done independently

Журнал Complementary Therapies in Medicine с импакт-фактором 1,9.

И сразу все более-менее ясно. А у кокрейновцев даже обычно уточнено.

[eugenegp.livejournal.com]

1) мой пост не про результаты статьи, а про чудесные метаморфозы в меморандуме при ее анализе. Статью и предмет критики выбирала комиссия - вернее, "экспертная группа".

2)Вы, пожалуйста, решите - данным авторов статьи можно доверять или нет? Вы одновременно атакуете с двух позиций. А то получится как у авторов меморандума - пока результаты статьи они интерпретировали в одну сторону, статья была достаточно хороша. Как только оказалось, что написано совсем другое - статья уже нехороша.

[kogan.livejournal.com]

Следите за руками. Еще раз: ученые пишут, что "В большинстве повторных исследований эффекты подтверждаются. Но даже там, где два десятка исследований подтвердили результат, - хоть один отрицательный, но есть." А лже-ученый пишет: "Ни один положительный результат - не подтвердился."

ОК, я проследил за руками, как Вы попросили. Я не вижу, где в оригинальном тексте фраза, которую Вы перевели как "там, где два десятка исследований подтвердили результат, - хоть один отрицательный, но есть". То же и про закавыченную Вами фразу (цитату, стало быть, да?): "Всегда делайте по лучшим образцам, вслепую и с рандомизацией, пусть это и in vitro - будет больше веры".

Есть фраза, которая звучит так:
"No positive result was stable enough to be reproduced by all investigators."

И которая в меморандуме первоначально переведена так:
"все положительные результаты не могли быть воспроизведены"

Перевод не содержит дополнительных придумок (подобных Вашим), но, безусловно, неудачный - ибо неясно, относится ли отрицание ко всей фразе (неверно, что все результаты воспроизведены, поскольку какой-то один не воспроизведен) или к подлежащему (все результаты обладают свойством "не воспроизведены", то есть ни один не воспроизведен). Английская фраза явно подразумевает второй вариант (No positive result), так что последующая правка меморандума делает перевод более точным.

Если такая правка сделана задним числом после публикации и без отметки об такой правке - это, на мой взгляд, нехорошо. Но если, по мнению критиков, это главная проблема меморандума, то это закрывает тему.

[eugenegp.livejournal.com]

Я привел полностью оригинальный вариант выводов - в своем переводе, курсивом. Никаких придумок там нет, на мой взгляд.

Абзац "следите за руками.." добавлен по просьбе неспециалистов, которым не было ясно, в чем собственно разница между двумя текстами, набранными курсивом. Если наличие в нем кавычек может кого-то ввести в заблуждение, приношу свои извинения. В свое оправдание могу лишь сказать, что вы первый из более тысячи человек, прочитавших этот текст, кто принял слова в этом абзаце за прямую цитату.

По каждой статье, приведенной в приложении "критика" меморандума, которую я ранее (до выхода меморандума) подробно разбирал и потому могу быстро сообщить мнение, - допущены ошибки в переводе, критике интерпретации. Таких я насчитал четыре, вынес одну. Выносить остальное при работающей машине времени считаю бессмысленным.

Главная проблема меморандума указана в моем посте - ни один человек ни среди его подписавших, ни в экспертной группе никогда не проводил исследований гомеопатических препаратов и СМД. Ни с отрицательным, ни с положительным выводом об их эффективности.

[eugenegp.livejournal.com]

Что же насчет "нехорошо" - тут два варианта: 1) в комиссии по лженауке изобретена машина времени; 2) в комиссии по лженауке оказались жулики. Вы как сами считаете?

[livelogic.livejournal.com]

>Но если, по мнению критиков, это главная проблема меморандума, то это закрывает тему.

Но в главном он прав (с) - чрезвычайно популярный мем времен обсуждения творчества Владимира Богдановича Резуна.

[3d-camper.blogspot.ru (from livejournal.com)]

Не, лжеученые тоже проводят "эксперименты". Просто не умеют вовремя "наступать на горло собственной песне", если не шарлатаны. Начинают искать среди результатов только те, что подтверждает их вымысел. А все эксперименты способные критически проверить просто отбрасывают. Я работал с такими.

[eugenegp.livejournal.com]

Такое бывает, но я не готов утверждать, что это лже-ученые. Bias опасная вещь. Но в случае с т.н. экспертным заключением Комиссии по лженауке мы, как выяснилось, имеем дело с химически чистым элементом.

[dreamhack201212.livejournal.com]

ученый никого не назовет лжеученым

[eugenegp.livejournal.com]

Довольно ершистый выпад в адрес Комиссии по лженауке и ее экспертов.

[kiiowut.livejournal.com]

очаровательно просто :))
Сразу видно истинных ученых в действии.