С чего кормятся "целители" или о Байесе.

[mr_bison]

Есть у родителей знакомый, которому поставили смертельный диагноз. Он поехал к целителю и исцелился. Реально исцелился. И поскольку информация была из первых рук, игнорировать я ее никак не мог. И она буквально сломала мне мозг и упорно подтачивала мой здоровый скептицизм. Но потом все прояснилось и встало на свои места. Цитата из прекрасной книги ниже многое, если не все, объясняет. И также приподнимает завесу над тем, с чего все эти "целители" кормятся.

Лично я наиболее яркими воспоминаниями, связанными с преподобным Байесом, обязан одной из пятниц 1989 г.: в тот день позвонил лечащий врач и сообщил, что жить мне осталось от силы лет десять, причем вероятность этого прогноза равна 999 из 1 000. Он еще прибавил: «Мне действительно очень жаль», как будто у него бывали пациенты, которым он говорил о своем сожалении, но на самом деле ничего подобного к ним не испытывал. Далее врач ответил на кое-какие вопросы относительно протекания болезни, после чего повесил трубку: видимо, торопился сообщить очередному пациенту крайне важную для того новость. Тяжело говорить, даже вспоминать о том, что я пережил за субботу и воскресенье, скажу только, что ни в какой Диснейленд я не поехал. Но раз мне был вынесен смертный приговор, почему я все еще жив, почему сижу и пишу об этом?

А началось все с того, что мы с женой решили застраховаться. В заявлении говорилось, что мы должны предоставить результаты анализа крови. Через неделю-две нам отказали в страховании. Крайне экономная страховая компания выслала нам два коротеньких извещения, которые были одинаковы, только текст в извещении на имя жены оказался на одно слово длиннее, чем текст в извещении на мое имя. В моем извещении говорилось, что компания отказывает мне в страховании на основании «результатов Вашего анализа крови». В извещении для моей жены говорилось, что компания не может застраховать ее жизнь на основании «результатов анализа крови Вашего мужа». Когда выяснилось, что в этом самом слове, «муж», и кроется разгадка того, почему добросердечные страховщики отказывают нам в страховании, я, действуя интуитивно, пошел к врачу и сдал анализ на ВИЧ. Результаты оказались положительными. И хотя я поначалу был слишком потрясен, чтобы поинтересоваться у врача о высказанной им вероятности, позднее мне стало известно, что он вычислил мой 1 из 1 000 шанс на жизнь из следующих статистических данных: лишь в 1 случае из 1 000 анализ на ВИЧ может дать положительный результат, пусть даже кровь при этом и не заражена вирусом СПИДа. Может показаться, что врач сказал то же самое, однако это не так. Врач перепутал вероятность того, что результаты моего анализа будут положительными, если я не являюсь ВИЧ-инфицированным, с вероятностью того, что я могу и не быть ВИЧ-инфицированным, даже если результаты моего анализа окажутся положительными.

Чтобы разобраться, где ошибся врач, прибегнем к методу Байеса. Первым делом очертим пространство элементарных событий. Можно включить в него всех, кто когда-либо сдавал анализы на ВИЧ, но мы получим более точные результаты, если примем во внимание некоторые дополнительные, имеющие непосредственное отношение к теме сведения обо мне: рассмотрим только гетеросексуальных, не принимающих наркотиков белых американцев мужского пола, которые сдавали анализы на ВИЧ. (Далее мы увидим, какое это имеет значение.)

Теперь, когда мы знаем, кого следует включить в пространство элементарных событий, распределим членов этого пространства по категориям. Вместо деления на мальчиков и девочек выберем деление на тех, кто у кого анализы оказались ВИЧ-положительными и кто ВИЧ-положителен (истинная положительность), тех, у кого анализы оказались положительными, но кто на самом деле не положителен (ложная положительность), тех, у кого анализы оказались ВИЧ-отрицательными и кто ВИЧ-отрицателен (истинная отрицательность), тех, у кого анализы оказались ВИЧ-отрицательными, но кто на самом деле ВИЧ-положителен (ложная отрицательность).

Наконец задаем вопрос: сколько людей в каждой из этих категорий? Предположим, мы рассматриваем изначально население из 10 000 человек. Пользуясь статистическими данными Центра по контролю и профилактике заболеваемости, подсчитаем, что в 1989 г. около 1 из 10 000 гетеросексуальных, не принимающих наркотиков белых американцев мужского пола, сдавших анализы, оказались ВИЧ-инфицированными{108}. Предположим, что в категории «ложная отрицательность» показатель равен 0, тогда около 1 человека из каждых 10000 сдавших анализы окажется положительным из-за наличия инфекции. К тому же поскольку показатель «ложной отрицательности» равен, по словам врача, 1 из 1 000, наберется около 10 тех, кто не заражен ВИЧ, однако анализы которых тем не менее окажутся положительными. У остальных 9989 человек из 10 000, составляющих пространство элементарных событий, результаты анализов окажутся отрицательными.

Теперь «урежем» пространство элементарных событий — включим в него только тех, результаты анализов которых оказались положительными. У нас останется 10 человек из категории «ложная положительность» и 1 человек из категории «истинная положительность». Другими словами, лишь 1 человек из 11, результаты анализов которых оказались положительными, действительно ВИЧ-инфицирован. Врач сказал мне: вероятность того, что в анализе ошибка — на самом же деле я был совершенно здоров, — равна 1 из 1 000. А на самом деле ему следовало сказать следующим образом: «Не волнуйтесь, шансы на то, что вы на самом деле не инфицированы, выше 10 из 11». В моем случае на результаты пробы для выявления скрытой формы заболевания повлияли определенные метки, которые присутствовали в моей крови, хотя вирус, ради которого и брали пробу, отсутствовал.

При оценке любого диагностического испытания важно знать, каков показатель «ложной положительности». Например, анализ, который выявляет 99% всех злокачественных опухолей, производит сильное впечатление, однако я с легкостью могу придумать анализ, который выявляет 100% всех злокачественных опухолей. Для этого мне только и надо что находить у каждого осматриваемого пациента опухоль. Статистический показатель, отличающий мой анализ от действительно полезного, заключается в следующем: в результате моего анализа показатель «ложной положительности» окажется высоким. Однако вышеприведенный пример демонстрирует: осведомленности о показателе «ложной положительности» недостаточно для того, чтобы определить, полезен анализ или не полезен. Необходимо также знать, как показатель «ложной положительности» соотносится с истинной распространенностью заболевания.

"(Не)совершенная случайность. Как случай управляет нашей жизнью" Леонард Млодинов.

UPD. Небольшое пояснение.
Пусть метод диагностики дает сбой и показывает смертельную болезнь там, где ее нет лишь в одном случае на тысячу (1/1000). Кажется, что это очень точно. Не так ли? Если врач вам скажет, что вероятность ошибки теста лишь 0,001 то это впечатляет.  И пусть болезнь эта встречается в популяции в среднем в одном случае на десять тысяч (1/10000).
Теперь представим каковы будут результаты диагностики 10000 человек.

Ложное сообщение о болезни получат 10000*0,001=10 человек.
И истинную болезнь найдут у 10000*1=1 человека.

Итого имеем 11 человек, которым сообщили, что они больны. Но при этом 10 из них на самом деле здоровы.
Теперь представим, что все эти 11 человек отправятся к целителю. В результате 1 человек умрет, а 10 выживут. И целитель заявит, что результативность его лечения (10/11)*100=90,9%. Неплохо так.

Теперь вспомним еще об одной вещи. Миллиарды людей постоянно видят сны и быстро их забывают. Но стоит какому-то сну совпасть с произошедшим позже как они называют его вещим и рассказывают о нем до конца жизни. Так и "спасенные" целителем, до конца жизни будут рассказывать об этом событии, увеличивая его славу. А вот те кто умер ни о чем уже рассказывать никому не будут. Таким образом, даже если забыть о вероятностных рассуждениях выше, стоит помнить о том, что один выживший человек (когда этого никто не ждал) и рассказывающий о чуде перевешивает десять ожидаемо умерших и потому молчащих. Так что на самом деле "целители" могут поиметь профит и славу даже если будут "исцелять" не 90% смертельно больных, как в примере выше, а лишь каждого десятого.


PS. Это не первый раз, когда я сталкиваюсь с подобными странными вещами.

Comments

[guy-fromhell.livejournal.com]

Кстати о Байесе. Вы случайно не читали "Гарри Поттер и метод рациональности"?)

[levkonoe.livejournal.com]

я не поняла самое главное. Если повторно сделать этот же анализ - он у него опять покажет ВИЧ?

[maestros-bay.livejournal.com]

Нет. ВИЧ у него был ложноположителен. ПРи повторной сдаче он не повторится.

Иными словами, среди людей с ошибочными диагнозами может здоровых вполне достаточно, чтобы некий целитель получил дофига репы "спасая" людей, которые вовсе и не были больны : ))) Ну, во всяком случае сильно больше половины : )))

[eldad12.livejournal.com]

Анализы, которые показывают серьезные заболевания неоднократно перепроверяются и общий диагноз базируется не только на анализах. Выводы статьи достаточно сомнительны.

[Борис Кравец (from livejournal.com)]

="К тому же поскольку показатель «ложной отрицательности» равен, по словам врача, 1 из 1 000"

Не отрицательности, а положительности, не так ли?

[levkonoe.livejournal.com]

Это-то понятно с целитетями.
Я просто подумала, что у человека постоянно какой-то не тот маркер в крови. А такие вещи, конечно, нельзя говорить человеку с одной пробы. Кто-то ведь может и не выдержать.

[aterentiev.livejournal.com]

С большой вероятностью да, но это как раз не самое главное
Как известно сами вирусы, т.е. их наличие, опознать крайне сложно, а то и невозможно на данный момент развития методов диагностики. Ищутся их следы - либо антитела, либо какие-либо комбинации показателей крови - все эти методы для ВИЧ несовершенны и дают высокий ложноположительный результат, потому на основании одного теста одном методом вывод о заболевании обычно не делается. В истории это, однако, произошло.
Самое главное - услышав о (ложно)положительном результате, осознать вероятность ложности его положительности и продолжать диагностику. А если после ложноположительного результата объявить себя больным, сделать пару мифических действий, а после второго теста другим методом получить отрицательный результат, то можно ненароком поверить в действенность магии.

[maestros-bay.livejournal.com]

Не совсем. Если речь не идет о действительно смертельных болезнях, а о чем-то типа авитаминоза или о болезнях, которые себе придумывают женщины, когда им нечего делать- то это ОЧЕНЬ верно. Основной контингент гадалок и народных целителей, одним словом.

К примеру, вся слава гомеопатии базируется на этом- да еще на том факте, что гомеопатия, в общем, не вредит организму (исключая, конечно, упущенное время на лечение серьезной болезни). А для того времени, когда она появилась- это было довольно свежей идеей. Иными словами, у пациентов Ганемана (напомню, на дворе стоял конец 18го века) было на самом деле шансов окочурится меньше, чем у пациентов тех врачей, которые тогда считались "традиционными". Просто потому, что "лекарства" тех времен повергли бы в шок не то что современных докторов- но и более-менее грамотного человека. И поэтому введение этих "лекарств" в "малых" (т.е. гомеопатических) дозах и классическое ничегонеделание, в общем, действительно способствовало более безопасному, чем у коллег, лечению : )))) Организм, он, сука, живучий- и ежели его мышьяком и ртутью вперемешку с кровопусканиями не добивать- то случается, и сам выздоравливает : ))))

Медицина с тех пор продвинулась весьма далеко, мягко говоря- а гомеопаты все так же истирают и разводят пипиську барсука в потенции 20 и внимательно и за большие деньги слушают своих скучающих пациенток.

Этого задора, как видите, хватило и до 21 века. И теперь вы можете в аптеке нечаянно купить гомеопатические жидкости для инъекции. С эктрактом печени дикой утки в потенции 40 : ))) для повышении иммунитета : )))

Как видите- таки работает : )))

ЗЫ. Кстати, гомеопатические средства от рака и ВИЧ, тоже есть.

[eldad12.livejournal.com]

Я писал о серьезных заболеваний и их диагностике.
Ваше отношение к гомеопатии как-то не очень связано с темой обсуждения.

[maestros-bay.livejournal.com]

А что- есть какое-то другое? : ))))

И, видите, так в самом начале написано о целителях. А где целитель- там и гомеопатия : )))) Так что не стоит удивляться : )

[eldad12.livejournal.com]

Речь шла о том, что целители на самом деле не лечат потому, что диагнозы попадающих к ним пациентов неверны из-за неточности анализов и их интерпретации. А на самом деле их пациенты здоровы и в лечении не нуждатся Мое возражение заключается в том, что диагнозы серьезных заболеваний ставятся не только на основании анализов, а анализы в таких случаях неоднократно проверяются.
Вы с этим не согласны?

[maestros-bay.livejournal.com]

> целители на самом деле не лечат потому, что диагнозы попадающих к ним пациентов неверны из-за неточности анализов и их интерпретации.

Да + способности организма выздоравливать. Он задуман таким.

> Мое возражение заключается в том, что диагнозы серьезных заболеваний ставятся не только на основании анализов, а анализы в таких случаях неоднократно проверяются.

Угу. В Дефолт-Сити, Киеве и таких же городах у обеспеченных людей средний клас плюс. Вы будете страшно удивлены, на основании чего и какие диагнозы ставят молодцеватые молодые дохтура в Мухосранске и какая у них диагностическая аппаратура. Эти же маленькие города есть исконное местообитание лоха обыкновенного. Кстати, лох обыкновенный еще часто сам себе и диагнозы ставит. Часто- с помощью тех же бабок. В общем, смесь гремучая. В таком случае выздоровление может быть вообще просто вопросом нормальной диагностики, которая как раз через года полтора-два и случится в областном центре. 1,5 года- достаточно для выздоровления от меда и травок (на которые и спишут). Или недостаточно и подтвердится. Кому как повезет.

> Вы с этим не согласны?

С поправкой на жизнь- не согласен. Таки полно мнимых больных. Многие из них подозревают у себя рак. Который просто не могут продиагностировать глупые и бездушные доктора.

[mr-bison.livejournal.com]

Нет. Стоит?

[eldad12.livejournal.com]

Речь не шла об обычаях отсталых народов и уровне медицины в мухосрансках.

[victor-koldun.livejournal.com]

- Сёма, ты знаешь, доктор мне запретил пить, курить, и вообще сказал сменить стиль жизни.
- И ты теперь сменишь стиль жизни?
- Нет, я сменю доктора.
(с)

[az1236]

Да

[guy-fromhell.livejournal.com]

Более чем. Книга с мозгом. Это при том, что к оригиналу ГП мягко говоря равнодушен.

[maestros-bay.livejournal.com]

Речь шла о пище целителей. А куда тут без Мухосранска?

[mindfactor.livejournal.com]

Зачем использовать корявые термины, когда есть "ошибка первого рода" и "ошибка второго рода" ?

[o01eg]

Те, кого дельфины толкали к берегу, расскажут о чудесном спасении, те, кого дельфины толкали от берега, уже никогда никому ничего не расскажут.

[yaceya.livejournal.com]

Бывает и такое. В таких случаях после screening test для тех кто остался после первого отсева проводится другой тест, проверяющий по другим признакам. Обычно screening test ещё и намного дешевле поэтому лучше подходит для первичного отсева.

[yaceya.livejournal.com]

Ну, всё-таки это технические термины, из названия которых постороннему ничего понятно не будет. Поэтому, настолько я знаю, и в русском языке есть достаточно типовіе варианты поясняющие значение этих ошибок.
Кстати, в тестах вообще принято называть их не ошибками первого и второго рода, а чувствительностью теста и специфичность (sensitivity and specificity)

[yaceya.livejournal.com]

Напоследок, кстати, это вы назвали ошибки теста. На самом деле есть ещё человеческий фактор - люди ведь тоже могут ошибаться.
А здесь срабатывает уже логика предыдущего коментатора о дельфинах - выжившие почему-то верят сверхестественному объяснению, а не тому что несколько человек ошиблись.

[mindfactor.livejournal.com]

>Ну, всё-таки это технические термины, из названия которых постороннему ничего понятно не будет.

Вышка у подавляющего большинства сограждан есть. И минимум половина из них матстатистику проходили.

И потом, объяснить что это такое на пальцах - в трёх абзацах можно, а не вот эту мутотень разводить

[Богдан Божко (from livejournal.com)]

Крупнейшее исследование подтвердило обратную связь интеллекта с религиозностью
http://lenta.ru/news/2013/08/13/iq/

[yaceya.livejournal.com]

Вышка, которая есть у подавляющего большинства граждан позволяет им делать совершенно детские ошибки в теории вероятности, не говоря уж об опознании ошибок первого и второго рода.
О форме изложения согласен - не лучшая.

[yaceya.livejournal.com]

Кстати, по моим наблюдениям матстат отдельным курсом проходят в основном математики.
Всем остальным обычно дают маленький кусочек представлений о том что статистика существует в рамках единого курса "высшей математики".
По результатам же курса матстатистики и у математиков существенная часть выпускником дружно сдаёт экзамен с грехом пополам (т.е. не очень понимая), а потом ещё и забывает. Курс же высшей математики - это вообще ужас, то что кто-то умудряется ту кашу хоть как-то упорядочить и приспособить к делу сродни небольшому чуду.

[mindfactor.livejournal.com]

>Вышка, которая есть у подавляющего большинства граждан позволяет им делать совершенно детские ошибки в теории вероятности, не говоря уж об опознании ошибок первого и второго рода.

Да енто я так, злобно стебусь :)
Подавляющее большинство граждан (в том числе и с вышкой) проценты и натуральные дроби неуверенно считает, куда уже там...

[mindfactor.livejournal.com]

>Кстати, по моим наблюдениям матстат отдельным курсом проходят в основном математики.

У меня специальность была "метрология", а теория вероятности аж 2 года шла - первый год "Теория вероятности", второй - "математическая статистика". Так что не только математики.


>то что кто-то умудряется ту кашу хоть как-то упорядочить и приспособить к делу сродни небольшому чуду.

Помните старый анекдот про применение интеграла в реальной жизни ?

[mr-bison.livejournal.com]

Все претензии к Леонарду Млодинову. Наверное он просто не знал об ошибках первого и второго рода)))

[mindfactor.livejournal.com]

Как вариант - безграмотный переводчик.

[yaceya.livejournal.com]

Возможно метрология ближе к статистике чем другие специальности?
Я видел как статистику дают химикам и электронщикам в средних вузах.
Кроме того последние 20 лет хватало экспериментов с образованием с сокращением программы.
Я вообще к тому, что самообъясняющие формулировки полезны - что false positive что false negative человек может понять просто задумавшись. В отличие от ошибок первого и второго рода.

[stat-kosakry.livejournal.com]

Спасибо за наводку на охуенную книгу. "(Не)совершенная случайность..." шикарна.