Введение в байесовский анализ А В Рубанович Институт

Введение в байесовский анализ А. В. Рубанович Институт общей генетики им. Н. И. Вавилова РАН rubanovich@vigg. ru

Похороны P-value?

Из истории эпидемиологических исследований: вещи, которые вызывают рак (Altman, Simon, JNCI, 1992) q Электробритвы q q Холодильники Флуоресцентные светильники ЛЭП Переломы рук (у женщин) Исследования, времен распространения приборов q Аллергия q Содержание певчих птиц q Хот-доги q Разведение северных оленей q Профессия - официант q Высокий рост q Маленький рост q И, конечно, мобильные телефоны – наше время!

Из истории эпидемиологических исследований: мифы об AB 0 (1917 – 1960 – и по сей день) q У субъектов с А более тяжелое похмелье q У субъектов с 0 более здоровые зубы q Военные с 0 слабохарактерны, а с B более импульсивны q Субъекты с B более склонны к преступлениям q Аллель 0 более древняя и поэтому ее носители – охотники и мясоеды. Аллель A моложе, ее носители – фермеры и вегетарианцы q У субъектов с А более высокий IQ q Люди с группой В чаще испражняются q Между AB 0 и пищеварением – сильная связь: для каждой группы своя диета Никита Хромов-Борисов, СПб. ГМУ

Основные причины ложных заключений в эпидемиологических и биомедицинских исследованиях Вера в 5% или «синдром статистической снисходительности» Слабые, но «высокозначимые» эффекты в больших выборках Множественность сравнений Страты и парадокс Симпсона: сопоставление неоднородных выборок Проклятие победителя и публикационный сдвиг

Традиционный подход к ответу на вопрос: случайно ли то, что мы наблюдаем? Астрагалы, V тыс. лет до н. э. Бросок Венеры – 5% Со времен астрагалов: события с вероятностью менее 5% принято считать «маловероятными» При сравнении выборок формируем: Н 0 – гипотеза об отсутствии различий: наблюдаемый эффект обусловлен случайными причинами H 1 – альтернативная гипотеза: эффект есть, наблюдаемые различия неслучайны Далее по совокупности данных вычисляем р т. е. , т. н. «р-value» «серая зона» Н Н 0 неопределенности 1 0 0. 01 0. 05 р-value - ? Резкая граница? С какой стати? «Механистическая дихотомия и сакральные 5% повсеместно процветают. Невзирая на 40 лет критики»

Чем является и чем не является р-value S. Goodmen. A Dirty Dozen: Twelve P-value Misconceptions (2008) q р-value P(H 0), т. е. это не есть вероятность нулевой гипотезы об отсутствии различий q Малость р-value не гарантирует высокую вероятность получить аналогичные результаты в повторном эксперименте

Гарантирует ли низкое p-valuе воспроизводимость результатов? При p-value из «серой зоны» таких гарантий нет! Вероятность p-value значимых эффектов http: //www. univ-rouen. fr/LMRS/Persopage/Lecoutre/telechargements/Le. Prep 2 setup. zip в повторном опыте n 1 + n 2 -2 Программа Le. Prep: Free! 0. 05 0. 02 p-value 0. 6 0. 01 0. 67 Вероятность наблюдать ту же направленность 0. 005 0. 73 эффектов в повторном эксперименте 0. 001 0. 83 0. 0001 0. 92 0. 00001 0. 96 Вероятность наблюдать те же эффекты с уровнем p-value < 0. 05

Чем является и чем не является р-value S. Goodmen. A Dirty Dozen: Twelve P-value Misconceptions (2008) q р-value P(H 0), т. е. это не есть вероятность нулевой гипотезы об отсутствии различий q Малость р-value не гарантирует высокую вероятностью получить аналогичные результаты в повторном эксперименте q р-value P(H 0 | data), т. е. это не есть вероятность нулевой гипотезы при данном раскладе данных Все наоборот! Почувствуйте разницу: q р-value = P(data | H 0), точнее data Tdata и р-value = P(T > Tdata | H 0) т. е. это вероятность наблюдаемого (или еще более «крутого» ) расклада данных при условии отсутствия различий T – тестовая «статистика» (t, 2, F и т. п. ). При H 0 ее распределение всегда известно: q Одним словом, р-value – это условная вероятность, но совсем не того, чего нужно! Как конвертировать P(data р-value Tdata T | H 0) P(H 0 | data) ? Ситуация сходна с «case - control» : мы меряем частоту маркера у больных, но хотели бы знать частоту больных среди носителей маркера

r( , Условные вероятности в картинках ) - статистически значимая корреляция Богатые Умные & Обманчивая простота! Доля умных среди богатых P( P( & ) P( | Доля богатых среди умных ) > P( | Формула перехода Байеса | ) = P( | ) P( P( ) ) P( ) & ) P( )

Формула Байеса преподносит неожиданности! q Пусть детектор лжи не ошибается в 90% случаев, а популяционная частота прирожденных лжецов –прибора: Да - вероятность того, что выявленный Показания 10%. Какова Нет детектором лжец, действительно является лжецом? Дано: P(Да|Лжец) = P(Нет|Честный) = 0. 9; P(Лжец) = 0. 1 Найти: P(Лжец|Да) = P(Да|Лжец)P(Лжец) = P(Да) P(Да|Лжец)P(Лжец) P(Да, Лжец) + P(Да, Честный) = = P(Да|Лжец)P(Лжец) + P(Да|Честный)P(Честный) = q Более серьезный пример – маммогр. Афия: P(Да|Рак) = 0. 8; P(Нет|Здоровая) = 0. 9; P(Рак) = 0. 01 (РМЖ после 40 лет) P(Рак|Да)

Формула Байеса преподносит неожиданности! может быть мала, но при этом…. может быть еще ниже! Байесов фактор: во сколько раз чаще наши данные более вероятны при H 1, чем при H 0 Интерпретация: BF > 100 30 – 100 10 – 30 3 – 10 1– 3 <1 Свидетельство в пользу гипотезы H 1 против гипотезы H 0 Убедительное Очень сильное Сильное Умеренное Слабое Против H 1 Ясно, что если BF 1, то говорить о значимости эффектов невозможно

Байесовская революция (1990 - …) Альтернативная статистика Преподобный Томас Байес (1702 - 1761) Bunhill Fields Burial Ground off City Road, EC 1

Байесовская ревизия: 272 эпидемиологические работы с формально значимыми результатами 0. 5 BF 0. 7 1 BF < 1! Это зона справедливости результатов с «точностью до наоборот» Все результаты с p-value 0. 02 -0. 05 не проходят по критерию BF > 3 2 3 10 «серая зона» Байесовский анализ подтверждает значимость эффектов p-value J. P. Ioannidies, 2008, Am J Epidemiol; 168, 374 -383

Байесовское мышление Нас интересует не P(data | H 0) (это фактически p-value), а P(H 0 | data) - вероятность отсутствия различий, после наблюдения данного расклада данных. До опыта После опыта Тогда: Апостериорный шанс гипотезы H 1 Введем понятие «шанс» : Шанс (odd) события А = = BF . Априорный шанс гипотезы H 1 Вероятность выиграть к вероятности проиграть

Основные причины ложных заключений в эпидемиологических и биомедицинских исследованиях Вера в 5% или Сквозь «призму p-value» … снисходительности» «синдром статистической Слабые, но «высокозначимые» эффекты в больших выборках Множественность сравнений Страты и парадокс Симпсона: сопоставление неоднородных выборок Проклятие победителя и публикационный сдвиг

Байесов фактор в простейшем случае (броски монеты) data = последовательность ООРО…ОР, скажем k «орлов» в n бросках Н 0: р = 1/2 «Честная» монета Н 1: р 1/2 «Нечестная» монета f(р) Находим отношение Здесь - усреднение по всем равновероятным значениям р 1 0 1 р 3 случая, когда частота k/n = 0. 46 близка к 0. 5 Принимаем Н 0 Результаты классического и байесовского анализа расходятся: BF < 1, Принимаем Н 1 хотя p-value = 0. 012 n k p-value BF 100 46 0. 484 0. 171 1000 460 0. 012 0. 971 10000 4600 10 -15 1012 А теперь представьте, что это соотношение полов

Ситуация, типичная для эпидемиологии (или для ассоциативных исследований «case-control» ) Среди n больных – 5 носителей маркера Среди n контрольных лиц – 0 носителей маркера 0 Рассмотрим 5 Табл. сопряженности 2 х2 случай равных по объему n-5 n выборок 0 из 50 против 5 5 из 50: принимаем Н 1 n Результаты классического p-value BF и байесовского анализа 50 < 4. 10 расходятся: BF ~ 1, 0. 0212 хотя p-value = 0. 0250. 0235 100 2. 72 200 500 1000 3000 5000 10000 0. 0244 0. 0250 0. 0252 0. 0253 10 1 n-10 n-1 1 против 10 p-value BF 0. 0040 17. 29 0. 0052 9. 6 1. 86 0. 0059 6. 1 BF убывает, как p-value почти не зависит от n-1/2 1. 16 0. 0063 3. 62 0. 81 0. 0065 2. 51 0. 47 0. 0066 1. 43 0. 36 0. 0066 1. 10 0. 25 0. 0066 0. 78

Как это посчитано? Байесов фактор для таблицы 2 х2 Эпидемиология Case - control Экспонированные Контроль Больные Здоровые E Больные Здоровые D D a b Носители маркера c d Свободны от маркера Частота больных среди экспонированных такая же, как и в контроле M a b c d Частота носителей маркера среди больных такая же, как среди здоровых где В(a, b) – т. н. бета-функция

Байесов фактор для таблицы 2 х2 Вычисления в байесовском анализе всегда громоздки! Вероятно поэтому все началось лишь в 90 -е годы Вычисление бета-функции q On line: http: //www. danielsoper. com/statcalc 3/calc. aspx? id=35 q В Excel: Г(x) = EXP(ГАММАНЛОГ(x)) где В(a, b) – т. н. бета-функция

Байесов фактор on line http: //www. stat. umn. edu/geyer/5102/examp/bayes. html Ввод данных, например, 0 из 100 против 5 из 100 Результаты после нажатия: Байесов фактор, точнее 1/BF p-value Еще один аналогичный сайт - http: //pcl. missouri. edu/bf-binomial

4 повода вспомнить о Томасе Байесе q Значения p-value из «серой» зоны: 0. 01 – 0. 05 Очень часто именно при таких p-value Байесов фактор BF ~ 1 (или даже < 1), т. е. данные могут наблюдаться, как при нулевой, так и при альтернативной гипотезе q Большие объемы выборок Грубо говоря, , где n - объем выборки. Поэтому при очень больших выборках, возможны ситуации, когда BF < 1 q Высокая значимость отличий частот редких событий Например сравнение « 0. 2% vs 0. 01%» (относительный риск = 20!!!) может давать BF = 1/4 при p-value = 0. 00005 (например, расклад « 10 из 100 000» против « 1 из 500» ) q Если Вы никогда до конца не понимали, что такое p-value BF – Байесов фактор, имеет простой и ясный смысл: во сколько раз наблюдаемые данные более вероятны при наличии различий, чем при отсутствии оных

Основные причины ложных заключений в эпидемиологических и биомедицинских исследованиях Вера в 5% или «синдром статистической снисходительности» Слабые, но «высокозначимые» эффекты в больших выборках Множественность сравнений Страты и парадокс Симпсона: сопоставление неоднородных выборок Проклятие победителя и публикационный сдвиг

Несколько заключительных замечаний в пользу нерадивой работы Шутка! Избегайте больших выборок! P-value не работает, а к бейсианцам в министерствах пока относятся подозрительно. Томас Байес Сравнивая выборки по всем мыслимым показателям, вы лишаете себя значимых эффектов Карло Бонферрони В погоне за «представительностью» выборки вы плодите страты – источник фальшивых открытий и упущенных эффектов! Эдвард Симпсон

Всем спасибо! Слайды доступны всем! Эту и другие мои лекции можно найти на сайте vigg. ru