ОБС 6 ОСНОВЫ БИОСТАТИСТИКИ http www hydrobiology spb

ОБС 6 ОСНОВЫ БИОСТАТИСТИКИ http: //www. hydrobiology. spb. ru БИБЛИОТЕКА Biostat-1 Biostat-2 Biostat-3 Biostat-4 Biostat-5 Biostat-6 Фото: Risto Vainola

СТАТИСТИЧЕСКОЕ ОЦЕНИВАНИЕ ДОВЕРИТЕЛЬНАЯ ВЕРОЯТНОСТЬ, ПРИЗНАННАЯ ДОСТАТОЧНОЙ ДЛЯ УВЕРЕННОГО СУЖДЕНИЯ О ГЕНЕРАЛЬНЫХ ПАРАМЕТРАХ НА ОСНОВАНИИ ВЫБОРОЧНЫХ ПОКАЗАТЕЛЕЙ ДОВЕРИТЕЛЬНЫЙ ИНТЕРВАЛ ГРАНИЦЫ, В КОТОРЫХ С ОПРЕДЕЛЕННОЙ ВЕРОЯТНОСТЬЮ НАХОДИТСЯ ПАРАМЕТР ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ НАЗЫВАЮТ ДОВЕРИТЕЛЬНЫМИ, А ИНТЕРВАЛ, ЗАКЛЮЧЕННЫЙ МЕЖДУ ЭТИМИ ГРАНИЦАМИ НАЗЫВАЮТ ДОВЕРИТЕЛЬНЫМ ИНТЕРВАЛОМ.

НУЛЕВАЯ ГИПОТЕЗА - ПРОВЕРЯЕМАЯ ПРИ СТАТИСТИЧЕСКОМ ОЦЕНИВАНИИ ГИПОТЕЗА (Н 0). СТАТИСТИЧЕСКИЙ КРИТЕРИЙ - ФУНКЦИЯ ВЫБОРОЧНЫХ ЗНАЧЕНИЙ СТАТИСТИКИ, ПОСТРОЕННАЯ В УСЛОВИИ СПРАВЕДЛИВОСТИ НУЛЕВОЙ ГИПОТЕЗЫ, И СОГЛАСНО КОТОРОЙ ПО УСЛОВИЯМ АЛЬТЕРНАТИВНОЙ ГИПОТЕЗЫ И ДАННЫМ КОНКРЕТНОЙ ВЫБОРКИ СОХРАНЯЕТСЯ ИЛИ ОТВЕРГАЕТСЯ НУЛЕВАЯ ГИПОТЕЗА УРОВЕНЬ ЗНАЧИМОСТИ КРИТЕРИЯ - ВЕРОЯТНОСТЬ ОШИБОЧНОГО ОТКЛОНЕНИЯ НУЛЕВОЙ ГИПОТЕЗЫ

СТАТИСТИСТИЧЕСКОЕ ОЦЕНИВАНИЕ ЦЕЛЕВОЕ НАЗНАЧЕНИЕ СТАТИСТИЧЕСКОГО АНАЛИЗА: - выбор и обоснование математической модели изучаемого явления; - описание свойств анализируемой биосистемы или механизма ее функционирования с помощью моделирования; - наглядное представление исходных данных с целью формирования рабочих гипотез о механизме изучаемого явления; - даказательство статистической связи; - сжатие информации и т. п.

Для информации Методическая состоятельность анализа – это опора на две составные части аппарата математической статистики: 1. Теорию статистического оценивания неизвестных значений параметров, участвующих в описании анализируемых совокупностей; 2. Теорию проверки статистических гипотез о параметрах или природе анализируемой модели. Задача статистического оценивания состоит в том, чтобы из полученных данных: а) - извлечь наилучшее статистическое приближение для неизвестных значений параметров, отвечающее реальным наблюдениям; б) – найти объективную меру точности такого приближения.

Методы построения и расчета статистических оценок: метод максимального правдоподобия, Сущность метода максимального правдоподобия состоит в том, чтобы найти “наиболее правдоподобное” значение параметра распределения случайной величины. метод наименьших квадратов. Суть в минимизации квадратов отклонений вариант относительно рассматриваемой модели. метод моментов к – порядок момента меняется от 1 до 4 ( ) начальные моменты (b): A=0 центральные моменты (μ ): А= М условные моменты (m): А – любое число основные моменты (r ): rk= μk/sk М – начальный момент первого порядка S 2 – центральный момент второго порядка As = μ 3/s 3 - основной момент третьего порядка Для информации

ДОВЕРИТЕЛЬНЫЙ ИНТЕРВАЛ ? Необходимо определить (количественно) такой интервал значений, в пределах которого находится ! В стандартизированном виде обе кривые распределения будут идентичны Решение задачи сводится к определению интервала относительно , в который попадает µ.

ДОВЕРИТЕЛЬНАЯ ВЕРОЯТНОСТЬ И ДОВЕРИТЕЛЬНЫЙ ИНТЕРВАЛ - маловероятные события с вероятностью близкой к 0 считают практически невозможными - события, вероятность которых близка к 1, принимают за достоверные. Стандартная нормальная кривая t Р 1=0. 95 Р 2=0. 99 Р 3=0. 999 t 1=1. 96 t 2=2. 58 t 3=3. 29

A man who travels a lot was concerned about the possibility of a bomb on board his plane. He determined the probability of this, found it to be low but not low enough for him. So now he always travels with a bomb in his suitcase. He reasons that the probability of two bombs being on board would be infinitesimal.

95% доверительный интервал для стандартной нормальной кривой Р 1=0. 95 t 1=-1, 95; 1. 96 Р =0, 95 t 1=-1. 96 t 1=+1. 96 t

Принципиальная схема построения 95% ДОВЕРИТЕЛЬНОГО ИНТЕРВАЛА с параметрами - выборочное значение: n (M, s 2, ) Положение ЦПТ: выборочная средняя является только одной из возможных средних (данной генеральной совокупности), значения которых нормально распределены вокруг генерального параметра независимо от типа распределения самой случайной величины.

N (µ, σ2) n ( , s 2) Статистика Условно преобразуем распределение в стандартную нормальную кривую - СКО для распределения средней из

Стандартная нормальная кривая для Р =0, 95 В стандартной нормальной кривой, т. е. кривой распределения случайной величины относительно центра распределения 95% вариант должны уложиться в интервал от -1, 96 до +1. 96

С вероятностью 0, 95 интервал . «накрывает» (неизвестное) истинное значение

Итак, еще раз. . . Если распределена по нормальному закону с параметрами , симметричный 95% доверительный интервал относительно М имеет вид: Вспомним, что: 1, 96 - нормированное отклонение ( t) Тогда интервал: Равнозначен интервалу:

Приняв наблюдаемое выборочное значение за реализацию , можно утверждать, что в этот интервал с вероятностью 95% попадает неизвестное значение генеральной средней. Или, с 95% вероятностью положение относительно средней арифметической ограничено квантилями +tm и -tm симметричного интервала. Р =0, 95 -tm ! Это уже не стандартная кривая +tm

Построение статистического критерия

Стандартная нормальная кривая X X

ГЕНЕРАЛЬНОЕ ЗНАЧЕНИЕ ПАРАМЕТРА “НАКРЫВАЕТСЯ” ДОВЕРИТЕЛЬНЫМ ИНТЕРВАЛОМ С ВЕРОЯТНОСТЬЮ р И С ВЕРОЯТНОСТЬЮ (1 -р) СЛЕДУЕТ ПРИЗНАТЬ, ЧТО ГЕНЕРАЛЬНЫЙ ПАРАМЕТР ОКАЖЕТСЯ ВНЕ ДОВЕРИТЕЛЬНОГО ИНТЕРВАЛА. Р =0, 95 - tm + tm t t – нормированное отклонение (1, 96) m – ошибка средней

СТАТИСТИЧЕСКИЙ КРИТЕРИЙ БИОСТАТИСТИКА у ч е б н ы й п л а н

СТАТИСТИКА КРИТЕРИЯ Статистика – функция, вычисляемая по наблюденной выборке. Соответственно, статистика критерия – это статистика, используемая при построении СТАТИСТИЧЕСКОГО КРИТЕРИЯ. Выбор статистики является важным этапом в построении критерия. Он определяется вероятностной моделью исследуемого явления и гипотезами – НУЛЕВОЙ и АЛЬТЕРНАТИВНОЙ. Если экспериментальное значение статистики критерия попадает в критическую область распределения, то НУЛЕВАЯ гипотеза отвергается. статистический словарь http: //www. sapr-mgsu. by. ru/biblio/slov-stat/t. htm

статистическая проверка гипотезы - процедура сопоставления высказанной гипотезы с полученными выборочными данными с помощью статистического критерия НУЛЕВАЯ ГИПОТЕЗА Гипотеза, проверяемая при статистическом оценивании называется НУЛЕВОЙ ГИПОТЕЗОЙ и обозначается как Н 0.

«assuming we had a boat…” A statistician and the statistician’s wife were marooned on a remote island. When the wife asked how they were going to escape the island get home, the statistician replied …

Сущность традиционной нулевой гипотезы сводится к тому, что. . . разница, например, между сравниваемыми генеральными параметрами равна нулю, и таким образом различия, наблюдаемые между выборочными показателями, не закономерны, а имеют случайный характер. Следовательно, сами выборки относятся к одной генеральной совокупности. . Н 1 – альтернативная гипотеза

схема построения статистического критерия Построение критерия – это построение статистики случайной величины: - выборочный показатель от Функция плотности распределения строится в предположении справедливости Н 0 и называется статистикой критерия Функция распределения выбирается таким образом, чтобы закон распределения был полностью определен (т. е. заданы и вид распределения и его параметры). Наиболее часто параметром является число наблюдений (степень свободы).

Предположим, мы строим критерий сравнения двух средних. Показатель: Длина боба, мм ГЕНЕРАЛЬНАЯ СОВОКУПНОСТЬ 1 эксперимент 2 эксперимент . . . к эксперимент n=10 Четыре случайные величины n=10 Статистика критерия СТАТИСТИЧЕСКИЙ КРИТЕРИЙ или КРИТЕРИЙ ЗНАЧИМОСТИ ПОСТРОЕН В УСЛОВИИ - функция плотности вероятности распределения СПРАВЕДЛИВОСТИ Но выборочного показателя

Теперь, пусть мы получили в аналогичном выборочном ансамбле, но в других условиях аналогичную разовую оценку n=10

Если использованные для расчета Gн M 1 и М 2 действительно получены из одной генеральной, то наиболее вероятное место Gн - это 50% квантиль pmax

УРОВЕНЬ ЗНАЧИМОСТИ КРИТЕРИЯ 1. определен конкретный уровень значимости критерия в условиях реального эксперимента квантиль Gн= 12, 58 (Р=0, 015) критическая область 2. Заранее задана определена критическая область, попадание в которую Gн маловероятно в случае справедливости Н 0 ВСЕ КВАНТИЛИ РАСПРЕДЕЛЕНИЯ ПРИ

На графике плотности вероятности критерия оценки выделяют зоны низкой вероятности появления выборочного значения статистики критерия. Это. . уровень значимости - вероятность ошибочного отклонения нулевой гипотезы критический квантиль Область согласия Gн с Н 0 критический квантиль

КАКОЙ УРОВЕНЬ ЗНАЧИМОСТИ СЛЕДУЕТ ВЫБИРАТЬ? (Правило 3 -х сигм) 3 стандартных уровня значимости Н 0: Например: КВАНТИЛИ СТАНДАРТНОЙ НОРМАЛЬНОЙ КРИВОЙ 1. 96 2. 58 3. 29

Схема построения критерия - Предположение - H 0 верна, - Находится распределение вероятности некоторой функции (статистики критерия) G(х1, х2, . . . , хk) от значений выборки, - В области этой статистики выделяется некоторая критическая область W, такая, что вероятность попадания выборочного значения статистики Gн в эту область не превосходит заданного малого значения , называемого уровнем значимости - Если для данной конкретной выборки Gн попадает в критическую область W, то гипотеза H 0 отвергается на уровне значимости , поскольку вероятность этого события при верной H 0 мала. - Если Gн не попадает в критическую область W, то говорят, что "полученные данные не дают оснований отвергнуть гипотезу H 0 на уровне значимости .

при согласии с H 0 наиболее вероятное значение нижняя критическая область верхняя критическая область Область Согласия с Н 0 вероятность Односторонний критерий Двухсторонний критерий

ДЛЯ ОДНОГО И ТОГО ЖЕ УРОВНЯ ЗНАЧИМОСТИ КРИТИЧЕСКИЙ КВАНТИЛЬ ОДНОСТОРОННЕГО ТЕСТА МЕНЬШЕ, ЧЕМ КРИТИЧЕСКИЙ КВАНТИЛЬ ДВУСТОРОННЕГО ТЕСТА. Н 0 сохраняется Gн Н 0 отвергается Gн

Практические рекомендации: 1. - сравнение опыта и контроля требует одностороннего критерия; 2. - сравнение выборок из индифферентных группировок логичнее проводить с использованием двустороннего критерия. Критические значения (квантили, процентные точки) статистических критериев табулированы. !!!Таблицы могут быть построены для одностороннего и для двустороннего критериев!!!

Выбор критического квантиля. Уровень значимости 0, 1 0, 05 0, 025 Критический квантиль распределения статистики 2, 26 3, 25 4, 78 Таблицы для двустороннего кр. Строим одностронний критерий Таблицы для двустороннего кр. Строим двухстронний критерий Таблицы для одностороннего кр. Строим одностронний критерий Таблицы для одностороннего кр. Строим двухстронний критерий

ОШИБКА 1 РОДА - отклонена верная нулевая гипотеза, с вероятностью α - это вероятность ошибиться отвергая верную Н 0 ОШИБКА 2 РОДА - отклонена верная альтернативная гипотеза с вероятностью β - это вероятность ошибиться отвергая верную гипотезу Н А Из двух оценок, характеризующихся одной и той же вероятностью отвергнуть правильную H 0 , следует предпочесть ту, которая сопровождается меньшей ошибкой 2 РОДА (т. е. имеет БОЛЬШУЮ МОЩНОСТЬ).

МОЩНОСТЬ КРИТЕРИЯ (Животовский, 1991) Пусть Н 0 ( М = μ) несостоятельна М > μ на величину Δ Функция критерия оценки Т 0 Тк - пороговое значение критерия Т 0 Можно задать функцию ТΔ - МОЩНОСТЬ КРИТЕРИЯ Тк 0 Тк Т 0

Принята гипотеза H 0 H 1 - вероятность правильно принять H 0, когда верна H 0 - вероятность ошибочно принять H 1, когда верна H 0 (ОШИБКА 1 -ГО РОДА) - В Е Р Н А Я Г И П О Т Е З А H 0 H 1 -вероятность ошибочно - вероятность правильно принять H 0, принять H 1, когда верна -когда верна H 1 (МОЩНОСТЬ (ОШИБКА 2 -ГО РОДА) КРИТЕРИЯ)

Итак, еще раз…. . Ошибка 1 -го рода - это ошибка ложного обнаружения несуществующего отклонения от нулевой гипотезы (ложного обнаружения несуществующего эффекта). Ошибка же 2 -го рода - это ошибка ложного необнаружения существующего отклонения от нулевой гипотезы (ложного необнаружения существующего эффекта). Мощность критерия - это его способность обнаружить имеющееся отклонение от нулевой гипотезы. Главное требование к качеству критерия состоит в том, чтобы он по возможности не отвергал истинную гипотезу, но зато с большой вероятностью отвергал бы ложную http: //www. statsoft. ru/solutions/Examples. Base/branches/detail. php? ELEMENT_ID=636 Оценка мощности и объема выборки для независимых выборок, t-критерий

МОЩНОСТЬ КРИТЕРИЯ ОПРЕДЕЛЯЮТ: 1. Различие между проверяемой гипотезой и фактической ситуацией ( )

2. Объем выборки: чем меньше выборка, тем меньше мощность, так как с уменьшением “n” увеличивается варианса теоретического распределения

3. Выбранным пороговым уровнем значимости H 0 : чем меньше , тем меньше мощность

4. при одном и том же уровне значимости нулевой гипотезы мощность одностороннего критерия оказывается выше, чем двустороннего Tk Tk

Мощность критерия зависит от: объема выборки, дистанции между нулевой и альтнативной гипотезами, выбранного уровня значимости и вариабельности выборки. выбор мощности критерия - это всегда компромис: ЕСЛИ МОЩНОСТЬ КРИТЕРИЯ СЛИШКОМ МАЛА, ВОЗНИКАЕТ ОПАСНОСТЬ ПРОПУСТИТЬ НАЛИЧИЕ ИСКОМОГО ЭФФЕКТА, ПОСКОЛЬКУ СУЖДЕНИЕ О НАЛИЧИИ РАЗЛИЧИЙ ОСНОВЫВАЕТСЯ НА ПРОВЕРКЕ ИХ ОТСУТСТВИЯ. НЕ СЛЕДУЕТ ДУМАТЬ, ЧТО ЧЕМ ВЫШЕ МОЩНОСТЬ КРИТЕРИЯ, ТЕМ ОН ЛУЧШЕ. ПРИ ИЗЛИШНЕ МОЩНОМ КРИТЕРИИ (НАРОЧИТО ЗАВЫШЕННЫЙ ОБЪЕМ ВЫБОРКИ) ДАЖЕ НЕЗНАЧИТЕЛЬНЫЕ И ПРАКТИЧЕСКИ НЕВАЖНЫЕ РАЗЛИЧИЯ МОГУТ ОКАЗАТЬСЯ СТАТИСТИЧЕСКИ ЗНАЧИМЫМИ. НАПРИМЕР, МОЖНО ВЫЯВИТЬ ЭФФЕКТ СЛАБОЙ СИСТЕМАТИЧЕСКОЙ ПОГРЕШНОСТИ. НУЖНО УМЕТЬ НЕ ПУТАТЬ НАБЛЮДЕННУЮ ЗНАЧИМОСТЬЮ (PЗНАЧЕНИЕ) РЕЗУЛЬТАТА И ЕГО ПРАКТИЧЕСКУЮ ЗНАЧИМОСТЬ. "ОГО! ЗНАЧИМОСТЬ СИЛЬНО МЕНЬШЕ 0. 001, ЗНАЧИТ, ЭФФЕКТ ВЕЛИК!"

Как это работает ?

1. Правила построения критерия оценки. 1. При небольших объемах выборок следует брать умеренные пороговые уровни значимости ( ) , так как при малых n – мощность критерия будет незначительной. 2. По возможности, строить односторонние тесты, если это позволяет постановка задачи. 3. В экспериментальных исследованиях следует использовать эффективные градации дозы воздействия.

Результат сопоставления: - отрицательный - данные противоречат нулевой гипотезе и потому от нее следует отказаться, либо положительный - данные не противоречат гипотезе), и потому ее можно принять, но только как одно из допустимых решений !!! Положительный результат статистической проверки исходного предположения не означает, что оно наилучшее, и тем более единственно подходящие. оно не противоречит выборочным данным, но таким же свойством могут обладать и другие гипотезы.

Построить критерий - это значит: 1. Спланировать эксперимент, определить режим пробоотбора (n). 2. Найти статистику критерия оценки. 3. Сформулировать Н 0. 4. Выбрать уровень значимости Н 0 – α. 5. Сформулировать Н 1. 6. Исходя из предыдущих условий, выбрать вид критерия: одно- или двухсторонний. 7. Найти выборочное значение статистики критерия

В экологии достижение даже 20% уровня значимости часто рассматривают как результат ДОПОЛНЕНИЕ ? Тк 0 Тк Т 0 Если нулевая гипотеза сохранена при 5% уровне значимости (попали точно в кваниль), то за счет β вероятность справедливости нулевой гипотезы не 95% а меньше - до 30%. повторяемость результата при большом числе повторов - 30%; - повторяемость результата при большом числе повторов - 70%; - - повторяемость результата при большом числе повторов - 90%; ! Практика биологов принимать 5% уровень значимости Но - порочна. Нужно брать 1%. Н. Н. Хромов-Борисов

В середине 90 -ых XX-го века «возникла» проблема «multiple comparisons» q В ассоциативных исследованиях полиморфизма ДНК, как правило, фигурируют 3 -5 (или 5 -20) полиморфных локусов (это число еще нужно умножить на число заболеваний или сравниваемых признаков) q Genome-wide association: изучение экспрессии генов при помощи микрочипов – 500 000 SNP. При уровне значимости 0. 01 можно ожидать 5000 ложных ассоциаций q Мета-исследования (исследования исследований): как объединять и сравнивать данные, полученные разными авторами Проведение большого количества тестов (множественных сравнений) связано с опасностью фальшивых открытий Александр Владимирович Рубанович http: //vigg. ru/institute/subdivisions/otdel-geneticheskoi-bezopasnosti/laboratorija-ehkologicheskoi-genetiki/rubanovich-presentations/

Проблема множественных сравнений. . если на одном и том же наборе данных выполняется проверка большого числа гипотез, то при проверке каждой статистической гипотезы закладывается возможность ошибки первого рода (т. е. отклонение верной нулевой гипотезы). Чем больше гипотез мы проверяем на одних и тех же данных, тем больше будет вероятность допустить как минимум одну такую ошибку. Этот явление называют эффектом множественных сравнений (multiple testing). . . Три выборки А, В и С. Сравнение по критерию Стьюдента, Уровень значимости – a<0, 05 При сравнении групп A и В риск ошибиться с вероятностью 5%. Точно такая же вероятность ошибки будет иметь место и при сравнении В с С и А с С. Соответственно, вероятность ошибиться хотя бы в одном из этих трех сравнений составит: Это гораздо выше 5%. Очевидно, что дальнейшее увеличение числа проверяемых гипотез будет неизбежно сопровождаться возрастанием ошибки первого рода (снижением мощности критерия). http: //r-analytics. blogspot. ru/2013/10/blog-post. html#. Uy. PQome. Iq 9 I

Решение проблемы На уровне организации эксперимента Снижение числа гипотез Факторный анализ Структурное моделирование Изменение дизайна эксперимента В режиме экстренного выхода из ситуации Метод Бонферрони Метод Холма Метод Хохберга Метод Шидака min. P Перестановочные методы (permutation tests) Метод Хоммеля Последовательная проверка Контроль FWER для иерархических семейств гипотез

Как избежать фальшивых открытий? (Метод Бонферрони) При проведении m независимых статистических тестов на уровне значимости , вероятность хотя бы одного фальшивого результата должна быть 1 -(1 - )m < 0. 05 Carlo Emilio Bonferroni (1892 – 1960) Правило Карло Бонферрони (1935): При проведение m независимых статистических тестов значимы только те результаты, для которых http: //vigg. ru/institute/subdivisions/otdel-geneticheskoi-bezopasnosti/laboratorija-ehkologicheskoi-genetiki/rubanovich-presentations/

Проблема множественных сравнений. . если на одном и том же наборе данных выполняется проверка большого числа гипотез, то при проверке каждой статистической гипотезы закладывается возможность ошибки первого рода (т. е. отклонение верной нулевой гипотезы). Чем больше гипотез мы проверяем на одних и тех же данных, тем больше будет вероятность допустить как минимум одну такую ошибку. Этот явление называют эффектом множественных сравнений (multiple testing). . . Три выборки А, В и С. Сравнение по критерию Стьюдента, Уровень значимости – a<0, 05/3(0, 0167) При сравнении групп A и В риск ошибиться с вероятностью 5%. Точно такая же вероятность ошибки будет иметь место и при сравнении В с С и А с С. Соответственно, вероятность ошибиться хотя бы в одном из этих трех сравнений составит: Это гораздо выше 5%. Очевидно, что дальнейшее увеличение числа проверяемых гипотез будет неизбежно сопровождаться возрастанием ошибки первого рода (снижение мощности критерия). http: //r-analytics. blogspot. ru/2013/10/blog-post. html#. Uy. PQome. Iq 9 I

http: //vigg. ru/institute/subdivisions/otdel-geneticheskoi-bezopasnosti/laboratorija-ehkologicheskoi-genetiki/rubanovich-presentations/ Bonferroni method creates more problems than it solves Александр Владимирович РУБАНОВИЧ q Интерпретация данных зависит от числа тестов. Это противно нашей интуиции. Данные не могут терять значимость от того, что их кто-то подтвердил! q При большом количестве тестов гипотеза о том, что все наблюдаемые различия неслучайны, никому не нужна q При коррекции Бонферрони вероятность упустить существенные различия столь велика, что …лучше просто перечислить какие тесты дали значимые результаты и, главное, почему. . . Поправки Bonferroni, в лучшем случае, не нужны и, в худшем случае, вредны для формирования статистический выводов. . . (Thomas Perneger, 1998 ):

Из разговоров на форуме molbiol. ru: q …мы не будем гробить свои результаты из-за какого-то там Бонферрони q …спрашивать диссертанта о Бонферрони – это дурной тон q … «бонферронофобия» набирает обороты q …разработчики программ не желают вводить кнопочку «Bonferroni» q …хуже Бонферрони ничего нет, не считая отсутствия всякой коррекции http: //vigg. ru/institute/subdivisions/otdel-geneticheskoi-bezopasnosti/laboratorija-ehkologicheskoi-genetiki/rubanovich-presentations/

Зависимость ошибки II рода от числа тестов при использовании поправки Бонферрони При 5 сравнениях упускаем 50% открытий При m=100 ошибка равна 0. 88 В отдельном тесте вероятность упустить открытие равна 0. 2 1 При 100 сравнениях ради того, чтобы гарантировать отсутствие хотя бы одного ложного результата, мы упускаем 88% открытий! http: //vigg. ru/institute/subdivisions/otdel-geneticheskoi-bezopasnosti/laboratorija-ehkologicheskoi-genetiki/rubanovich-presentations/

A Simple Sequetially Rejective Multiple Test Procedures, Scand J Statist, 6, p 65 -70 (1978) Метод Холма-Бонферрони (также Метод Холма (1979), Поправка Холма-Бонферрони) FDR-контроль False Discovery Rate control: Benjamini, Hochberg (1995) Sture Holm Суть подхода Вероятность фальшивого открытия < Уровня значимости Ошибка 1 рода < 0. 05 Средняя доля фальшивых открытий < Выбранный уровень FDR является равномерно более мощным, чем поправка Бонферрони и решает проблему падения мощности при росте числа гипотез.

Алгоритм контроля FDR (Холм, 1978) (Benjamini, Hochberg, 1995) Метод предполагает всего лишь три шага: m – число 1. Выстраивание всех полученных для m сравнений, нулевых гипотез Hо(i) уровней значимости <0. 05 p(i) в порядке возрастания; 2. Последовательная проверка неравенства 3. Отвержение всех нулевых гипотез Hо(i)…. Hо(k) , где k — первое i, для которого выполняется указанное неравенство. http: //vigg. ru/institute/subdivisions/otdel-geneticheskoi-bezopasnosti/laboratorija-ehkologicheskoi-genetiki/rubanovich-presentations/

Пример: множественные сравнения по 10 тестам Тест pi 1 0, 001 2 0, 0055 3 4 5 6 7 Располагаем тесты в Коррекция по порядке увелечения p Значимые Bonferroni FDR 0, 005 различия после коррекции по FDR 0, 005 0, 010 0, 005 0, 01 Поправка Бонферрони В первой клетке 0, 005 0, 020 0, 015 как у Бонферрони, оставляет значимым лишь во второй клетке 0, 005 первое сравнение 0, 025 0, 02 вдвое больше, втрое больше 0, 005 0, 030 0, 04 и т. д …. 0, 005 0, 035 0, 3 0, 005 0, 040 0, 5 Значимые различия Для 6 -ого теста p больше 0, 005 0, 045 9 этого значения без поправок на 0, 6 множественность 0, 005 0, 050 10 0, 8 8 http: //vigg. ru/institute/subdivisions/otdel-geneticheskoi-bezopasnosti/laboratorija-ehkologicheskoi-genetiki/rubanovich-presentations/

FWER (familywise error rate) – групповая вероятность ошибки первого рода — одна из мер, обобщающих ошибку первого рода, рассматриваемую при проверке статистических гипотез, на многомерный случай задачи множественной проверки гипотез. Величина определена как вероятность совершить хотя бы одну ошибку первого рода. С помощью критерия Стьюдента проверяем истинность m нулевых гипотез, которые можно обозначить как H 1, H 2, H 3, …, Hm. Число принятых гипотез Число верных гипотез Число неверных гипотез Число отвергнутых гипотез Всего U V m 0 T S В ходе выполнения анализа часть правильных Нi ошибочно отвергнута (V ), тогда как остальные U гипотез классифицированы правильно. m−m 0 Аналогично, из альтернативных гипотез, S гипотез безошибочно отвергнуты, а T гипотез - ошибочно приняты. Задача - минимизировать число ложных отклонений V и ложных принятий T. Всего W R m Традиционно пытаются минимизировать величину V. Если V≥ 1 , мы совершаем как m 0 - число верных нулевых гипотез ; минимум одну ошибку первого рода. m−m 0 - число истинных альтернативных гипотез ; Вероятность допущения такой ошибки (FWER) = P(V≥ 1). U - число безошибочно принятых гипотез ; Соответственно, контролирование групповой V - число ошибочно отвергнутых гипотез ; вероятность ошибки на определенном уровне значимости α , подразумевает выполнение T - число ошибочно принятых гипотез ; неравенства FWER≤α. S - число безошибочно отвергнутых гипотез; W - общее число принятых гипотез; R - общее число отвергнутых гипотез http: //www. machinelearning. ru/wiki/index. php? title=FWER#cite_note-hochberg-0 Методы множественной проверки гипотез как раз и позволяют обеспечивать этот контроль.