Теория вероятностей и математическая статистика Лекция 13

Теория вероятностей и математическая статистика Лекция № 13 1

Проверка статистических гипотез 2

Задачи статистической проверки гипотез Одна из часто встречающихся на практике задач, связанных с применением статистических методов, состоит в решении вопро са о том, должно ли на основании данной выборки быть принято или, напро тив, отвергнуто некоторое предположение (гипотеза) относительно ге неральной совокупности (случайной величины). Например, новое лекарство испытано на определенном числе людей. Можно ли сделать по данным результатам лечения обо снованный вывод о том, что новое лекарство более эффективно, чем применявшиеся ранее методы лечения? Аналогичный воп рос логично задать, говоря о новом правиле поступления в вуз, о новом методе обучения, о пользе быстрой ходьбы, о преимуще ствах новой модели автомобиля или технологического процесса и т. д. Процедура сопоставления высказанного предположения (гипотезы) с выборочными данными называется проверкой гипотез. 3

Задачи статистической проверки гипотез ставятся в следу ющем виде: относительно некоторой генеральной совокупности высказывается та или иная гипотеза Н. Из этой генеральной совокупности извлекается выборка. Требуется указать правило, при помощи которого можно было бы по выборке решить вопрос о том, следует ли отклонить гипотезу Н или принять ее. Следует отметить, что статистическими методами гипотезу можно только опровергнуть или не опровергнуть, но не доказать. Например, для проверки утверждения (гипотеза Н) автора, что «в рукописи нет ошибок» , рецензент прочел (изучил) несколько страниц рукописи. Если он обнаружил хотя бы одну ошибку, то гипотеза Н отвер гается, в противном случае — не отвергается, говорят, что «результат проверки с гипотезой согласуется» . Выдвинутая гипотеза может быть правильной или неправильной, поэтому возникает необходимость ее проверки. 4

Статистическая гипотеза. Статистический критерий Под статистической гипотезой (или просто гипотезой) понимают всякое высказывание (предположение) о генеральной совокупности, проверяемое по выборке. Статистические гипотезы делятся на гипотезы о параметрах распределения известного вида (это так называемые параметрические гипотезы) и гипотезы о виде неизвест ного распределения (нeпараметрические гипотезы). Одну из гипотез выделяют в качестве основной (или нулевой) и обозначают H 0, а другую, являющуюся логическим отрицанием H 0, т. е. противоположную H 0 — в качестве конкурирующей (или альтернативной) гипотезы и обозначают Н 1. 5

Статистическая гипотеза. Статистический критерий Гипотезу, однозначно фиксирующую распределение наблюдений, называют простой (в ней идет речь об одном значении параметра), в противном случае — сложной. Например, гипотеза H 0, состоящая в том что математическое ожидание СВ X равно а 0, т. е. MX = а 0, является простой. В качестве альтернативной гипотезы можно рассматривать одну из следующих гипотез: H 1: MX > а 0 (сложная гипотеза), H 1: MX < а 0 (сложная), H 1: MX а 0 (сложная) или H 1: MX = а 1 (простая гипотеза). Имея две гипотезы H 0 и Н 1, надо на основе выборки X 1, . . . , Хn принять либо основную гипотезу H 0, либо конкурирующую Н 1. Правило, по которому принимается решение принять или откло нить гипотезу Q (соответственно, отклонить или H принять Hi), назы ваетсястатистическим критерием (или 6 просто критерием) проверки гипотезы Щ.

Статистическая гипотеза. Статистический критерий Проверку гипотез осуществляют на основании результатов выборки X 1, Х 2, . . . , Хn, из которых формируют функцию выборки Тn = Т(Х 1, X 2, . . . , Xn)) называемой статистикой критерия. Основной принцип проверки гипотез состоит в следующем. Множество возможных значений статистики критерия Тn разбивается на два непересекающихся подмножества: критическую область S, т. е. область отклонения гипотезы H 0 и область S принятия этой гипотезы. Если фактически наблюдаемое значение статистики критерия (т. е. значение критерия, вычисленное по выборке: Тнабл = Т(Х 1, Х 2, . . . , Хn)) попадает в критическую область S, то основная гипотеза H 0 отклоняется и принимается альтернативная гипотеза H 1; если же Тнабл попадает в S, то принимается Н 0, а H 1 отклоняется. 7

Статистическая гипотеза. Статистический критерий При проверке гипотезы может быть принято неправильное решение, т. е. могут быть допущены ошибки двух родов: Ошибка первого рода состоит в том, что отвергается нулевая гипотеза H 0, когда на самом деле она верна. Ошибка второго рода состоит в том, что отвергается альтер нативная гипотеза H 1, когда она на самом деле верна. Рассматриваемые случаи наглядно иллюстрирует следующая таблица. Гипотеза Н 0 верна неверна Отвергается ошибка 1 -го рода правильное решение Принимается правильное решение ошибка 2 -го рода Вероятность ошибки 1 го рода (обозначается через ) называется уровнем значимости критерия. 8

Статистическая гипотеза. Статистический критерий Вероятность ошибки 1 го рода (обозначается через ) называется уровнем значимости критерия. Очевидно, = P(H 1|H 0). Чем меньше , тем меньше вероятность отклонить верную гипотезу. Допустимую ошибку 1 го рода обычно задают заранее. В одних случаях считается возможным пренебречь событиями, вероятность которых меньше 0, 05 ( = 0, 05 означает, что в среднем в 5 случаях из 100 испытаний верная гипотеза будет отвергнута), в других случаях, когда речь идет, например, о разрушении сооружений, гибели судна и т. п. , нельзя пренебречь обстоятельствами, которые могут появиться с вероятностью, равной 0, 001. Обычно для а используются стандартные значения: = 0, 05; = 0, 01; 0, 005; 0, 001. 9

Статистическая гипотеза. Статистический критерий Вероятность ошибки 2 го рода обозначается через , т. е. = P(H 0|H 1). Величину 1 — , т. е. вероятность недопущения ошибки 2 го рода (отвергнуть неверную гипотезу H 0, принять верную H 1), называется мощностью критерия. Очевидно, 1 — = P(H 1|H 1) = P((x 1, x 2, . . . , хn) S | H 1). Чем больше мощность критерия, тем вероятность ошибки 2 го рода меньше, что, конечно, желательно (как и уменьшение ). 10

Статистическая гипотеза. Статистический критерий Последствия ошибок 1 го, 2 го рода могут быть совершенно различными: в одних случаях надо минимизировать , в другом — . Так, применительно к радиолокации говорят, что — вероятность пропуска сигнала, — вероятность ложной тревоги; применительно к производству, к торговле можно сказать, что — риск поставщика (т. е. забраковка по выборке всей партии изделий, удовлетворяющих стандарту), — риск потребителя (т. е. прием по выборке всей партии изделий, не удовлетворяющей стандарту); применительно к судебной системе, ошибка 1 го рода приводит к оправданию виновного, ошибка 2 го рода — осуждению невиновного. Отметим, что одновременное уменьшение ошибок 1 -го и 2 -го рода возможно лишь при увеличении объема выборок. Поэтому обычно при заданном уровне значимости а отыскивается критерий с наибольшей мощностью. 11

Статистическая гипотеза. Статистический критерий Методика проверки гипотез сводится к следующему: 1. Располагая выборкой Х 1, Х 2, …, Хn, формируют нулевую гипотезу Н 0 и альтернативную Н 1. 2. В каждом конкретном случае подбирают статистику критерия Тn = Т(Х 1, X 2, . . . , Хn), обычно из перечисленных ниже: • U — нормальное распределение, • 2 — распределение хи квадрат (Пирсона), • t — распределение Стьюдента, • F — распределение Фишера Снедекора. 3. По статистике критерия Тn и уровню значимости опре деляют критическую область S (и ). Для ее отыскания достаточно найти критическую точку t. Kp, т. е. границу (или квантиль), отделяющую область S от . 12

Статистическая гипотеза. Статистический критерий Границы областей определяются, соответственно, из соотно шений: Р(Тn > tкр) = , для правосторонней критической области S (рис. 63); Р(Тn < t. Kр) = , для левосторонней критической области S (рис. 64); Р(Тn < ) = Р{Тп > ) = для двусторонней критической области S (рис. 65). Рис. 63 13

Статистическая гипотеза. Статистический критерий Рис. 64 Для каждого критерия имеются соответствующие таблицы, по которым и находят критическую точку, удовлетворяющую приведенным выше соотношениям. 4. Для полученной реализации выборки х = (x 1, x 2, . . . , хn) подсчитывают значение критерия, т. е. Тнабл = Т(х1, x 2, . . . , xn) = t. 14

Статистическая гипотеза. Статистический критерий 5. Если t S (например, t > t. Kp для правосторонней области S), то нулевую гипотезу H 0 отвергают; если же t (t < tкр), то нет оснований, чтобы отвергнуть гипотезу H 0. Рис. 63 15

Проверка гипотез о законе распределения Во многих случаях закон распределения изучаемой случайно вели чины неизвестен, но есть основания предположить, что он имеет вполне определенный вид: нормальный, биномиальный или какой либо дру гой. Пусть необходимо проверить гипотезу HQ О том, что с. в. X под чиняется определенному закону распределения, заданному функцией распределения FQ(X), т. е. HQ: FX{X) — FQ(Х). Под альтернативной гипо тезой i будем понимать в H данном случае то, что просто не выполнена основная (т. е. Н: Fx{%) ф FQ(X)). Для проверки гипотезы о распределении случайной величины X проведем выборку, которую оформим в виде статистического ряда: где ^ щ = п — объем выборки. 16 г=1