Теория вероятностей и математическая статистика Тема 5 Закон

Теория вероятностей и математическая статистика Тема 5. Закон больших чисел и предельные теоремы

Лекция 9 Закон больших чисел и предельные теоремы • Неравенство Чебышева • Теорема Бернулли • Лемма Маркова • Центральная предельная теорема Ляпунова Тема 5. Закон больших чисел и предельные теоремы

Литература [1] C. 89 -97 [2] C. 233 - 244 [ 3] C. 101 -110, 135 -137 1. Фигурин, В. А. and В. В. Оболонкин, Теория вероятностей и математическая статистика. 2000, Минск: ООО "Новое знание". 207. 2. Гусак, А. А. and Е. А. Бричикова, Теория вероятностей. Справочное пособие к решению задач. 2009, Минск: Тетра. Системс. 288. 3. Гмурман, В. Е. , Теория вероятностей и математическая статистика. 2003, Москва: Высшая школа. Тема 4. Системы случайных величин

Закон больших чисел Под законом больших чисел не следует понимать какой-то один общий закон, связанный с большими числами. Закон больших чисел - это обобщенное название нескольких теорем, из которых следует, что при неограниченном увеличении числа испытаний средние величины стремятся к некоторым постоянным. Теорема Чебышева; Теоремак Бернулли. Тема 5. Закон больших чисел и предельные теоремы

Неравенство Чебышева Вероятность того, что отклонение случайной величины X от ее математического ожидания по абсолютной величине меньше положительного числа ε, не меньше, чем 1 -D(X)/ ε 2. P(|X-M(X)|< ε)≥ 1 -D(X)/ ε 2 P(|X-M(X)|< ε), если ε – достаточно малое, - вероятность того, что величина X примет значения, близкие к ее математическому ожиданию. Тема 5. Закон больших чисел и предельные теоремы

Неравенство Чебышева действительно как для дискретных, так и для непрерывных величин. Рассмотрим док-во для дискретных величин. X x 1 x 2 x 3. . P p 1 p 2 p 3. . P(|X-M(X)|< ε) и P(|X-M(X)| ≥ ε) – противоположные события. P(|X-M(X)|< ε) + P(|X-M(X)| ≥ ε)=1 P(|X-M(X)|< ε) =1 -P(|X-M(X)| ≥ ε) Вычислим P(|X-M(X)| ≥ ε) Тема 5. Закон больших чисел и предельные теоремы

Неравенство Чебышева действительно как для дискретных, так и для непрерывных величин. Рассмотрим док-во для дискретных величин. X x 1 x 2 x 3. . P p 1 p 2 p 3. . P(|X-M(X)|< ε) и P(|X-M(X)| ≥ ε) – противоположные события. P(|X-M(X)|< ε) + P(|X-M(X)| ≥ ε)=1 P(|X-M(X)|< ε) =1 -P(|X-M(X)| ≥ ε) Вычислим P(|X-M(X)| ≥ ε) Тема 5. Закон больших чисел и предельные теоремы

Неравенство Чебышева Найдем дисперсию D(X)= [x 1 -M(X)]2 p 1+[x 2 -M(X)]2 p 2+. . . +[xn-M(X)]2 pn. Все слгаемые этой суммы неотрицательны. Отбросим те слагаемые, у которых |xi-M(X)|<ε. Для оставшихся |xj-M(X)| ≥ε. следствие этого сумма только уменьшиться. Будем считать, что отброшено k первых слагаемых. Пусть так будет составлена таблица. Следовательно, D(X) ≥ [xk+1 -M(X)]2 pk+1+[xk+2 -M(X)]2 pk+2+. . . +[xn-M(X)]2 pn. |xj-M(X)| ≥ε. Или |xj-M(X)|2 ≥ε 2. j=k+1, . . . n. Заменяем на ε 2 соответствующие члены. Неравенство может только усилится. D(X) ≥ ε 2(pk+1+pk+2+. . . +pn) Тема 5. Закон больших чисел и предельные теоремы

Неравенство Чебышева D(X) ≥ ε 2(pk+1+pk+2+. . . +pn) По теореме сложения pk+1+pk+2+. . . +pn –вероятность того, что величина X примет одно из значений (безразлично какое) xk+1, xk+2_. . . , xn. А при любом из них |xj-M(X)| ≥ε. Следовательно сумма pk+1+pk+2+. . . +pn выражает вероятность P(|xj-M(X)| ≥ε). Cледовательно D(X) ≥ ε 2(pk+1+pk+2+. . . +pn) можно переписать как D(X) ≥ ε 2 P(|xj-M(X)| ≥ε)≤ D(X)/ ε 2 Учитывая, что P(|X-M(X)|< ε) =1 -P(|X-M(X)| ≥ ε), окончательно имеем P(|X-M(X)|< ε) ≥ 1 - D(X)/ ε 2 Чтд. Иногда говорят о первом и втором неравенствах Чебышева. P(|X-M(X)|> ε)

Теорема Чебышева Если случайные величины X 1, X 2, . . . , Xn независимы, имеют математические ожидания M (Xn ) и дисперсии D (Xn ), ограниченные одним числом C, то для любого числа ε>0 выполняется неравенство: Отсюда следует, Таким образом, теорема Чебышева утверждает, что если рассматривается достаточно большое число независимых случайных величин, имеющих ограниченные дисперсии, то почти достоверным можно считать событие, состоящее в том, что отклонение среднего арифметического случайных величин от среднего арифметического их математических ожиданий будет по абсолютной величине сколь угодно малым. Тема 5. Закон больших чисел и предельные теоремы

. Теорема Чебышева. Доказательство Введем среднее арифметическое случайных величин Найдем математическое ожидание среднего арифметического Неравенство Чебышева, примененное к величине Тема 5. Закон больших чисел и предельные теоремы

. Теорема Чебышева. Доказательство По условию, все дисперсии ограничены С. Переходим к пределу Учитывая, что вероятность не может быть больше 1 Частный случай – математические ожидания равны a. Чтд. Теорема Чебышева справедлива как для дискретных, так и для непрерывных случайных величин. Тема 5. Закон больших чисел и предельные теоремы

. Сущность теоремы Чебышева Итак, среднее арифметическое достаточно большого числа независимых случайных величин (дисперсии которых равномерно ограничены) утрачивает характер случайной величины. Объясняется это тем, что отклонения каждой из величин от своих математических ожиданий могут быть как положительными, так и отрицательными, а в среднем арифметическом они взаимно погашаются. Сущность теоремы такова: хотя отдельные независимые случайные величины могут принимать значения, далекие от своих математических ожиданий, среднее арифметическое достаточно большого числа случайных величин с большой вероятностью принимает значения, близкие к определенному постоянному числу, а именно к числу (М (Х 1) + М (Х 2) +. . . +M (Хn))/n (или к числу а (математическое ожидание) в частном случае). Тема 5. Закон больших чисел и предельные теоремы

. Практическое значение теоремы Чебышева Обычно для измерения некоторой физической величины производят несколько измерений и их среднее арифметическое принимают в качестве искомого размера. При каких условиях этот способ измерения можно считать правильным? Рассмотрим результаты каждого измерения как случайные величины К этим величинам можно применить теорему Чебышева, если: 1) они попарно независимы, 2) имеют одно и то же математическое ожидание, 3) дисперсии их равномерно ограничены. Тогда при достаточно большом числе измерений почти достоверно, что их среднее арифметическое как угодно мало отличается от истинного значения измеряемой величины. Итак, теорема Чебышева указывает условия, при которых описанный способ измерения может быть применен. Однако ошибочно думать, что, увеличивая число измерений, можно достичь сколь угодно большой точности. Дело в том, что сам прибор дает показания лишь c определенной точностью. На теореме Чебышева основан широко применяемый в статистике выборочный метод, суть которого состоит в том, что по сравнительно небольшой случайной выборке судят обо всей совокупности (генеральной совокупности) исследуемых объектов. Тема 5. Закон больших чисел и предельные теоремы

. Теорема Бернулли Если в каждом из п независимых испытаний вероятность р появления события А постоянна, то как угодно близка к единице вероятность того, что отклонение относительной частоты от вероятности р по абсолютной величине будет сколь угодно малым, если число испытаний достаточно велико. Тема 5. Закон больших чисел и предельные теоремы

. Теорема Бернулли. Доказательство Х 1 – дискретная случайная величина — число появлений события в первом испытании, через Х 2 — во втором, . . . , Хn—в n испытании. Ясно, что каждая из величин может принять лишь два значения: 1 (событие А наступило) c вероятностью р и 0 (событие не появилось) с вероятностью 1— p = q. Применим теорему Чебышева (частный случай), учитывая, что математическое ожидание равно p. Т. е. эта сумма рава относительной частоте событий, так каждая из величин Xi принимает значение 1, если событие А осуществилось и 0, если не осуществилось. Значит сумма X 1+. . . Xn=m – число появления события А в n испытаниях. Тема 5. Закон больших чисел и предельные теоремы

. Теорема Бернулли. Доказательство Х 1 – дискретная случайная величина — число появлений события в первом испытании, через Х 2 — во втором, . . . , Хn—в n испытании. Ясно, что каждая из величин может принять лишь два значения: 1 (событие А наступило) c вероятностью р и 0 (событие не появилось) с вероятностью 1— p = q. Применим теорему Чебышева (частный случай), учитывая, что математическое ожидание равно p. Т. е. эта сумма рава относительной частоте событий, так каждая из величин Xi принимает значение 1, если событие А осуществилось и 0, если не осуществилось. Значит сумма X 1+. . . Xn=m – число появления события А в n испытаниях. Тема 5. Закон больших чисел и предельные теоремы

. Лемма Маркова Если случайная величина X принимает только положительные значения, то вероятность того, что она не превзойдет некоторой величины δ, больше, чем (1 -M(X)/ δ) P(X≤ δ)≥ (1 -M(X)/δ) Иногда лемму Маркова записывают в виде P(X> δ)< M(X)/δ Неравенства называют также неравенствами Маркова. Тема 5. Закон больших чисел и предельные теоремы

. Центральная предельная теорема Ляпунова Центральная предельная теорема Если случайная величина X представляет собой сумму очень большого числа взаимно независимых случайных величин, влияние каждой из которых на всю сумму ничтожно мало, то X имеет распределение, близкое к нормальному. Доказательство. Законы распределения px(x) n независимых случайных величин Xi одинаковы и неизвестны. Найти закон распределения суммы py(y), где Y= X 1+ X 2+. . . + Xn. n стремится к бесконечности. Математическое ожидание и дисперсия каждого из распределений a и σ2 . Математическое ожидание и дисперсия суммы my=na и σy 2=nσ2. Ищем закон распределения нормированной величины. Z= (Y- my)/ σy= (Y- na)/ (n)-1/2σ. Тема 5. Закон больших чисел и предельные теоремы

. Центральная предельная теорема Ляпунова Характеристическая функции каждой величины Характеристическая функция суммы независимых величин равна произведению их функций. Разлагаем ехр в рад Маклорена и берем математическое ожидание от каждого слагаемого Если вместо X рассматриваем нормированную Z, то вместо начальных моментов нужно рассматривать центральные моменты и вместо ω – величину ω/(σn 1/2), тогда для логарифмической характеристической функции получим Тема 5. Закон больших чисел и предельные теоремы

. Центральная предельная теорема Ляпунова μ 1=0, μ 2=σ2 При увеличении n роль последних слагаемых уменьшается. Сохраним первые два члена и воспользуемся приближенной формулой. ln(1 -x)≈-x Известно, что для нормального распределения Характеристическая функция имеет вид. Следовательно закон распределения величины Z Возвращаясь к величине Y Cледовательно распределение вероятностей суммы случайных величин, имеющих одинаковые законы распределения, стремиться к нормальному при любом виде закона распределения слагаемых. Тема 5. Закон больших чисел и предельные теоремы