Количество информации и вероятность Пример 1 В коробке

Количество информации и вероятность. Пример 1. В коробке имеется 50 шаров. Из них 40 белых и 10 черных. Какова вероятность того, что при вытаскивании «не глядя» попадется белый шар, черный шар? Решение. Пусть рч-вероятность попадания при вытаскивании черного шара, Рб-вероятность попадания белого шара. Тогда Рч=10/50=0, 2 рб=40/50=0, 8 Вероятность попадания белого шара в 4 раза больше, чем черного.

Формула для вычислений количества информации в случае различных вероятностей событий предложил К. Шеннон в 1948 году. I-количество информации N-количество возможных событий Рi-вероятность i-го события.

Этот подход к определению количества информации называется вероятностным. • Если события равновероятны, то количество информации, которое мы получаем, достигает максимального значения и формула имеет вид I=log 2 N

Количественная зависимость между вероятностью события (р) и количеством информации в сообщении о нем (i) выражается формулой: i=log 2(1/p)

Пример. Определим количество информации в сообщении о попадании белого шара и черного: • iб=log 2(1/0, 8)=log 2(1, 25)=0, 32192 • iч=log 2(1/0, 2)=log 25=2, 321928

Пример. В алфавите племени МУМУ всего 4 буквы(А, У, М, К), один знак препинания(точка) и для разделения слов используют пробел. Подсчитали, что в популярном романе «Мумука» содержится всего 10000 знаков, из них: букв А-4000, букв У-1000, букв М-2000, букв К-1500, точек-500, пробелов 1000. Какой объем информации содержит книга?

Решение. • Подсчитаем частоту встречаемости каждого символа во всем тексте книги(т. е. Вероятность) и информационные веса символом: Буква А: p. A= 4000/10000=0, 4; i. A=log 2(1/0, 4)=1, 321928 и т. д. Общий объем информации в книге вычислим как сумму произведений информационного веса каждого символа на число повторений этого символа в книге: I=i. A*n. A+…=

Задачи. № 1. В корзине лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар? № 2. В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый шар, несет 4 бита информации. Сколько белых карандашей было в корзине? № 3. В классе 30 человек. За контрольную по математике получено 6 пятерок, 15 четверок, 8 троек и 1 двойка. Какое количество информации в сообщении о том, что Иванов получил четверку?

№ 4. За четверть ученик получил 100 оценок. Сообщение о том, что он получил четверку, несет 2 бита информации. Сколько четверок ученик получил за четверть? № 5. Для ремонта школы использовали белую, синюю и коричневую краски. Израсходовали одинаковое количество банок белой и синей краски. Сообщение о том, что закончилась банка белой краски, несет 2 бита информации. Синей краски израсходовали 8 банок. Сколько банок коричневой краски было израсходовали на ремонт школы?

№ 6. Определите количество информации в слове «ИНФОРМАТИКА» , если известен словарь вероятностей(частот) появления букв в произвольном тексте.

№ 7. На остановке останавливаются автобусы с разными номерами. Сообщение о том, что к остановке подошел автобус с номером 1 несет 4 бит информации. Вероятность появления на остановке автобуса с номером 2 в 2 раза меньше, чем вероятность появления автобуса с номером 1. Сколько информации несет сообщение о появлении на остановке автобуса с номером 2?

Домашнее задание. № 1. Возьмите произвольный текст на английском языке(3 -4 страницы) и составьте частотный словарь английского языка. Определите, какое количество информации несет каждая буква этого словаря. № 2. Используя результат предыдущей задачи, определите количество информации с слове «INFORMATION» .

Самостоятельная работа. Вариант 1. В корзине лежат 32 клубка шерсти. Среди них-4 красных. Сколько информации несет сообщение о том, что достали клубок красной шерсти? Вариант 2. В ящике лежат перчатки (белые и черные). Среди них- 2 пары черных. Сообщение о том, что из ящика достали пару черных перчаток, несет 4 бита информации. Сколько всего пар перчаток было в ящике?

Вариант 3. Вариант 4. Известно, что в ящике В корзине лежат 20 шаров. Из белые и черные них10 -черных, 5 белых, шары. Среди них 18 4 -желтых и 1 красный. черных шаров. Какое количество Сообщение о том, информации несут что из корзины сообщения о том, что достали белый шар, из ящика случайным несет 2 бита образом достали информации. черный шар, белый Сколько всего в шар, желтый шар, корзине шаров? красный шар?

Определите количество информации в фразе «ПОВТОРЕНИЕ-МАТЬ УЧЕНИЯ»

Ответы. Вариант 1. 3 бит Вариант 2. 32 пары Вариант 3. 1 бит, 2, 32 бит, 4, 32 бит Вариант 4. 24 шара.