Количество информации для равновероятных событий Формула Хартли упрощенная

Количество информации для равновероятных событий. Формула Хартли (упрощенная). Алфавитный подход к измерению информации.

Количество возможных событий и количество информации Существует формула, которая связывает между собой количество возможных событий N и количество информации, содержащейся в сообщении, что имел место один из множества равновероятных результатов некоторого события.

Ральф Винтон Лайон Хартли ( Ralph Vinton Lyon Hartley, 30 ноября 1888 - 1 мая 1970). Американский учёный-электронщик. Внес большой вклад в теорию информации.

Количество информации для равновероятных событий. Формула Хартли (упрощенная) Р. Хартли (1928 г. ) предложил рассмотреть процесс получения информации как выбор одного сообщения из конечного наперёд заданного множества N равновероятных сообщений (число возможных выборов)

Количество информации I, содержащееся в сообщении о том, что произошло одно из N равновероятных сообщений, и число возможных выборов N связаны между собой следующей формулой. N = 2 I Если N = 2 (выбор из двух возможностей), то I = 1 бит.

Рассмотрим некоторые примеры 1. Книга лежит на одной из двух полок - верхней или нижней. Сколько информации содержит сообщение о том, что книга лежит на верхней полке? Решение: N= 2 (равноверояные события), N = 2 I 2=2 I I= 1 бит Ответ: Количество информации = 1 бит 2. В соревновании участвуют 4 команды. Сколько информации содержит сообщение о том, что третья команда набрала большее количество очков? Решение: N= 4 (равноверояные события), N = 2 I 4=2 I I = 2 бит Ответ: Количество информации = 2 бит

Процесс измерения информации можно объяснить на примере известной игры в угадывание. Согласно правилам это игры, один из участников должен отгадать предмет (или одно из его возможных состояний). При этом допускается только два вида ответов: «да» и «нет» . В данном случае ответ на вопрос несет один бит информации, так как из двух возможных исходов выбирается один.

Пример: На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга? Задаем вопросы: - Книга лежит выше четвертой полки? - Нет. - Книга лежит ниже третьей полки? - Да. - Книга — на второй полке? - Нет. -Ну теперь все ясно! Книга лежит на первой полке! Каждый ответ уменьшал неопределенность в два раза. Всего было задано три вопроса. Значит набрано 3 бита информации. И если бы сразу было сказано, что книга лежит на первой полке, то этим сообщением были бы переданы те же 3 бита информации.

Выбор оптимальной стратегии Количество информации, необходимое для угадывания одного их исходов, можно измерить числом вопросов, которые требуется задать при наиболее рациональной (оптимальной) тактике задавания вопросов.

Выбор оптимальной стратегии На получении максимального количества информации строится выбор оптимальной стратегии. При оптимальной стратегии интервал (чисел) всегда делится пополам, тогда количество возможных вариантов (чисел) в каждом из полученных интервалов будет одинаково и отгадывание интервалов равновероятно.

Задачи из ЕГЭ и не только Среди 64 монет есть фальшивая (более легкая). Указать максимальное количество взвешиваний при правильной стратегии, которое потребуется для поиска этой монеты. 1) 5 2) 6 3) 32 4) 64 Какое количество вопросов достаточно задать вашему собеседнику, чтобы наверняка определить месяц, в котором он родился? Предположим в классе находятся 32 ученика, и учитель решил спросить одного из них. Какое минимально возможное количество вопросов нам надо задать учителю, чтобы наверняка определить, кого именно он решил спросить?

Задание Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике? Решение: N= 6 (равновероятных событий) 22 < 6 < 2 3 Ответ: 3 бита

Задание на дом Задание 1. Найти неизвестные x и y, если верны соотношения 16 y Мбайт = 8 х бит , и 2 х Кбайт = 2 y Мбайт. Задание 2. Врач-стоматолог принимает пациентов с 8 утра до 12 часов дня. На каждого пациента отводится по 30 минут. Какое количество информации содержит сообщение о том, что Петя записался на прием в 11. 30?

Задание 3. Из папки DOCUM было удалено 13 файлов, и сообщение об этом содержит 91 бит информации. Сколько файлов осталось в папке? Задание 4. Сколько информации несет сообщение о том, что было угадано число в диапазоне целых чисел от 684 до 811. 1) 6 битов 2) 7 битов 3) 127 битов 4) 128 битов

Задание 5. Метеорологическая станция ведет наблюдение за влажностью воздуха. Результатом одного измерения является целое число от 0 до 100 процентов, которое записывается при помощи минимально возможного количества бит. Станция сделала 80 измерений. Определите информационный объем результатов наблюдений. 1) 80 бит 2) 70 байт 3) 80 байт 4) 560 байт

При равновероятных событиях получаемое количество информации максимально

Алфавитный подход (объемный) к измерению информации Познакомимся со способом измерения информации, который не связывает количество информации с содержанием сообщения. Такой подход называется он алфавитным подходом.

При алфавитном подходе к определению количества информации информационное сообщение рассматривают как последовательность символов определенной знаковой системы.

Алфавит и его мощность Алфавит — упорядоченный набор символов знаковой системы, используемый для кодирования сообщений. Мощность алфавита — количество символов в данном алфавите.

Символы знаковой системы (алфавита) можно рассматривать как различные возможные события. Тогда, если считать, что появление символов в сообщении равновероятно, по формуле Хартли можно рассчитать, какое количество информации несет каждый символ.

Информационная емкость символа Так, в русском алфавите, если не использовать букву ё, количество событий (букв) будет равно 32. Тогда по формуле Хартли N= 2 I : 32 = 2 i, откуда i = 5 битов. Каждый символ несет 5 битов информации (т. е. его информационная емкость равна 5 битов) и все русские буквы можно закодировать пятиразрядными двоичными кодами от 00000 до 11111. Количество информации, которое несет каждый символ (его информационная емкость) i (бит) алфавита мощностью N символов выводится из формулы N = 2 I

Количество информации в тексте (информационный объем текста) Количество информации текста (Iтекста), содержащего (K) символов равно Iтекста = K. i где i - количество информации, которое несет один символ (бит).

Задание 1: Определите информационный объем одной страницы книги, если для записи текста использовались только заглавные буквы русского алфавита, кроме буквы Ё. Страница содержит 50 строк, в каждой строке – 60 символов. Решение: 1. 2. 3. 4. 2 I = N 2 I = 32 N = 32 – количество букв в алфавите I = 5 бит – информационная емкость 1 символа

А теперь для того, чтобы найти количество информации во всем тексте, нужно посчитать число символов в нем и умножить на I. Посчитаем количество информации на одной странице книги. Страница содержит 50 строк. В каждой строке — 60 символов. Значит, на странице умещается 50 x 60=3000 знаков. Тогда объем информации будет равен: 5 х 3000 = 15000 бит. Ответ: количество информации во всем тексте 15000 бит

При алфавитном подходе к измерению информации количество информации зависит не от содержания, а от размера текста и мощности алфавита.

Задачи из ГИА и ЕГЭ Задание 1. В детской магнитной азбуке 32 буквы. Какое количество информации содержит слово «муравей» .

Задание 2. В некотором алфавите записан текст из 300 символов, количество информации в тексте – 150 байт. Найти мощность алфавита.

Задание 3 Два текста содержат одинаковое количество символов. Первый текст записан на русском языке, а второй на языке племени нагури, алфавит которого состоит из 16 символов. Чей текст несет большее количество информации и во сколько раз?

Задание 4. Книга состоит из 64 страниц. На каждой странице 256 символов. Какой объем информации содержится в книге, если используемый алфавит состоит из 32 символов? 1) 2) 3) 4) 81 920 байт 40 Кбайт 16 Кбайт 10 Кбайт

Задание 5. В некоторой кодировке слово из 15 букв занимает информационный объем на 39 байт больше, чем слово из двух букв. Каким количеством бит кодируется одна букв, если учесть, что под все символы этой кодировки выделяется равный объем памяти? 1) 24 бита 2) 13 бит 3) 3 бита 4) 12 бит

Задание 6. Если вариант текста в среднем имеет объем 20 килобайт, на каждой странице текста 40 строк по 64 символа в каждой, 1 символ имеет объем 8 битов, то количество страниц в тексте равно: 1) 16 2) 10 3) 8 4) 4

Задание 7. Для учета каждому школьнику присваивается двоичный код. Достаточно ли 9 бит для кодирования всех учеников, если в школе учится 1000 человек? Вычислите разность между максимально возможным количеством двоичных кодов из 9 бит и числом школьников. 1) -24 2) 512 3) -488 4) 488

Домашнее задание Задание 1 Сколько информации содержит сообщение о том, что на поле 4 х4 клетки одна из клеток закрашена? Задание 2 В книге 512 страниц. Сколько информации несет сообщение о том, что закладка лежит на какойлибо странице? Задание 3 Вычислить какой объем памяти компьютера потребуется для хранения одной страницы текста на английском языке, содержащей 2400 символов.

Задание 4. В течение 5 секунд было передано сообщение, объем которого составил 375 байт. Каков размер алфавита, с помощью которого записано сообщение, если скорость передачи составила 200 символов в секунду? Задание 5. Сколько следует задать вопросов и как их следует формулировать, чтобы оценить сообщение о том, что вагон стоит на одном из 16 путей? Задание 6. Шарик находится в одном из 64 ящичков. Сколько единиц информации будет содержать сообщение о том, где находится шарик?

Задание 7. В некоторой стране автомобильный номер состоит из 7 символов. В качестве символов используют 18 различных букв и десятичные цифры в любом порядке. Каждый такой номер записывается минимальным возможным количеством байтов, при этом используют посимвольное кодирование и все символы кодируются одинаковым минимально возможным количеством бит. Определите объем памяти, отводимый этой программой для записи 60 номеров. 1) 240 байт 2) 300 байт 3) 360 байт 4) 420 байт