Измерение количества информации 1 Содержательный вероятностный подход

Измерение количества информации

1. Содержательный (вероятностный) подход 2. Алфавитный (объемный)подход

Суть «Содержательного подхода» 1. Количество информации связывается с содержанием (смыслом) полученного сообщения. 2. Те или иные события имеют некоторую вероятность (произойдет или не произойдет); 3. Событие, которое совершается = 1, а событие, которое не совершается = 0;

4. Неопределенность знания о результате некоторого события – это количество возможных результатов (# бросание монеты); 5. Сообщение об одном их двух равновероятных результатов некоторого события несет 1 бит информации (орел или решка, результат бросания монеты = 1 биту);

Количество информации (i), содержащееся в сообщении об одном из N равновероятных результатов некоторого события, определяется из решения показательного уравнения: i= N 2 # Бросание монеты: N=2, т. к. есть только 2 варианта. Следовательно i = 1, 1 бит информации.

Суть «Алфавитного подхода» Объем информации не связан с ее содержанием. Объем информации – размер текста в том алфавите, с помощью которого эта информация представлена.

1. Определяем мощность алфавита N(количество символов в алфавите); 2. Определяем количество битов информации на 1 символ сообщения (i), т. е. вес 1 символа; 3. Полное количество информации = количество символов в сообщении * вес одного символа I=L*i

Решение задач

Для решения используем алфавитный подход. 1. Определяется мощность используемого алфавита: десятичные цифры (10 различных знаков) и 12 букв с двумя начертаниями (12*2=24 разных знаков). Итого N (мощность алфавита)= 10+24 = 34 знака

2. Находим вес 1 символа: N= 2 i Следовательно вес 1 символа = 6 бит

3. Длина пароля = 11 символам, следовательно информационный вес сообщения: I = L * i, I = 11 * 6 I = 66 битов, вес сообщения из 11 символов

По условию задачи, под хранение каждого пароля отводится определенное количество байтов. Вес пароля = 66 бит Переводим в байты: 66/8 = 8, 25 (округляем = 9 байтов) Для хранения 60 паролей требуется 60*9 =540 байтов.

Задача 3. В коробке лежат 8 черных бусин и 24 белых. Сколько информации несет сообщение о том, что из коробки достали черную бусину?

Домашнее задание