Алфавитный подход к измерению информации Изучаемые вопросы

Алфавитный подход к измерению информации

Изучаемые вопросы 1. 2. 3. 4. 5. Что такое алфавит, мощность алфавита. Что такое информационный вес символа в алфавите. Как измерить информационный объем текста с алфавитной точки зрения. Что такое байт, килобайт, мегабайт, гигабайт. Скорость информационного потока и пропускная способность канала.

Основные понятия Алфавит —это конечное множество символов, используемых для представления информации Мощность алфавита - число символов в алфавите Информационный вес символа – это количество информации, приходящийся на один символ в данном алфавите

Формула Хартли Количество информации несет в тексте каждый символ (i), вычисляется из уравнения Хартли: 2 i = N o N — мощность алфавита. o i -информационный вес символа. o I - количество информации во всем тексте или информационный объем текста. o K – количество символов в тексте I=i*К

i 1 2 3 4 5 6 7 8 9 10 N 21 = 2 22 = 4 23 = 8 24 = 16 25 = 32 26 = 64 27 = 128 28 = 256 29 = 512 210 = 1024

Задача № 1 Докажите, что сообщение любой длины, использующее односимвольный алфавит, содержит нулевую информацию. Решение 2 i = N 1. 2 i =1, где 1 = 2°, то 2 i = 2° Ответ : i = 0 бит. o

Наглядный пример o o Представьте себе толстую книгу в 1000 страниц, на всех страницах которой написаны одни единицы (единственный символ используемого алфавита). Сколько информации в ней содержится? Ответ: нисколько, ноль.

Задача № 2 o o Какова минимальная мощность алфавита, с помощью которого можно записывать (кодировать) информацию? Решение Дано N=2 i-? N=2 i 21=2 i i=1 бит Итак, один символ двоичного алфавита несет 1 бит информации.

Задача № 3 o o o Два текста содержат одинаковое количество символов. Первый текст составлен в алфавите мощностью 32 символа, второй — мощностью 64 символа. Во сколько раз отличается количество информации в этих текстах?

Решение 1. Находим информационный объем сообщения в первом и втором текстах: I 1 = K 1*i 1 I 2 = K 2*i 2 2. Так как число символов в тексте равны, то K 1= K 2= K 3. Получили вид I 1 = K*i 1 I 2 = K*i 2 I 1/I 2=K*i 1/K*i 2=i 1/i 2 4. Находим i 1 и i 2 используя формулу Хартли 2 i=N a) 2 i 1 = 32 2 i 1 = 25 i 1=5 b) 2 i 2 = 64 2 i 2 = 26 i 2=6 Ответ: I 2/I 1 =i 2/i 1=6/5=1, 2(раз)

Задача № 4 o o Объем сообщения, содержащего 1024 символов, составил 1/512 часть Мбайта. Каков размер алфавита, с помощью которого записано сообщение?

Pешение Переведем информационный объем сообщения из мегабайтов в биты. 1. I=1/512· 1024·8 = 16 384 бит. o Находим объем информации, приходящийся на один символ 2. i= I/К = 16384/1024 = 16 бит. o Отсюда мощность использованного алфавита равна 3. N=216 = 65 536 символов. o

Задача № 5 o Какова мощность алфавита, с помощью которого записано сообщение, содержащее 2048 символов, если его объем составляет 1, 25 Кбайта.

Решение 1. Переведём информационный объем сообщения в биты: I = 10 240 бит 2. Определить количество бит, приходящееся на один символ: 10 240 бит : 2 048 = 5 бит 3. По формуле определим количество символов в алфавите: N = 2 I = 25 = 32