Измерение информации Измерение информации 1. Содержательный подход

Измерение информации

Измерение информации 1. Содержательный подход Количество информации, заключенное в сообщении, определяется объемом знаний, который несет это сообщение получающему его человеку. Сообщение содержит информацию для человека, если заключенные в нем сведения являются для этого человека новыми и понятными и, следовательно, пополняют его знания. При содержательном подходе измеряется количество информации в сообщении о результате некоторого события.

Единица измерения количества информации называется бит. Сообщение, уменьшающее неопределенность знаний человека в два раза, несет для него 1 бит информации. Неопределенность знания о результате некоторого события (бросание монеты или игрального кубика, вытаскивание жребия и др. ) – это количество возможных результатов.

Измерение информации. Связь равновероятностных событий с количеством информации Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий (равновероятность обозначает, что ни одно событие не имеет преимуществ перед другими). Тогда количество информации, заключенное в этом сообщении, - i бит и число N связаны формулой: 2 i = N Если N равно целой степени двойки (2, 4, 8, 16 и т. д. ), то такое уравнение можно решить "в уме"

Примеры задач Пример 1 При бросании монеты сообщение о результате жребия (например, выпал орел) несет 1 бит информации, поскольку количество возможных вариантов результата равно 2 (орел или решка). Оба эти варианта равновероятны. Ответ может быть получен из решения уравнения: 2 i = 2, откуда, очевидно, следует: i = 1 бит. Вывод: в любом случае сообщение об одном событии из двух равновероятных несет 1 бит информации.

Примеры задач Пример 2 В барабане для розыгрыша лотереи находится 32 шара. Сколько информации содержит сообщение о первом выпавшем номере (например, выпал номер 15)? Решение: Поскольку вытаскивание любого из 32 шаров равновероятно, то количество информации об одном выпавшем номере находится из уравнения: 2 i = 32 Но 32 = 25. Следовательно, i = 5 бит. Очевидно, ответ не зависит от того, какой именно выпал номер.

Задачи 1. Двое играют в «крестики-нолики» на поле 4 на 4 клетки. Какое количество информации получил второй игрок, узнав ход первого игрока? 2. Сколько бит информации несет сообщение о том, что тетраэдр, у которого все грани окрашены в разные цвета, после подбрасывания упал на синюю грань? 3. В корзине лежат 8 шаров. Все шары разного цвета. Сколько информации несет сообщение о том, что из корзины выкатился синий шар?

Задачи 4. Сколько бит информации несет в себе известие о том, что монета упала гербом вверх? 5. Какое количество информации содержит сообщение, уменьшающее неопределенность знаний в 8 раз? 6. В классе 32 ученика. На уроке физкультуры они построились в 8 шеренг по 4 человека в каждой. Какое количество информации несёт сообщение о том, что Петров Вова находится в пятой шеренге?

Задачи 8. Сообщение о том, что один из нескольких различных ключей подходит к замку, несёт 6 бит информации. Определите количество ключей. 9. Сколько бит информации несёт сообщение, уменьшающее неопределённость знаний в 32 раза? 10. Сколько бит информации несёт сообщение о том, что игральный кубик после подбрасывания упал на грань с цифрой 1?

Количество информации и вероятность p = K/N, где р – вероятность интересующего нас события, К – число интересующих нас событий, N – общее число возможных вариантов.

i = log 2(1/р), т. е. 1/р = 2 i где, i – количество информации, р – вероятность события

Задачи 1. В корзине лежат 32 клубка шерсти, из них 4 красных. Сколько бит информации несет сообщение о том, что достали клубок красной шерсти? 1) 2 2) 3 3) 4 4) 32 2. В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в коробке? 1) 4 2) 8 3) 16 4) 32

Задачи 3. В корзине лежат 8 черных шаров и 24 белых. Сколько бит информации несет сообщение о том, что достали черный шар? 1) 2 бита 2) 4 бита 3) 8 бит 4) 24 бита 4. В корзине лежат черные и белые шары. Среди них 18 черных шаров. Сообщение о том, что достали белый шар, несет 2 бита информации. Сколько всего шаров в корзине? 1) 18 2) 24 3) 36 4) 48

Задачи 5. В ящике находится 32 теннисных мяча, среди которых Х жёлтого цвета. Наудачу вынимается один мяч. Сообщение "извлечен мяч не жёлтого цвета" несёт 4 бита информации. Х равно 1) 32 2) 30 3) 16 4) 8 6. В школе 32 компьютера размещены в двух кабинетах А и В. Сообщение "сломался компьютер из кабинета А" несёт 3 бита информации. В кабинете В находится компьютеров 1) 8 2) 4 3) 28 4) 32

Домашнее задание 7. Сколько бит информации несёт сообщение о том, что из колоды карт, содержащей 32 карты, достали даму треф? 8. В альбоме с марками 64 страницы. На каждой странице марки разложены в восемь рядов. Какое количество информации несёт сообщение о том, что нужная марка находится в третьем ряду? 9. В зоопарке 32 обезьяны живут в двух вольерах, А и Б. Одна из обезьян – альбинос (вся белая). Сообщение «Обезьяна-альбинос живет в вольере А» содержит 4 бита информации. Сколько обезьян живут в вольере Б? 1) 4 2) 16 3) 28 4) 30

Задачи 1. Выяснить, сколько бит информации несет каждое двузначное четное число (отвлекаясь от его конкретного числового значения). 2. За четверть Василий Пупкин получил 20 оценок. Сообщение о том, что он вчера получил четверку, несет 2 бита информации. Сколько четверок получил Василий за четверть? 3. В закрытом ящике находится 32 карандаша, некоторые из них синего цвета. Наугад вынимается один карандаш. Сообщение «этот карандаш – НЕ синий» несёт 4 бита информации. Сколько синих карандашей в ящике?

Измерение информации 2. Алфавитный подход к измерению информации позволяет определить количество информации, заключенной в тексте. Он является объективным, т. е. он не зависит от субъекта (человека), воспринимающего текст. Множество символов, используемых при записи текста, называется алфавитом. Полное количество символов в алфавите называется мощностью (размером) алфавита.

Если допустить, что все символы алфавита встречаются в тексте с одинаковой частотой (равновероятно), то количество информации, которое несет каждый символ, вычисляется по формуле: i = log 2 N, т. е. 2 i = N где N – мощность алфавита; i – количество информации одного символа.

Если весь текст состоит из К символов, то при алфавитном подходе размер содержащейся в нем информации равен: I=К∙i где: i – информационный вес одного символа в используемом алфавите; К – количество символов в тексте; I – объем информации.

Алфавит из 256 символов используется для представления текстов в компьютере. Один символ из алфавита мощностью 256 несет в тексте 8 бит информации. Такое количество информации называется байт.

Для измерения информации используются и более крупные единицы: 1 Кбайт (килобайт) = 210 байт = 1024 байта 1 Мбайт (мегабайт) = 220 байт = 1024 Кбайта 1 Гбайт (гигабайт) = 230 байт = 1024 Мбайта

Примеры задач Пример 1 Книга, набранная с помощью компьютера, содержит 150 страниц; на каждой странице - 40 строк, в каждой строке - 60 символов. Каков объем информации в книге? Решение: Мощность компьютерного алфавита равна 256. Один символ несет 1 байт информации. Значит, страница содержит 40 ∙ 60 ∙ 1 = 2400 байт информации. Объем всей информации в книге 2400 ∙ 150 = 360 000 байт. Объем всей информации (в разных единицах): • 360000/1024 = 351, 5625 Кбайт. • 351, 5625/1024 = 0, 34332275 Мбайт.

Задачи 1. Автоматическое устройство осуществило перекодировку информационного сообщения на русском языке, первоначально записанного в 16 -битном коде Unicode, в 8 -битную кодировку КОИ-8. При этом информационное сообщение уменьшилось на 320 бит. Какова длина сообщения в символах? 1) 20 2) 40 3) 80 4) 320 2. Объем сообщения, содержащего 4096 символов, равен 1/512 части Мбайта. Какова мощность алфавита, с помощью которого записано это сообщение? 1) 8 2) 16 3) 4096 4) 16384

Задачи 3. Шахматная доска состоит 8 столбцов и 8 строк. Какое минимальное количество бит потребуется для кодирования координат одного шахматного поля? 1) 4 2) 5 3) 6 4) 7 4. Два текста содержат одинаковое количество символов. Первый текст составлен в алфавите мощностью 16 символов, а второй текст – в алфавите из 256 символов. Во сколько раз количество информации во втором тексте больше, чем в первом? 1) 12 2) 2 3) 24 4) 4

Задачи 5. Какое минимальное количество бит потребуется для кодирования положительных чисел, меньших 60? 1) 1 2) 6 3) 36 4) 60 6. Объем сообщения – 7, 5 Кбайт. Известно, что данное сообщение содержит 7680 символов. Какова мощность алфавита? 1) 77 2) 256 3) 156 4) 512

Домашнее задание 7. Автоматическое устройство осуществило перекодировку информационного сообщения на русском языке, первоначально записанного в 16 -битном коде Unicode, в 8 -битную кодировку КОИ-8. При этом информационное сообщение уменьшилось на 480 бит. Какова длина сообщения в символах? 1) 30 2) 60 3) 120 4) 480 8. Объем сообщения равен 11 Кбайт. Сообщение содержит 11264 символа. Какова мощность алфавита? 1) 64 2) 128 3) 256 4) 512