Измерение информации Два подхода к измерению информации Тема

Измерение информации. Два подхода к измерению информации. Тема: Теория Количество информации как мера уменьшения неопределенности знаний. Содержательный (вероятностный) подход к измерению информации. Теория (углублённый уровень) Образцы решения задач Проверь себя! (задачник) Единицы измерения информации. Соотношения между единицами. Примеры перевода единиц Проверь себя! (задачник) Алфавитный подход к определению количества информации. Расчёт количества информации при алфавитном подходе. Образцы решения задач Почти серьёзные задачки Проверь себя! (задачник)

Содержательный (вероятностный) подход к определению количества информации Если заключённые в каком-то сообщении сведения являются для человека новыми, понятными, пополняют его знания, т. е. приводят к уменьшению неопределённости знаний, то сообщение содержит информацию. 1 бит – количество информации, которое содержится в сообщении, которое уменьшает неопределённость знаний в 2 раза. Пример1. При бросании монеты возможны 2 события (случая) – монета упадёт орлом или решкой, причём оба события равновероятны (при большом количестве бросаний количество случаев падения монеты орлом и решкой одинаковы). После получения сообщения о результате падения монеты неопределённость знаний уменьшилась в 2 раза, и, поэтому, количество информации, полученное при этом равно 1 бит. !!! Содержательный (вероятностный) подход является субъективным, т. к. одну и ту же информацию разные люди могут оценивать по разному. Для одного человека сведения в сообщении могут быть важными и понятными, для другого бесполезными, непонятными или вредными.

Единицы измерения информации. Перевод единиц измерения. 1 бит – количество информации, которое содержится в сообщении, которое уменьшает неопределённость знаний в 2 раза. 1 бит – наименьшая единица информации. Более крупные единицы – байт, килобайт, мегабайт, гигабайт. Система единиц измерения информации: 1 байт = 8 бит 1 Кбайт = 210 байт = 1024 байт; 1 Мбайт = 210 Кбайт = 1024 Кбайт = 220 байт; 1 Гбайт = 210 Мбайт = 1024 Мбайт = 220 кбайт = 230 байт Информационный объём носителей информации: Дискета – 1, 44 Мбайт; компакт-диск 700 Мбайт; DVD-диск – до 17 Гбайт (стандарт – 4, 7 Гбайт); жёсткий диск – от 20 Гбайт до 80 Гбайт и более (стандарт 80 Гбайт); Flash-память – 256 Мбайт – 2 Гбайт. Примеры перевода единиц: 1) 5 байт = 5 * 8 бит = 40 бит; 2) 24 бита = 24 : 8 байта = 3 байта; 3) 4 Кбайт = 4 * 1024 байт = 4096 байт; 4) 16384 бита = 16384 : 8 байт = 2048 байт; 2048 байт : 1024 = 2 Кбайта. Перейти в задачник

Вычисление количества информации для равновероятных событий. Если события равновероятны, то количество информации можно рассчитать по формуле: N = 2 I , где N – число возможных событий, I – количество информации в битах. Формула была предложена американским инженером Р. Хартли в 1928 г. Задача 1. В коробке 32 карандаша, все карандаши разного цвета. Наугад вытащили красный. Какое количество информации при этом было получено? Решение. Так как вытаскивание карандаша любого цвета из имеющихся в коробке 32 карандашей является равновероятным, то число возможных событий равно 32. N = 32, I = ? N = 2 I, 32 = 25, I = 5 бит. Ответ: 5 бит. Перейти в задачник

Задачи на перевод единиц измерения информации 1. Сколько бит в 1 байте? бит 2. Сколько бит в 12 байтах? 3. Выразить 440 бит в байтах. 4. Выразить 5 кбайт в байтах. 5. Перевести 3 Мбайта в килобайты. бит байт бит кбайт 6. Поместится ли файл размером 1450 кбайт на дискете?

**Задача 1. В школьной библиотеке 16 стеллажей с книгами, на каждом – по 8 полок. Ученику сообщили, что нужный учебник находится на 2 -ой полке 4 -го стеллажа. Какое количество информации получил ученик? Решение. 1) Число стеллажей (случаев) – 16. N 1 = 16, N 1 = 2 I, 16 = 24, I 1= 4 бита. 2) Число полок на каждом стеллаже (случаев) – 8, N 2 = 2 I, 8 = 23, I 2 = 3 бит. 3) I = I 1 + I 2, I = 4 бита + 3 бита = 7 бит. Ответ: 7 бит. Перейти в задачник

*Задача 3. Загадывают число в диапазоне от 1 до 200. Какое наименьшее количество вопросов надо задать, чтобы наверняка отгадать число. На вопросы можно отвечать только «Да» или «Нет» . Решение. Правильная стратегия состоит в том, чтобы количество вариантов каждый раз уменьшалось вдвое. Например, загадано число 152. 1 вопрос: Число >100? Да. 2 вопрос: Число < 150? Нет. 3 вопрос: Число > 175? Нет. и т. д. ……………………… Количество событий в каждом варианте будет одинаково, и их отгадывание равновероятно. N = 2 I, 200 = 2 I, 7 < I < 8. Т. к. количество вопросов нецелым числом быть не может, то необходимо задать не более 8 вопросов. Ответ: 8 вопросов Перейти в задачник

**Вычисление количества информации для событий с различными вероятностями. Существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Рассмотрим примеры таких событий. 1. В коробке 20 карандашей, из них 15 красных и 5 чёрных. Вероятность вытащить наугад красный карандаш больше, чем чёрный. 3. При случайном падении бутерброда вероятность падения его маслом вниз (более тяжёлой стороной) больше, чем маслом вверх. 4. В пруду живут 8000 карасей, 2000 щук и 40000 пескарей. Самая большая вероятность для рыбака – поймать в этом пруду пескаря, на втором месте – карася, на третьем – щуку. Количество информации в сообщении о некотором событии зависит от его вероятности. Чем меньше вероятность события, тем больше информации оно несёт. P = K/N, где К – количество случаев реализации одного из исходов события, N – общее число возможных исходов одного из событий I = log 2(1/p), где I – количество информации, p – вероятность события Задача. В коробке 50 шаров, из них 40 белых и 10 чёрных. Определить количество информации в сообщении о вытаскивании наугад белого шара и чёрного шара. Решение. Вероятность вытаскивания белого шара P 1 = 40/50 = 0, 8 Вероятность вытаскивания чёрного шара P 2 = 10/50 = 0, 2 Количество информации о вытаскивании белого шара I 1 = log 2(1/0, 8) = log 21, 25 = log 1, 25/log 2 0, 32 бит Количество информации о вытаскивании чёрного шара I 2 = log 2(1/0, 2) = log 25 = log 5/log 2 2, 32 бит Ответ: 0, 32 бит, 2, 32 бит Что такое логарифм? Вычисление логарифмов с помощью калькулятора Windows. Перейти в задачник

Количество информации в случае различных вероятностей событий определяется по формуле: Формула Шеннона: (американский учёный, 1948 г. ) где Pi – вероятность i-го события, N – количество возможных событий Задача. В озере живут караси и окуни. Подсчитано, что карасей 1500, а окуней - 500. Сколько информации содержится в сообщениях о том, что рыбак поймал карася, окуня, поймал рыбу? Решение. События поимки карася или окуня не являются равновероятными, так как окуней в озере меньше, чем карасей. Общее количество карасей и окуней в пруду 1500 + 500 = 2000. Вероятность попадания на удочку карася p 1 = 1500/2000 = 0, 75, окуня p 2 – 500/2000 = 0, 25. I 1 = log 2(1/p 1), I 1 = log 2(1/p 2), где I 1 и I 2 – вероятности поймать карася и окуня соответственно. I 1 = log 2(1 / 0, 75) 0, 43 бит, I 2 = log 2(1 / 0, 25) 2 бит – количество информации в сообщении поймать карася и поймать окуня соответственно. Количество информации в сообщении поймать рыбу (карася или окуня) рассчитывается по формуле Шеннона I = - p 1 log 2 p 1 - p 2 log 2 p 2 I = - 0, 75*log 20, 75 - 0, 25*log 20, 25 = - 0, 75*(log 0, 75/log 2)-0, 25*(log 0, 25/log 2) = = 0, 604 бит 0. 6 бит. Ответ: в сообщении содержится 0, 6 бит информации Что такое логарифм? Вычисление логарифмов с помощью калькулятора Windows. Перейти в задачник

Что такое логарифм? Логарифмом числа а по основанию b называется показатель степени, в которую надо возвести число a, чтобы получить число b. log 2 8 = 3, т. к. 23 = 8 a logab = b, a > 0, b > 0, a ≠ 1 log 2 4 = 2 log 2 32 = 7 log 2 16 = 4 log 2 256 = 8 2 х = 6 – не подобрать целое x, не log 2 6 = ? вычислить с помощью инженерного калькулятора (т. к. не имеется функции вычисления логарифма числа по произвольному основанию) Вычисление логарифмов чисел по основанию 2 с помощью электронного калькулятора Выполнить переход к основанию 10: log 2 6 = log 10 6 / log 10 2 (основание 10 не пишется) log 2 6 2, 59 log 2 6 = log 6 / log 2, где log 6 и log 2 – десятичные логарифмы Программа вычисления логарифма числа 6 по основанию 2 ( log 2 6 ) с помощью инженерного калькулятора: 6, log, / , 2, log, =

Повторим значения степеней числа 2 2 0= 1 2 7 = 128 2 = 256 8 2 1= 2 2 6 = 64 2 5 = 32 2 2= 4 2 4 = 16 2 3= 8 2 9 = 512 2 10 = 1024 23 =2*2*2 = 8 n 0 1 2 3 4 5 6 2 n 1 2 4 9 16 32 64 7 8 9 10 128 256 512 1024 Перейти в задачник

Задачи на расчёт количества информации при вероятностном подходе 1. Бросили монету и она упала орлом. Какое количество информации при этом получили? 2. Какое количество информации несёт в себе сообщение, что нужная вам программа находится на одной из 8 дискет? 3. Какое количество информации получит второй игрок при игре в крестики-нолики на поле 8 х 8, после хода первого игрока, играющего крестиками? бит бит 4. В рулетке общее количество лунок равно 256. Какое количество информации мы получаем при остановке шарика в одной из лунок? байт 5*. Какое количество информации будет содержать зрительное сообщение о цвете вынутого из мешочка шарика, если в нём содержится 25 белых, 25 красных, 25 зелёных и 25 синих шариков. бит 6*. Лиза идёт в театр. У неё имеется билет в 8 ряд на 32 место. Оказалось, что в театре 32 ряда, а место Лизы последнее в ряду. Сколько информации было получено при прочтении билета? 7**. Какое минимальное количество вопросов достаточно задать собеседнику, чтобы точно определить день и месяц его рождения? Вопросы задаются таким образом, чтобы можно было получить ответ «да» или «нет» Для получения помощи щёлкни по картинке слева от задачи бит вопросов

Алфавитный подход к измерению информации. Алфавит – множество символов, используемых при записи текста. Мощность алфавита – полное количество символов в алфавите. Если считать, что все символы алфавита встречаются в тексте с одинаковой частотой (равновероятны), то количество информации, которое несёт каждый символ, можно определить по формуле: N = 2 I, где N – мощность (количество символов) алфавита, I – количество бит, которое приходится на 1 символ. Количество информации в сообщении = I * K, где К – количество символов в сообщении Количество информации в сообщении равно произведению количества информации, которое несёт 1 символ, на количество символов в сообщении. Кодировка текста в компьютере Алфавит Мощность Количество бит на символ Двоичный ( 0, 1) 2 1 бит Кодировка ASCII 256 8 бит = 1 байт Кодировка Windows 256 8 бит = 1 байт Кодировка Unicode 65536 16 бит = 2 байта Восьмеричный (0 – 7) 8 3 бита Шестнадцатеричный (0 – 9, А, B, C, D, E, F) 16 4 бита !!! Алфавитный подход является объективным, т. к. он не зависит от субъекта (человека), воспринимающего текст. Образцы решения задач Перейти в задачник

Образцы решения задач: Задача 1. Сколько бит информации содержит слово «компьютер» , если оно набрано на компьютере с помощью кодировки Windows. Решение. В кодировке Windows 256 символов, значит, на 1 символ приходится 8 бит или 1 байт информации. В слове 9 символов, поэтому оно содержит 9 х 8 бит = 72 бит информации. Ответ: 72 бит Задача 2. Сколько информации содержит предложение «Скажите, пожалуйста, который час? » . Слово набрано на компьютере при помощи кодировки Unicode. Решение. В кодировке Unicode 1 символ содержит 2 байта информации. В предложении 27 букв, 3 знака препинания и 3 пробела – всего 33 символа. Т. к. на 1 символ в кодировке Unicode приходится 2 байта, то предложение содержит 2 байта * 33 = 66 байт информации. Ответ: 66 байт Задача 3. Сколько бит информации с точки зрения алфавитного подхода содержится в 8 ричном числе 341? Решение. Каждый разряд 8 -ричного числа содержит 3 бита информации. 8 -ричное число 341 имеет 3 разряда, значит в нём содержится 9 бит информации. Ответ: 9 бит Перейти в задачник

Задачи на расчёт количества информации при алфавитном подходе 1. Мощность некоторого алфавита 64 символа. Какова длина кода для кодирования 1 символа? 2. Сколько байт информации содержится в сообщении «Ребята, давайте жить дружно!» (кавычки не считать) 3. Алфавит некоторого народа содержит 16 символов. Сколько информации несёт телеграмма из 12 символов? бит байт 4. Объём информационного сообщения 200 бит. В сообщении 25 символов. Какова мощность алфавита? бит 5. В книге 100 страниц. На странице 40 строк по 50 символов. При наборе текста использовалась кодировка Unicode. Найти информационный объём книги в байтах. байт 6. Сколько информации содержит шестнадцатеричное число 5 АF c точки зрения алфавитного подхода? бит

Почти серьёзная задача № 1: Главный бухгалтер Копейкин для выдачи зарплаты сотрудникам получил 1024 одинаковые желанные зелёненькие бумажки. После выдачи денег в кассе оказалось, что не хватает 4 бумажек. Сколько бит информации непрерывно крутится в голове у бедного Копейкина, если он подозревает в хищении одного из своих 7 сотрудников бухгалтерии и кассира? Выберите правильный ответ и нажмите клавишу Проверить: следующая задача Перейти к странице самостоятельного решения задач

Почти серьёзная задача № 2: Умный дятел Гоша вот уже 10 часов без перерыва стучит по клавиатуре, набирая текст научной работы о видах вредителей хвойных деревьев и роли дятлов в полном избавлении от них. Скорость набора текста Гошей – 100 стуков/минуту. Сколько байт информации настучит дятел, если для набора текста он использует компьютер выпуска 1995 года с операционной системой Windows’ 95, вывезенный в лес ввиду полного морального старения. Введите ответ в текстовое поле: байт следующая задача Перейти к странице самостоятельного решения задач

Почти серьёзная задача № 3: Секретный алфавит Бабы Яги Для записи рецептов своих зелий Баба Яга использует вышеприведённый секретный алфавит. Ключом к рецепту является количество байт информации в нём. Баба Яга забыла ключ. Она сохранит Вам жизнь, если Вы поможете ей его восстановить. Сколько байт информации содержит рецепт одного из зелий Бабы Яги? Ключ: Рецепт Бабы Яги байт Введите ответ в текстовое поле: Перейти к странице самостоятельного решения задач