ЭНТРОПИЯ И КОЛИЧЕСТВО ИНФОРМАЦИИ ОПРЕДЕЛЕНИЕ ЭНТРОПИИ Р

ЭНТРОПИЯ И КОЛИЧЕСТВО ИНФОРМАЦИИ.

ОПРЕДЕЛЕНИЕ ЭНТРОПИИ Р. Клаузиус К. Шеннон В термодинамике понятие энтропии было введено немецким физиком Р. Клаузиусом в 1865 г. В информатике понятие энтропии было использовано К. Шенноном в 40 -е годы ХХ-го века.

ЭНТРОПИЯ ШЕННОНА

ЭНТРОПИЯ ДЛЯ ДВУХ ВЕРСИЙ

СВОЙСТВА ЭНТРОПИИ Энтропия является вещественной неотрицательной величиной в интервале [0, 1]. Энтропия — величина ограниченная. Энтропия равна нулю лишь тогда, когда вероятность одного из состояний равна единице, т. е. состояние источника точно определено.

КОЛИЧЕСТВО ИНФОРМАЦИИ Информация может быть двух видов: Дискретная (цифровая) – характеризуется последовательными точными значениями некоторой случайной величины. Непрерывная (аналоговая) – характеризуется непрерывным процессом изменения некоторой случайной величины (сигнала).

Дискретную информацию можно получить, измеряя непрерывную информацию через определенные интервалы времени.

Дискретная информация удобнее для обработки, хранения и передачи, поскольку она описывается последовательностью чисел. Если представить каждое число в двоичной системе счисления, то дискретная информация предстанет в виде последовательности нулей и единиц.

ОЦЕНКА КОЛИЧЕСТВА ИНФОРМАЦИИ СООБЩЕНИЙ Дискретные сообщения, передаваемые по каналам связи, можно представить как набор изn символов, которые последовательно порождает некоторый дискретный источник информации. Элементы сообщения принимают значения из конечного алфавита мощностиm дискретного источника.

Общее количество различных сообщений равно Чем больше L , тем значительней отличается каждое данное сообщение от остальных, т. е. величина L может служить мерой количества информации для равновероятных сообщений.

Более удобной мерой количества информации является логарифм числа возможных сообщений Логарифмическая мера I(L) количества информации обладает следующими свойствами 1. I(1)=0 2. I(L 1 )> I(L 2 ) при L 1> L 2 3. I(L 1·L 2 )=I(L 1 )+I(L 2)

ИГРА НА УГАДЫВАНИЕ ЧИСЛА ОТ 1 ДО 128

ИГРА НА УГАДЫВАНИЕ ЛЮБОГО СЛОВА РУССКОГО ЯЗЫКА (словарный запас: 120 000 слов)

ИГРА: НАХОЖДЕНИЕ ФАЛЬШИВОЙ МОНЕТЫ СРЕДИ 9 ИМЕЮЩИХСЯ С ПОМОЩЬЮ РАВНОПЛЕЧНЫХ ВЕСОВ (ФАЛЬШИВАЯ МОНЕТА ТЯЖЕЛЕЕ)

ИГРА: УГАДЫВАНИЕ ЧИСЛА ОТ 1 ДО 200 (С ОТВЕТАМИ ДА НЕТ)

ЛИТЕРАТУРА И ИНТЕРНЕТ РЕСУРСЫ: 1. 2. 3. Ланде Д. В. , Интернетика: Навигация в сложных сетях: модели и алгоритмы. М. : ЛИБРОКОМ, 2009. -264 с. http: //www. youtube. com/watch? v=e. Ud 0 Hw 0 SDx. A http: //ppt-online. org/1048