Измерение информации 1 Вероятностный кибернетический подход 2 Объемный

Измерение информации 1 Вероятностный (кибернетический) подход 2 Объемный подход 3. Дискретная и непрерывная информация

1 Вероятностный (кибернетический) подход ¡ ¡ Развит в конце 40 -х годов американским математиком Клодом Шенноном. В теории информации Шеннона говориться, что информация — мера свободы выбора в выделении сообщения. Получатель сообщения имеет представление о возможных наступлениях некоторых сообщений. Количество информации определяется тем, насколько уменьшается мера неопределенности после получения сообщения.

1 Вероятностный (кибернетический) подход ¡ ¡ ¡ Количество информации в полученном сообщении зависит от того, насколько оно уменьшает неопределенность наших знаний. Пример. Игра в 15 вопросов. Опытный игрок ставит вопрос так, чтобы в результате ответа неопределенность уменьшалась в 2 раза. «Это мужчина? » «Он жив? » .

1 Вероятностный (кибернетический) подход Формула Хартли: ¡ Здесь N — количество равновозможных исходов опыта, I — количество информации, которое содержится в сообщении о результате опыта. ¡

1 Вероятностный (кибернетический) подход ¡ Сообщение, уменьшающее неопределенность в 2 раза несет одну единицу информации — 1 бит. N=2, I=1.

2 Объемный подход ¡ ¡ ¡ В компьютерах используется двоичная система счисления, знаки 0 и 1 называют битами. В компьютере бит является наименьшей единицей информации. BInary digi. T — двоичная цифра. Объем информации, записанной двоичными знаками, равен количеству таких знаков.

2 Объемный подход ¡ ¡ В компьютере используют кодирование ASCII, в этой таблице 1 символ кодируется восемью двоичными цифрами, т. е. одним байтом. Чтобы узнать информационную емкость сообщения, записанного с использованием таблицы ASCII, нужно посчитать количество символов в сообщении.

2 Объемный подход Например, посчитаем количество информации в сообщении: Мама мыла раму! ¡ Здесь 15 символов, включая пробелы и восклицательный знак. ¡ Следовательно, в этом сообщении 15 байтов информации ¡

2 Объемный подход Более крупные единицы измерения информации ¡ 8 бит = 1 байт ¡ 1024 байт =1 килобайт ¡ 1024 кбайт =1 мегабайт ¡ 1024 Мбайт = 1 гигабайт ¡

2 Объемный подход ¡ ¡ Между кибернетическим и объемным подходами к измерению информации нет однозначного соответствия. Объем двоичного текста не всегда может бить оценен в кибернетическом смысле. Если некоторый текст может быть измерен при кибернетическом и при объемном подходе, то они могут не совпадать кибернетическое количество информации не превышает объемное.

3. Дискретная и непрерывная информация ¡ ¡ ¡ Для передачи информации необходим носитель информации. Сообщение, передаваемое с помощью носителя, называют сигналом. Сигнал — это изменяющийся со временем физический процесс. Процесс может иметь несколько характеристик (напряжение, сила тока). Характеристика, которая используется для представления сообщения, называется параметром сигнала. Сигнал может быть дискретным и непрерывным

3. Дискретная и непрерывная информация ¡ Сигнал называется дискретным, если параметр сигнала принимает конечное число значений (их можно пронумеровать). Дискретный или цифровой сигнал

3. Дискретная и непрерывная информация

3. Дискретная и непрерывная информация ¡ Непрерывное сообщение можно преобразовать в дискретное — дискретизация. Для этого множество значений непрерывного сообщения заменяют конечным числом значений.

3. Дискретная и непрерывная информация Например, непрерывную кривую можно заменить парами чисел (x 1, y 1), (x 2, y 2), …, (xn, yn) ¡

3. Дискретная и непрерывная информация ¡ Сигнал и соответствующая информация называются непрерывными, если параметр сигнала непрерывная функция от времени. Непрерывные или аналоговый сигнал

3. Дискретная и непрерывная информация ¡ ¡ Информация в компьютере представлена в цифровом виде, дискретно. Входная информация должна быть дискретной. Если она непрерывна, то ее нужно дискретизировать. Существуют аналоговые ЭВМ, там информация представлена непрерывно.

Вопросы Кто предложил вероятностный подход измерения информации? ¡ Напишите формулу Хартли, объясните входящие переменные. ¡ Как определен 1 бит информации в кибернетике? ¡

Вопросы Как определена единица информации при объемном подходе? ¡ Как посчитать информацию в текстовом сообщении? ¡ Назовите крупные единицы информации ¡

Вопросы ¡ ¡ ¡ Какая информация называется непрерывной? Как еще можно назвать непрерывную информацию? Какая информация называется дискретной? Как еще можно назвать дискретную информацию? Как преобразовать непрерывную информацию к дискретной форме?