Скачать презентацию Введение в теорию информации Паначёв Максим Александрович Скачать презентацию Введение в теорию информации Паначёв Максим Александрович

энтропия шеннона.pptx

  • Количество слайдов: 12

Введение в теорию информации Паначёв Максим Александрович / ассистент кафедры вычислительной математики ИМКН / Введение в теорию информации Паначёв Максим Александрович / ассистент кафедры вычислительной математики ИМКН / Солодушкин Святослав Игоревич / к. ф. -м. н. , доцент кафедры вычислительной математики ИМКН) /

Клод Шеннон • В 1948 году, исследуя проблему рациональной передачи информации через зашумлённый коммуникационный Клод Шеннон • В 1948 году, исследуя проблему рациональной передачи информации через зашумлённый коммуникационный канал, Клод Шеннон разработал математическую теорию обработки, передачи и хранения информации. • Его идеи легли в основу двух фундаментальных научных направлений: теории информации и теории кодирования.

Информация • Рассмотрим следующую модель: Источник (Отправитель) Канал передачи данных Приёмник (Получатель) • Поток Информация • Рассмотрим следующую модель: Источник (Отправитель) Канал передачи данных Приёмник (Получатель) • Поток данных от источника к приёмнику может как непрерывным, так и дискретным (в виде сообщений).

Количество информации • Количество информации (по Шеннону) – это мера уменьшения неопределённости знаний приёмника Количество информации • Количество информации (по Шеннону) – это мера уменьшения неопределённости знаний приёмника (получателя). • Информацию принято измерять в битах. • За единицу количества информации (1 бит) принимают то количество, которое содержит сообщение, уменьшающее неопределенность знаний в два раза. • Как оценить количество информации, содержащееся в полученном сообщении?

Количество информации • Количество информации •

Количество информации • Количество информации •

Количество информации • Количество информации •

Количество информации • Количество информации •

Количество информации • Формула Шеннона позволяет определить степень информативности источника, т. е. меру уменьшения Количество информации • Формула Шеннона позволяет определить степень информативности источника, т. е. меру уменьшения неопределённости знаний приёмника при получении очередного символа сообщения.

Количество информации • Количество информации •

Количество информации Следствие 2. • Информативность сообщений, поступающих от источника, алфавит которого состоит только Количество информации Следствие 2. • Информативность сообщений, поступающих от источника, алфавит которого состоит только из одного символа, равна нулю. • С точки зрения получателя такой источник является абсолютно бесполезным.

Контрольные вопросы 1. Какое количество информации содержится в сообщении, уменьшающем степень неопределённости знания получателя Контрольные вопросы 1. Какое количество информации содержится в сообщении, уменьшающем степень неопределённости знания получателя в 4 раза? – – 2. 3. 0. 5 бита 1 бит 2 бита 4 бита Сколько бит информации содержится в сообщении «aabcd» ? – – 0. 3 40 9. 61 1. 82 В каком случае количество информации, приходящееся на один символ сообщения максимально? – Каждый символ алфавита встречается в сообщении ровно 1 раз. – Символы появляются в потоке данных от источника сообщений с равной вероятностью. – Алфавит состоит ровно из одного символа.