ТЕМА 2 ПОНЯТИЙНЫЙ АППАРАТ И ЗАДАЧИ ТЕОРИИ ИНФОРМАЦИИ

ТЕМА 2 ПОНЯТИЙНЫЙ АППАРАТ И ЗАДАЧИ ТЕОРИИ ИНФОРМАЦИИ 2. 1. Понятие информации как объекта дисциплины “Информационная безопасность” 2. 2. Задачи прикладной теории информации

Философское понятие: информация – есть отражение реального мира Практическое понятие: информация есть сведения, являющиеся объектом хранения, передачи и преобразования

Вероятностно-статистическое понятие (по Шеннону): информация – сведения, сообщения, которые снимают существовавшую до их получения неопределенность полностью или частично. Сообщение – это форма представления информации в виде речи, текста, изображения, цифровых данных, графиков, таблиц и т. п.

Данные – представление фактов и идей в формализованном виде, пригодном для фиксации, передачи и переработки в процессе их использования.

Методологическая модель формирования и материализации информации

Возникновение теории информации связано с появлением фундаментальной работы американского ученого К. Шеннона «Математическая теория связи» (1948).

ФОРМУЛА ШЕННОНА: Информацио нная энтропи я — мера неопределённости или непредсказуемости информации. Информационная двоичная энтропия для независимых случайных событий xЄn возможными состояниями (от 1 до n, p(i) - функция вероятности, при этом Σ p(i)=1) рассчитывается по формуле: .

ПРИМЕР РАСЧЕТА ПО ФОРМУЛЕ ШЕННОНА: • Бросание монеты имеет энтропию: один бит на одно кидание, а количество возможных состояний ("орёл" и "решка «) равно 2 У источника, который генерирует строку, состоящую только из букв «А» , энтропия равна нулю, а количество возможных состояний равно 1

Изменяющийся во времени физический процесс, отражающий передаваемое сообщение, называется сигналом

Аналоговое и дискретное представление сигнала

Теорема Котельникова (в англоязычной литературе — Теорема Найквиста — Шеннона или теорема отсчётов) гласит, что, если аналоговый сигнал имеет финитный (ограниченный по ширине) спектр, то он может быть восстановлен однозначно и без потерь по своим дискретным отсчётам, взятым с частотой, строго большей удвоенной верхней частоты: f>2 Fc

Информационная игра “Угадай число” Вопрос участника 2 Ответ участника Неопределен 1 ность знаний (количество возможных событий) 16 Число больше 8? Нет 8 Число больше 4? Нет 4 Число больше 2? Да 2 Число равно 3? Да 3 Полученное количество информации 1 бит