Помехоустойчивое кодирование Немного теории информации Информация

Помехоустойчивое кодирование

Немного теории информации • Информация - нематериальная сущность, при помощи которой с любой точностью можно описывать реальные (материальные), виртуальные (возможные) и понятийные сущности. Информация - противоположность неопределенности. • Канал связи - это среда передачи информации, которая характеризуется в первую очередь максимально возможной для нее скоростью передачи данных (емкостью канала связи). • Сообщение - форма представления информации, имеющая признаки начала и конца, предназначенная для передачи через канал связи. • Алфавит - множество (как правило конечное) символов или букв, например латинских букв и цифр. Примером распространённого алфавита является двоичный алфавит {0, 1}. Конечная строка — это конечная последовательность букв алфавита. Например, двоичная строка — это строка из символов алфавита {0, 1}. • Шум - это помехи в канале связи при передаче информации. • Кодирование - преобразование дискретной информации одним из следующих способов: шифрование, сжатие, защита от шума(помех).

Модель передачи информации

Избыточность информации - величина, характеризующая количество информации, имеющейся в сообщении, которая необязательна для его восприятия. Избыточность – то, что позволяет бороться с потерей информации под воздействием шумов

«Плохая хорошая» избыточность Примеры избыточных сообщений: • Растровые изображения, фотографии. • Видео(особенно статичные сцены). • Сообщения на естественных языках(тексты, речь). • Звук в волновых форматах. Примеры сообщений [почти] без избыточности: • Числа, формулы. • Сжатые данные.

Принципы помехоустойчивого кодирования • Обнаружение и исправление максимального количества ошибок. • Добавление минимально необходимой избыточности. • Обеспечение простоты информационных связей внутри сообщения и соответственно, простоты декодирования. • Избыточность кода — это количество проверочной информации в сообщении. • d = k/(i+k), где • k — количество проверочных бит, • i — количество информационных бит.

Взгляд на избыточность под другим углом • Множество кодовых слов в случае наличия избыточности делится на два множества: допустимые и недопустимые сообщения. • Ошибка превращает допустимое слово в недопустимое и поэтому обнаруживается. • Ошибка может быть исправлена преобразованием недопустимого слова в допустимое, используя информационные связи(не всегда).

Классификация помехоустойчивых кодов • По принципу работы – Блочные коды – разбивают данные на последовательности одинаковой длины(n символов). – Сверточные коды – работают с данными, как с непрерывным потоком. • По стратегии борьбы с ошибками: – Коды, обнаруживающие ошибки – Коды, исправляющие ошибки

Блочные коды Все трехразрядные двоичные слова допустимы – обычный, не помехоустойчивый код Расстоянием по Хэммингу (по имени американского математика Р. У. Хэмминга) между двумя кодовыми словами называется число разрядов, в которых они различны. Минимальное расстояние - наименьшее из всех расстояний по Хэммингу для любых пар различных кодовых слов, образующих код(на рисунке – рёбра кубика).

Код с проверкой на чётность i 2 i 1 k 2 + • • k 3 Допустимы только слова с четным количеством единиц. Обнаруживаются ошибки в нечетном количестве разрядов. Избыточность при большой длине слова минимальна. Исправление ошибок невозможно.

Код Хэмминга • Позволяет обнаруживать и исправлять одиночные ошибки. • Кодер и декодер существенно сложнее. • Слово должно соответствовать формуле n≤ 2 m-1, где n общее число разрядов в слове, m - число проверочных(избыточных) символов. • Для краткости обозначается (n, n-m), например (7, 4)

Код Хэмминга(кодер)

Код Хэмминга(декодер)

Циклические избыточные коды(CRC) • Обнаруживает все одиночные ошибки, двойные ошибки и ошибки в нечетном количестве разрядов. • Малая избыточность. • Широко применяются в цифровой технике.

Алгоритм вычисления CRC • • • • • • 11010011101100 X 3+X+1 = 1*X 3 + 0*X 2 + 1*X + 1 1011 Первоначальное сообщение Порождающий многочлен Соответствующий делитель 11010011101100 000 Сообщение, дополненное нулями по длине CRC. 1011 <--- делитель 01100011101100 000 <--- результат 1011 <--- делитель. . . 0011101100 000 1011 00010111101100 000 1011 00000000110100 000 1011 0000011000 1011 000001110 000 1011 000000101 000 101 1 --------0000000 100 <---остаток (3 -разрядный) – полученный проверочный код.

Алгоритм проверки CRC • • • • • • 11010011101100 X 3+X+1 = 1*X 3 + 0*X 2 + 1*X + 1 1011 Первоначальное сообщение Порождающий многочлен Соответствующий делитель 11010011101100 Сообщение, дополненное полученной CRC. 1011 <--- делитель 01100011101100 <--- результат 1011 <--- делитель. . . 0011101100 1011 00010111101100 100 1011 00000000110100 1011 0000011000 1011 000001110 1011 000000101 100 101 1 --------0000000 000 <---остаток = 0 – проверка успешна.

Кодер CRC

Декодер CRC

Сверточное кодирование вход выход +

Ещё коды • Коды Боуза — Чоудхури — Хоквингема(БЧХ). – Коды Рида — Соломона. • Коды-произведения. • Коды с итеративным декодированием(турбо-коды, LDPCкоды).