Доцент кафедры радиотехнических систем А С Бернгардт Тусур

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. 2. ПРЕОБРАЗОВАНИЯ СИГНАЛОВ Схема цифровой системы передачи непрерывных сообщений m(t) Источник непрерывных сообщений Исходный цифровой (двоичный) поток Аналогоцифровое Преобразование Кодер канала Модулятор Цифроаналоговое Преобразование Форматирование Декодер источника Кодек источника Декодер канала Кодек канала S(t) Линия связи (среда) Принятый цифровой (двоичный) поток m(t) Получатель Кодер источника Демодулятор Модем Ŝ (t) 2

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. КОДИРОВАНИЕ источника Под кодированием в широком смысле слова подразумевается представление сообщений в виде знаков определенного вида в форме, удобной для передачи по данному каналу. Число знаков в алфавите m – основание кода, число символов в сообщении L – длина кодового слова. Основное назначение кодирования – согласование M – ичного источника сообщений с m – ичным дискретным каналом по объему алфавита и по избыточности.

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. КОДИРОВАНИЕ источника Согласование по по объему алфавита. Обычно М > m, поэтому каждый символ источника кодируется несколькими символами канала. Если L=const, код называют равномерным. Если L=var, код называют неравномерным.

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. КОДИРОВАНИЕ источника Согласование по избыточности имеет 2 аспекта. Во – первых, устранение нерегулярной (хаотической избыточности ), которой обладают сообщения большинства источников. Это задача эффективного кодирования (кодирование источника, сжатие информации). Во – вторых, введение регулярной избыточности, позволяющей приеме обнаруживать и даже исправлять ошибки. Это задача помехоустойчивого кодирования (кодирование канала).

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. КОДИРОВАНИЕ источника Структурная схема передатчика с использованием эффективного и помехоустойчивого кодирования. Источник Преобразователь Эффективный кодер Линия связи Помехоустойчивый кодер Модулятор

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. Кодирование источника (ЭФФЕКТИВНОЕ) С помощью эффективного кодирования можно минимизировать среднее число m-ичных символов, требующихся для выражения одной буквы сообщения, что при отсутствии шума позволяет уменьшить время передачи или объём запоминающего устройства. Такое эффективное кодирование базируется на основной теореме Шеннона для каналов без шума.

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. Кодирование источника (ЭФФЕКТИВНОЕ) - Теорема Шеннона для кодирования источника Равенство L = Lmin возможно лишь в том случае, если для всех xj имеем Избыточность кода R=(L - Lmin)/L = 1 - Lmin/L=μ –эффективность кода.

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. Эффективное кодирование Пример кодовой таблицы M=5, m=2. xj p(xj) Кодовые слова lj a б в г д 0, 2 0, 5 0, 1 101 110 01 1001 110000 3 3 1 4 6

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. Требования к эффективным кодам: 1) Символы в последовательности на выходе кодера должны быть равновероятными и статистически независимыми. 2) Коды неравномерные. Чем больше вероятность символа источника, тем меньше длина кодового слова. 3) Свойство префикса - ни одно кодовое слово не должно быть началом другого, более длинного. Это обеспечивает мгновенное однозначное декодирование без использования разделителей символов.

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. Алгоритмы кодирования - Шеннона – Фэно - Хаффмена ( LСР Хаффмена ≤ LСР любого другого кода ) – Лемпеля – Зива (LZ)

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. АЛГОРИТМ ШЕННОНА - ФЭНО При отсутствии статистической зависимости между буквами конструктивные методы построения эффективных кодов были даны впервые Шенноном и Фэно. Их методики существенно не различаются, поэтому соответствующий код получил название кода Шеннона - Фэно.

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. АЛГОРИТМ ШЕННОНА - ФЭНО Алгоритм кодирования. 1. Буквы алфавита сообщений выписывают в таблицу в порядке убывания вероятностей – упорядочивание алфавита. 2. Алфавит разделяют на две приблизительно равновероятные группы – дробление алфавита. 3. Всем буквам верхней половины в качестве первого символа приписывают 1, а всем нижним 0. 4. Процесс повторяют до тех пор, пока в каждой подгруппе останется по одной букве. 5. Записывают код.

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. Теория информации. Кодирование источника Пример 2 – Кодирование кодом Шеннона-Фано xj p(xj ) Разбиения Комбинация x 3 x 5 x 2 x 6 x 1 x 4 0, 25 0, 20 0, 15 0, 10 0, 05 11 10 01 0001 0000

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. Код (алгоритм) Хаффмена Методика Хаффмена гарантирует однозначное построение кода с наименьшим для данного распределения вероятностей средним числом символов на букву.

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. Код Хаффмена. Алгоритм кодирования 1. Буквы алфавита сообщений выписывают в столбец в порядке убывания вероятностей – упорядочивание алфавита. 2. Две последние буквы объединяют в одну вспомогательную букву, которой приписывается суммарная вероятность – укрупнение алфавита. 3. Буквам верхней группы присваивают значение 1, а нижней – 0. 4. Процесс продолжают до тех пор, пока не останется единственная вспомогательная буква с вероятностью, равной единице. 5. Записывают код, двигаясь от вершины кодового дерева к его основанию.

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. Теория информации. Кодирование источника Пример 1 - Кодовое дерево кода Комбинация 10 01 00 111 1100 xj 1, 00 0, 45 0, 30 x 3 x 5 x 2 x 6 x 1 x 4 0, 25 0, 20 0, 15 0, 10 0, 05 1 0 1 1 0, 15 0 Хафмана 1 0, 55 0 0

Пример 2 Закодировать статистически независимые сообщения источника двоичным кодом Хафмана. Найти избыточность кода, вероятности появления нулей и единиц в полученной последовательности. xj x 1 x 2 x 3 р(хj) 0, 25 0, 23 0, 15 x 4 0, 12 x 5 x 6 0, 1 0, 08 x 7 0, 07

Пример 2 • Расположим буквы в порядке убывания вероятностей. Группируем две буквы алфавита источника, имеющие наименьшие вероятности и обозначаем новой буквой. Вычисляем общую вероятность такого сгруппированного подмножества букв. Буквы нового алфавита, полученного в результате первого сжатия снова располагаем в порядке убывания вероятностей. Продолжаем сжатия алфавита пока не останется одна буква. xj P(xj) x 1 0, 25 x 2 0, 23 x 3 0, 15 x 4 0, 12 x 5 0, 1 x 6 0, 08 x 7 0, 07

Пример 2 xj P(xj) КК x 1 0, 25 10 x 2 0, 23 01 x 3 0, 15 111 x 4 0, 12 001 x 5 0, 1 000 x 6 0, 08 1101 x 7 0, 07 1100

Пример 2 •

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. Блоковое кодирование Избыточность при побуквенном кодировании может оказаться слишком большой. Причины – неравномерное распределение вероятностей и наличие статистической зависимости между буквами. В этом случае осуществляется кодирование блоков, содержащих k букв. Каждая k - буквенная комбинация рассматривается как символ нового M = 2 k –ичного алфавита источника и производится эффективное кодирование известными методами. Рассмотрим пример.

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. АЛГОРИТМ ЛЕМПЕЛА –ЗИВА (LZ) - разработан в 1977 и 1978 годах. Словарный, использует подстановку образцов. Главный недостаток кодов Шенона — Фэно и Хафмана заключаются в том, что для их применения нужно знать вероятности появления букв (или их комбинаций при кодировании блоками), а на практике такая благоприятная возникает чрезвычайно редко. ситуация

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. АЛГОРИТМ ЛЕМПЕЛА –ЗИВА (LZ) Код Лемпела-Зива свободен от этого недостатка. Здесь кодовая таблица, изначально почти пустая, заполняется одновременно в пунктах передачи и приема в процессе кодирования (декодирования), причем в эту таблицу вносятся лишь такие все более длинные отрезки передаваемого сообщения, которые еще не встречались ранее. Каждому отрезку в таблице присваивается n-разрядный номер.

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. АЛГОРИТМ ЛЕМПЕЛA - ЗИВА (LZ) При внесении очередной записи (строки) в таблицу передается блок, содержащий: 1) номер отрезка, уже имеющегося в таблице; 2) символ, следующий в передаваемом сообщении за этим отрезком.

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. Пример кодирования кодом Лемпела –Зива. Исходные данные (10): 25 40 35 4 Исходные данные (2): 011001 10100011 000100 Кодирование Вх. 0 Вых. 0000 Словарь: 1) “_” - 000 2) “ 0” - 001

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. АЛГОРИТМ ЛЕМПЕЛA-ЗИВА Aлгоритм Лемпела-Зива – словарный. Исходные данные (10): 25 40 35 4 Исходные данные (2): 011001 10100011 000100 Вх. 0 1 Вых. 0000 0001 Словарь: 1) “_” - 000 2) “ 0” - 001 3) “ 1” - 000 Т. к. комбинация уже не может начинаться с “_”, а только с “ 0” или “ 1”.

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. АЛГОРИТМ ЛЕМПЕЛA-ЗИВА Исходные данные (10): 25 40 35 4 Исходные данные (2): 011001 10100011 000100 Вх. 0 1 10 01 Вых. 0000 0001 0000 0011 Словарь: 1) “_” - 000 2) “ 0” - 001 3) “ 1” - 000 4) “ 10” - 010 5) “ 01” - 011 6) “ 101” - 100 7) “ 00” - 001 8) “ 010” - 101 9) “ 001” - 110 10) “ 100” - 010 11) “ 0100” - 111 101 00 010 0010 0110 0011 100 0100 1010

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ. Пример кодирования кодом Лемпела-Зива

Доцент кафедры радиотехнических систем А. С. Бернгардт, Тусур, РТФ.