Теория информации Лекция B Линейные коды Теория

Теория информации Лекция B Линейные коды

Теория информации Математическое введение Алгебраические системы это системы, которые подчиняются определенным правилам или законам. Группа это система, в которой заданы одна основная операция и операция, ей обратная, например сложение и вычитание или умножение и деление. В кольце определены две основные операции сложение и умножение и операция, обратная первой из этих операций, вычитание. В поле определены две основные операции и для каждой из них обратные операции. Лекция B Линейные коды

Теория информации Математическое введение. Группа. Группой называется совокупность объектов или элементов, для которых определена некоторая операция и выполняются аксиомы G. l G. 4. Пусть элементы группы. Операция это однозначная функция двух переменных, которая может быть обозначена как , но обычно ее записывают в виде или и называют сложением или умножением, даже если она не является арифметическим сложением или арифметическим умножением обычных чисел. Лекция B Линейные коды

Теория информации Математическое введение. Группа. Аксиома G. 1 (замкнутость). Операция может быть применена к любым двум элементам группы, в результате чего получается третий элемент группы. Аксиома G. 2 (ассоциативный закон). Для любых трех элементов и группы , если операция записана как сложение, или , если операция записана как умножение. Лекция B Линейные коды

Теория информации Математическое введение. Группа. Аксиома G. 3. Существует единичный элемент. Если операция называется сложением, то единичный элемент называется нулем, обозначается как 0 и определяется из уравнения , которое должно выполняться для любого элемента группы. Если операция называется умножением, то единичный элемент называется единицей, обозначается как 1 и определяется из уравнения . Аксиома G. 4. Каждый элемент группы обладает обратным элементом. Лекция B Линейные коды

Теория информации Математическое введение. Группа называется абелевой или коммутативной, если кроме перечисленных аксиом, элементы группы удовлетворяют коммутативному закону, т. е. для них выполняется равенство или, если операция является умножением, равенство . Теорема. Группа обладает единственным единичным элементом, и каждый элемент группы имеет единственный обратный элемент. Лекция B Линейные коды

Теория информации Математическое введение. Кольцом называется множество элементов, на котором определены две операции. Одна из них называется сложением, другая называется умножением. Для того чтобы было кольцом, должны выполняться следующие аксиомы: Аксиома R. 1. Множество является абелевой группой относительно операции сложения, т. е. аддитивной абелевой группой. Аксиома R. 2 (замкнутость). Для любых двух элементов и из множества определено произведение , которое является элементом . Лекция B Линейные коды

Теория информации Математическое введение. Кольцо. Аксиома R. 3 (ассоциативный закон). Для любых трех элементов и из множества . Аксиома R. 4 (дистрибутивный закон). Для любых трех элементов и из множества справедливы равенства и . Кольцо называется коммутативным, если коммутативна операция умножения, т. е. если для любых двух элементов и выполняется равенство . Лекция B Линейные коды

Теория информации Математическое введение. Кольцо. Теорема. В любом кольце для любых элементов и справедливы соотношения и . Лекция B Линейные коды

Теория информации Математическое введение. Полем называется коммутативное кольцо с единичным элементом относительно умножения (единичный мультипликативный элемент кольца), в котором каждый ненулевой элемент имеет мультипликативный обратный элемент (т. е. обратный по умножению). Некоммутативное кольцо, в котором у каждого ненулевого элемента есть обратный, называют кольцом с делением, или телом. Ненулевые элементы поля удовлетворяют всем аксиомам группы и, следовательно, образуют мультипликативную группу (т. е. группу относительно умножения). Лекция B Линейные коды

Теория информации Математическое введение. Подгруппы. Некоторое подмножество элементов группы называется подгруппой , если оно удовлетворяет всем аксиомам группы. Для того чтобы определить, является ли подгруппой, нужно проверить только замкнутость (это значит, что если и принадлежат , то произведение тоже принадлежит ) и наличие обратных элементов (это значит, что если принадлежит , то также принадлежит ). Лекция B Линейные коды

Теория информации Математическое введение. Подгруппы. Если множество замкнуто относительно групповой операции и содержит обратные элементы, то оно должно также содержать единичный элемент группы. Очевидно, что в подгруппе должен выполняться ассоциативный закон, если он выполняется в группе. Лекция B Линейные коды

Теория информации Математическое введение. Подгруппы. , , , … элементы подгруппы . Разложение группы на смежные классы. Левый смежный класс совокупность элементов в строке. Образующий смежного класса элемент, стоящий в первом столбце строки. Лекция B Линейные коды

Теория информации Математическое введение. Подгруппы. Подгруппа группы называется нормальной (нормальным делителем), если для любого элемента из и любого элемента из произведение принадлежит . Если подгруппа группы нормальная, то можно ввести операцию над смежными классами, так что получится новая группа, элементами которой будут смежные классы. Эта группа называется факторгруппой и обозначается как . Лекция B Линейные коды

Теория информации Математическое введение. Векторные пространства и линейные алгебры. Множество называется векторным пространством над полем , если для него выполняются следующие аксиомы: Аксиома V. 1. Множество является абелевой аддитивной группой. Аксиома V. 2. Для любого вектора и любого элемента поля определено произведение , являющееся вектором {элементы поля называются скалярами, а элементы векторами). Лекция B Линейные коды

Теория информации Математическое введение. Векторные пространства и линейные алгебры. Аксиома V. 3 (дистрибутивный закон). Если и векторы из множества , а скаляр, то . Аксиома V. 4 (дистрибутивный закон). Если вектор, а и скаляры, то . Аксиома V. 5 (ассоциативный закон). Если вектор, а и скаляры, то и . Лекция B Линейные коды

Теория информации Математическое введение. Векторные пространства и линейные алгебры. Множество называется линейной ассоциативной алгеброй над полем , если выполняются следующие аксиомы: Аксиома А. 1 Множество является векторным пространством над . Аксиома А. 2 Для любых двух элементов и из существует произведение , определяемое как некоторый элемент из . Лекция B Линейные коды

Теория информации Математическое введение. Векторные пространства и линейные алгебры. Аксиома А. 3 (ассоциативный закон). Для любых трех элементов , и из справедливо равенство . Аксиома А. 4 (билинейный закон). Если и скаляры из , а , и векторы из , то и . Лекция B Линейные коды

Теория информации Математическое введение. Векторные пространства и линейные алгебры. Набором длины элементов поля называется упорядоченное множество из элементов поля, обозначаемое как , где каждый из является элементом поля. . Если определены эти две операции, то, совокупность всех наборов длины над полем образует векторное пространство. Лекция B Линейные коды

Теория информации Математическое введение. Векторные пространства и линейные алгебры. Введение умножения наборов длины превращает совокупность наборов в линейную алгебру. Линейной комбинацией векторов называется сумма вида . Здесь скаляры, т. е. элементы поля. Лекция B Линейные коды

Теория информации Математическое введение. Векторные пространства и линейные алгебры. Теорема. Совокупность всех линейных комбинаций некоторого набора векторов из векторного пространства является подпространством пространства . Совокупность векторов называется линейно зависимой тогда и только тогда, когда существуют скаляры , не все равные нулю, такие, что Лекция B Линейные коды

Теория информации Математическое введение. Векторные пространства и линейные алгебры. Совокупность векторов называется линейно независимой, если она не является линейно зависимой. Говорят, что некоторая совокупность порождает векторное пространство, если каждый векторного пространства может быть представлен в виде линейной комбинации векторов этой совокупности. Лекция B Линейные коды

Теория информации Математическое введение. Векторные пространства и линейные алгебры. Теорема. Если совокупность векторов порождает векторное пространство, которое содержит некоторую совокупность из линейно независимых векторов , то . Теорема. Если два множества линейно независимых векторов порождают одно и то же пространство, то в каждом из множеств содержится одно и то же число векторов. Лекция B Линейные коды

Теория информации Математическое введение. Векторные пространства и линейные алгебры. В любом пространстве число линейно независимых векторов, порождающих пространство, называется размерностью пространства. Совокупность линейно независимых векторов, порождающих -мерное пространство называется базисом пространства. Лекция B Линейные коды

Теория информации Математическое введение. Векторные пространства и линейные алгебры. Скалярным произведением двух последовательностей длины называется скаляр, определяемый как . Если скалярное произведение двух векторов равно нулю, то эти векторы ортогональны. (1110)(0110)=1*0+1*1+0*0 = 0 – ортогональны не ортогональны Лекция B Линейные коды

Теория информации Математическое введение. Кольца многочленов и поля Галуа. Идеалы, классы вычетов и кольцо классов вычетов. Идеалом называется подмножество элементов кольца , обладающее следующими двумя свойствами: 1) является подгруппой аддитивной группы кольца. 2) для любого элемента из и любого элемента из произведения и принадлежат . Лекция B Линейные коды

Теория информации Математическое введение. Кольца многочленов и поля Галуа. Идеалы, классы вычетов и кольцо классов вычетов. Поскольку идеал является подгруппой, то по нему могут быть образованы смежные классы. В этом случае смежные классы называются классами вычетов. Теорема. Классы вычетов по идеалу в некотором кольце образуют кольцо. Это кольцо называется кольцом классов вычетов. Лекция B Линейные коды

Теория информации Математическое введение. Идеалы многочленов и классы вычетов. Наибольшим общим делителем двух многочленов называется нормированный многочлен наибольшей степени, который является делителем для обоих многочленов. Лекция B Линейные коды

Теория информации Лекция B Линейные коды

Теория информации Некоторое множество векторов длины называется линейным блоковым кодом тогда и только тогда, когда оно является подпространством векторного пространства всех наборов длины. Линейный древовидный код – это множество полубесконечных последовательностей, которые образуют подпространство в линейном векторном пространстве всех таких наборов. Лекция B Линейные коды

Теория информации В любого поля из элементов, где – простое число, любая группа векторов является также подпространством. Для двоичных линейных кодов общепринято название групповой код. Лекция B Линейные коды

Теория информации Геометрическая модель кода Вес Хэмминга вектора обозначаемый через , определяется как число ненулевых компонент этого вектора. Так как расстояние Хэмминга между двумя векторами и равно числу компонент, которыми они отличаются, то расстояние между и равно . Лекция B Линейные коды

Теория информации Геометрическая модель кода Если векторы и являются кодовыми словами линейного кода, то разность также должна быть кодовым словом, потому что множество всех кодовых слов есть векторное пространство. Следовательно, расстояние между двумя кодовыми векторами равно весу некоторого третьего кодового вектора, и минимальное расстояние для линейного кода равно минимальному весу его ненулевых векторов. Лекция B Линейные коды

Теория информации Описание линейных блоковых кодов при помощи матриц Порождающая матрица кода – матрица, у которой строки являются элементами любого множества базисных векторов линейного кода. Количество строк матрица кода равно размерности векторного пространства . -код. Лекция B Линейные коды

Теория информации Описание линейных блоковых кодов при помощи матриц Если - подпространство размерности , то его нулевое пространство является векторным пространством размерности . Может быть построена матрица ранга , строками которой является базис пространства и пространство строк которой совпадает с . Матрица -проверочная матрица кода . Лекция B Линейные коды

Теория информации Описание линейных блоковых кодов при помощи матриц Приведенно-ступенчатая матрица. Лекция B Линейные коды

Теория информации Описание линейных блоковых кодов при помощи матриц Первые компонент кодового вектора произвольно выбранные информационные символы. Каждая из последних компонент - линейная комбинация первых компонент и называется избыточным или проверочным символом. Это систематический код. Лекция B Линейные коды

Теория информации Описание линейных блоковых кодов при помощи матриц Теорема. Если – пространство строк матрицы , где – единичная матрица размерности , а – матрица размерности , то - нулевое пространство матрицы , где – единичная матрица размерности . Лекция B Линейные коды

Теория информации Описание линейных блоковых кодов при помощи матриц Теорема. Вектор необнаруженной ошибки есть вектор кода. Пусть - вектор ошибки, которая не обнаруживается. Тогда . Отсюда - вектор кода, ч. т. д. Теорема. Перестановка строк и столбцов порождающей матрицы не меняет . Лекция B Линейные коды

Теория информации Описание линейных блоковых кодов при помощи матриц Дуальность кодов. Связь числа проверочных символов r c кратностью исправляемой ошибки i Лекция B Линейные коды

Теория информации Спектр весов линейного n, k кода Вес векторов кода Кратность необнаруженной ошибки 0 1 2 … … Число векторов кода веса . Число необнаруженных ошибок кратности - (равно числу векторного кода веса ) 1 0 См. теорему 1 … 0 … Лекция B Линейные коды

Теория информации Расчет показателей достоверности 1. Приемник – декодер работает только в режиме обнаружения ошибок. Трансформация кодовой комбинации происходит только тогда, когда ошибка, происшедшая в канале связи не обнаруживается кодом. Лекция B Линейные коды

Теория информации Расчет показателей достоверности при Лекция B Линейные коды

Теория информации Расчет показателей достоверности Принята биномиальная модель источника ошибок: ошибки симметричны и независимы (симметричный бинарный канал без памяти). Вероятность любой ошибки -й кратности Вероятность всех ошибок -й кратности: - биномиальный закон распределения случайной величины . Лекция B Линейные коды

Теория информации Расчет показателей достоверности 2. Приемник – декодер работает в режиме исправления ошибок (до кратности t) и обнаружения (до кратности ). Лекция B Линейные коды

Теория информации Расчет показателей достоверности Режим обнаружения ошибок Вероятность правильного приёма Ряд знакопеременный сходящийся: р<1 Лекция B Линейные коды

Теория информации i Бином Ньютона Ряд Маклорена 0 1 2 1 1 …………………. . 3 i Лекция B Линейные коды

Теория информации Лекция B Линейные коды

Теория информации Расчет показателей достоверности Режим обнаружения ошибок Вероятность трансформации Лекция B Линейные коды

Теория информации Расчет показателей достоверности Режим обнаружения ошибок Вероятность трансформации Теорема. Если , то Если , то Лекция B Линейные коды

Теория информации Свойства биномиального распределения . При Лекция B Линейные коды

Теория информации Свойства биномиального распределения При , если Пусть при некотором Это условие выполняется, когда Лекция B Линейные коды

Теория информации Свойства биномиального распределения Если последовательно равен , …, , то , причем знак равенства соответствует . где Лекция B Линейные коды

Теория информации Свойства биномиального распределения Откуда Лекция B Линейные коды

Теория информации Свойства биномиального распределения Лекция B Линейные коды

Теория информации Код с проверкой на четность Лекция B Линейные коды

Теория информации Код с проверкой на четность. Спектр весов кода 6, 5 код Вывод: число векторов Вес Число векторов кода веса - число 0 1 необнаруженных ошибок 1 0 кратности . 2 3 0 4 5 0 6 Лекция B Линейные коды

Теория информации Код с h-кратным повторением h=2 - обнаруживает одиночную и любую ошибку нечетной кратности, если она не одинаковая во всех словах h=3 - исправляет одиночную ошибку Лекция B Линейные коды

Теория информации Код с h-кратным повторением. Декодирование по синдрому Лекция B Линейные коды

Теория информации Код Бауэра исправляет одиночную ошибку Лекция B Линейные коды

Теория информации Несистематический код Хэмминга Для каждой отдельной одиночной ошибки синдром является двоичным представлением номера разряда, в котором произошла ошибка. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 k r n Кол-во зачеркнутых = кол-во 0 1 1 проверочных 0 2 2 - неукороченный 1 2 3 1 3 4 2 3 5 3 3 6 4 3 7 Лекция B Линейные коды

Теория информации Несистематический код Хэмминга s 3 s 2 s 1 0 0 1 2 0 1 0 3 0 1 1 4 1 0 0 5 1 0 1 6 1 1 0 7 1 1 1 Лекция B Линейные коды

Теория информации Несистематический код Хэмминга Лекция B Линейные коды

Теория информации Несистематический код Хэмминга Матрица содержит строк и столбцов, причем столбцами являются все ненулевые двоичные наборы длины . Лекция B Линейные коды

Теория информации Укороченный Хэмминга несистематический код Вектора укороченного кода: 00000, 11100, 10011, 01111. Лекция B Линейные коды

Теория информации Код Хэмминга 00000 код 00000 11100 10011 01111 00001 11101 10010 01110 00010 11110 10001 01101 00100 11000 10111 01000 10100 11011 00111 10000 01100 00011 11111 00110 110101 01001 00101 11001 10110 01010 Образующие смежных классов (вектора ошибок ) Лекция B Линейные коды

Теория информации Код Хэмминга 1. Число смежных классов – число исправляемых и обнаруживаемых ошибок. Число векторов кода – Число всех векторов длины n – Число смежных классов - Число ненулевых смежных классов – Лекция B Линейные коды

Теория информации Код Хэмминга 2. Все вектора одного смежного класса имеют один и тот же синдром. –образующий i–го смежного класса; –вектор кода, стоящий в j–ом столбце. –вектор i–го смежного класса, стоящий в j–ом столбце 3. Если (т. е. число смежных классов), равно n, то код исправляет все одиночные ошибки, т. е. имеем не укороченный код Хэмминга. Лекция B Линейные коды

Теория информации Коды Хэмминга Спектр весов кода n=7, k=4 Вес Число векторов кода веса 0 1 1 0 2 0 3 7 4 7 5 0 6 0 7 1 Лекция B Линейные коды

Теория информации Систематический код Хэмминга Лекция B Линейные коды

Теория информации Несистематический код Хэмминга Двоичный код c может быть получен прибавлением к двоичному коду Хэмминга одного проверочного соотношения, проверяющего на четность совокупность всех символов кода. Лекция B Линейные коды

Теория информации Несистематический код Хэмминга Лекция B Линейные коды