Теория информации Математическая модель канала

Теория информации Математическая модель канала связи 1 Лекция 5. Математическая модель канала связи

Теория информации Физический канал состоит из устройства, способного порождать любое физическое событие (сигналы) из некоторого множества таких событий, и устройства, способного наблюдать ранее порожденные события. Существование физического канала предполагает наличие физической среды , через которую энергия распространяется от устройства, порождающего физические события, к наблюдающему их устройству (пара проводов, моряк, антенна). Лекция 5. Математическая модель канала связи

Теория информации Наблюдение физического явления сопровождается неопределен- ностью, обусловленной случайными возмущениями. Лекция 5. Математическая модель канала связи

Теория информации Число возможных результатов наблюдений не обязательно должно быть равно числу возможных событий. Лекция 5. Математическая модель канала связи

Теория информации Классификация каналов по характеристиками входного и выходного пространств (непрерывные или дискретные по множеству и времени, дискретно-непрерывные, непрерывно-дискретные); по распределению вероятностей, управляющему преобразованием одного пространства в другое (стационарность, память, симметрия); по ограничениям (на последовательность входных значений); по направлению (одно / двухсторонн симплексный, дуплексный). Лекция 5. Математическая модель канала связи

Теория информации Постоянным ( стационарным ) каналом без памяти назовем канал, в котором условные вероятности, связывающие наблюдения на выходе канала и события на входе, остаются неизменными на всех последовательных временных интервалах. Лекция 5. Математическая модель канала связи

Теория информации Дискретные постоянные каналы Последовательность входных событий Последовательность выходных событий Канал без памяти Канал стационарный Лекция 5. Математическая модель канала связи

Теория информации Дискретные постоянные каналы Лекция 5. Математическая модель канала связи

Теория информации Дискретные постоянные каналы Информационная пропускная способность для любого дискретного постоянного канала - максимальное значение , взятое по всевозможным распределениям вероятностей и всем целым положительным Лекция 5. Математическая модель канала связи

Теория информации Дискретные постоянные каналы Теорема. Пусть – совместное распределение вероятностей входных событий; , , …, – распределения вероятностей отдельных событий; – средняя взаимная информация между входными событиями и соответствующими выходными событиями, а – средняя взаимная информация между -м входным событием и соответствующим выходным событием. Тогда для любого дискретного постоянного канала . где знак равенства имеет место тогда и только тогда, когда либо входных событий статистически независимы, либо выходные события статистически не зависят от входных (в этом случае ). Лекция 5. Математическая модель канала связи

Теория информации Дискретные постоянные каналы Теорема. Пусть – условное распределение вероятностей для дискретного постоянного канала, а – произвольное распределение вероятностей на входном пространстве канала. Тогда пропускная способность канала есть максимальное среднее значение взаимной информации вычисленное по всевозможным распределениям вероятностей , т. е. Лекция 5. Математическая модель канала связи

Теория информации Симметричные постоянные каналы Канал симметричен по входу, когда все строки являются перестановками одного и того же множества чисел , , …, , . . . , . Лекция 5. Математическая модель канала связи

Теория информации Симметричные постоянные каналы Когда канал симметричен по входу, шум в канале в одинаковой степени нарушает передачу каждого из возможных входных символов. Говорят, что канал симметричен по выходу , когда столбцы матрицы являются перестановками одного и того же множества из чисел. Канал симметричный как по входу, так и по выходу называют симметричным Лекция 5. Математическая модель канала связи

Теория информации Симметричные постоянные каналы Теорема. Пропускная способность дискретного, постоянного, симметричного по входу канала удовлетворяет неравенству Знак равенства имеет место всякий раз, когда канал симметричен как по входу, так и по выходу. В этом случае пропускная способность реализуется, когда распределения вероятностей на входе и выходе равномерны. Лекция 5. Математическая модель канала связи

Теория информации Симметричные постоянные каналы Лекция 5. Математическая модель канала связи

Теория информации Бинарный (двоичный симметричный) канал 1 -p p p 1 -p Лекция 5. Математическая модель канала связи

Теория информации Бинарный (двоичный симметричный) канал со 1 -p-q стиранием q p p q 1 -p-q xi+ξ ; Лекция 5. Математическая модель канала

Теория информации Бинарный канал со стиранием Пусть Скорость передачи Канал и источник без памяти: Лекция 5. Математическая модель канала связи

Теория информации Пропускная способность канала связи Скорость передачи Канал и источник без памяти: Лекция 5. Математическая модель канала связи

Теория информации Пропускная способность симметричного бинарного канала со стиранием Дано: Откуда: Требуется определить С. Лекция 5. Математическая модель канала связи

Теория информации Пропускная способность симметричного бинарного канала со стиранием 0 Канал без стирания (симметричный бинарный канал): q=0; Канал без помех: р=0; Лекция 5. Математическая модель канала связи

Теория информации Пропускная способность симметричного бинарного канала Лекция 5. Математическая модель канала связи