Теория информации Взаимная и собственная

Теория информации Взаимная и собственная информация Лекция 2. Взаимная и собственная информация

Теория информации Сообщение – совокупность знаков или первичных сигналов, содержащих информацию Алфавит - пространство сообщений. Ансамбль - пространство с заданным на нем распределением вероятностей. Лекция 2. Взаимная и собственная информация

Теория информации Геометрическая иллюстрация произведения пространств XY -относительная вероятность точки по отношению ко всей строке или всему столбцу, к которым она принадлежит Лекция 2. Взаимная и собственная информация

Теория информации Измерение информации Можно определить, в какой степени определяет , т. е. определить меру количества информации, переданной через блок. Информация относительно , содержащаяся в , сводится к изменению вероятности от ее априорного значения к ее апостериорному значению. Лекция 2. Взаимная и собственная информация

Теория информации Измерение информации Количество информации, содержащееся в событии относительно появления события : -апостериорная вероятность -априорная вероятность Взаимная информация - мера статистической связи между и. Лекция 2. Взаимная и собственная информация

Теория информации Если два рассматриваемых события статистически независимы (канал оборван): Взаимная информация положительна , когда вероятность появления одного из этих событий, если известно, что уже произошло другое, больше безусловной вероятности появления этого события, и наоборот, отрицательна , когда вероятность появления одного из этих событий, если уже произошло другое, меньше безусловной вероятности этого события. Лекция 2. Взаимная и собственная информация

Теория информации Единицы измерения информации Основание Единица измерения информации 2 «бит» , binary digit 1 бит – информация, Единица информации (двоичная цифра), которую несет относительно «двоичная единица» сообщение, имеющее получается, если (дв. ед. ) вероятность ½. вероятность увеличивается в два раза. е «нат» , natural unit , 1 нат – информация, Единица информации «натуральная которую несет относительно единица» (нат. ед. ) сообщение, имеющее получается, если вероятность 1/ е. вероятность увеличивается в е раз. 10 «хартли» , 1 хартли – информация, Единица информации «десятичная которую несет относительно единица» (дес. ед. ) сообщение, имеющее получается, если вероятность 1/ 10. вероятность увеличивается в 10 раз. Лекция 2. Взаимная и собственная информация

Теория информации Количество собственной информации Рассмотрим произведение ансамблей XY , и пусть пара xk и yi - точка этого ансамбля. Так как (1) то взаимная информация между xk и yi (2) удовлетворяет двум неравенствам (3) Лекция 2. Взаимная и собственная информация

Теория информации З нак равенства в (3) имеет место тогда и только тогда, когда имеет место знак равенства в соотношениях ( 1 ). Т. е. существует канал без помех. Количество собственной информации в x k и y i соответственно: Информация в каком-либо событии измеряется логарифмом величины, обратной вероятности его появления. Лекция 2. Взаимная и собственная информация

Теория информации Информация равна нулю , если вероятность появления сообщения равна единице. Чем меньше вероятность появления события, тем выше информация. Если вероятность равна нулю , то информация равна бесконечности. Информация есть мера удивления. Лекция 2. Взаимная и собственная информация

Теория информации С обственная информация I( x k максимальное количество взаимной информации, которую можно иметь о xk. Лекция 2. Взаимная и собственная информация