Теория информации Энтропия непрерывного источника сообщений Лекция 5

Теория информации Энтропия непрерывного источника сообщений Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Непрерывные сообщения. - сигнал на выходе источника сообщений. - номинальные значения сигнала. f(x) х 1 х2 х Лекция 5. Энтропия непрерывного источника сообщений

Теория информации 1. Переход к дискретному случаю – квантование x. f(x) x xкв f(xi) xk x x ∆x – шаг квантования xi Pi(∆x)≈f(xi)∆x ∆x Лекция 5. Энтропия непрерывного источника сообщений

Теория информации 1. Энтропия источника сообщений после квантования. 1 Лекция 5. Энтропия непрерывного источника сообщений

Теория информации 3. Дифференциальная энтропия. f(x) a в - Если в-а=1, то Дифференциальная энтропия: В дальнейшем можно опускать индекс “q”, понимая, что речь идёт о дифференциальной энтропии источника непрерывных сообщений. Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Взаимная информация fy(y) fx(xi) fx(x) ∆x fy(yi) x xi ∆y y yi Дано: Воспоминания: Если x и y статистически не связаны, то Если x и y однозначно связаны: Лекция 5. Энтропия непрерывного источника сообщений

Теория информации 1. Квантуем по уровню x с шагом ∆x; 2. Квантуем по уровню y с шагом ∆y; 3. 4. Для дискретных (квантованных) сообщений: При ∆x→ 0 и ∆y→ 0 выражение остаются теми же. Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Средняя взаимная информация. Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Функциона л — числовая функция, заданная на векторном пространстве. Функционал берёт в качестве аргумента элемент линейного пространства (вектор) и возвращает в качестве результата скаляр. Довольно часто в роли линейного пространства выступает то или иное пространство функций (непрерывные функции на отрезке, интегрируемые функции на плоскости т. д. Неформально говоря, функционал — это функция от функций, переводящая функцию в число (действительное или комплексное). Самый простой функционал — проекция (сопоставление вектору одной из его координат). Отображение, переводящее вектор в его норму. Задачи оптимизации формулируются на языке функционалов: найти решение (уравнения, системы уравнений, системы ограничений, системы неравенств, системы включений и т. п. ), доставляющее экстремум (минимум, максимум) заданному функционалу. Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Виды функционалов • интегральный: • терминальный: • смешанный (функционал Больца): Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Вариацио нное исчисле ние — это раздел функционального анализа, в котором изучаются вариации функционалов. Самая типичная задача вариационного исчисления состоит в том, чтобы найти функцию, на которой заданный функционал достигает экстремального значения. Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Термин варьирование (варьировать) применяется в вариационном исчислении для обозначения нахождения вариации или вариационной производной. Вариационная задача означает, как правило, нахождение функции, удовлетворяющей условию стационарности некоторого заданного функционала, то есть такой функции, (бесконечно малые) возмущения которой не вызывают изменения функционала по крайней мере в первом порядке малости. Также вариационной задачей называют тесно связанную с этим задачу нахождения функции, на которой данный функционал достигает локального экстремума (во многом эта задача сводится к первой, иногда практически полностью). Типичными примерами вариационной задачи являются изопериметрические задачи в геометрии и механике; в физике — задача нахождения уравнений поля из заданного вида действия для этого поля. Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Ещё в античные времена появились первые вариационные проблемы, относящиеся к категории изопериметрических задач : Из всех фигур с заданным периметром наибольшую площадь имеет круг. Из всех многоугольников с заданным числом сторон и заданным периметром наибольшую площадь имеет правильный многоугольник. Из всех тел с заданной площадью поверхности наибольший объём имеет шар. Аналогом дифференциала (первого дифференциала) является в вариационном исчислении вариация (первая вариация): Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Основные задачи вариационного исчисления: 1. нахождение точек в пространстве функций, на котором определён функционал — точек стационарного функционала, стационарных функций, линий, траекторий, поверхностей и т. п. , то есть нахождение для заданного таких , для которых при любом (бесконечно малом) , или, иначе, где , 2. нахождение локальных экстремумов функционала, то есть в первую очередь определение тех , на которых принимает локально экстремальные - нахождение экстремалей(иногда также определение знака экстремума). Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Условным экстремумом называется экстремум не на всей области определения функции (функционала), а на определённом её подмножестве, выделяемом специально наложенным условием (или условиями). Обычно, речь идёт о выделении этим условием (условиями) подмножества области определения с меньшей размерностью, что для конечномерных областей имеет определённый наглядный смысл, но для бесконечномерных (каковы обычно области определения функционалов) налагаемые условия приходится рассматривать лишь абстрактно (что теоретически не мешает иметь в виду полезную аналогию с конечномерным случаем) Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Основные виды задачи на условный экстремум, которые имеет смысл рассмотреть, таковы: 1. Надо найти экстремум функционала при условии ; равенства нулю другого функционала (то, что в правой части нуль, не нарушает общности). при условии . 3. Надо найти экстремум функционала при условии 2. Надо найти экстремум функционала , выполнения для уравнения где — некоторая функция и/или производных , обозначенных штрихами. Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Для нахождения условного экстремума в первых двух из перечисленных случаях применим метод неопределенных множителей Лагранжа. Нужно решить вариационную задачу в первом и во втором случае, а затем подобрать (решив уравнение для функционала в первом случае и N уравнений с частными производными по каждому из во втором) такие , которые реализуют минимум в найденном семействе функций f, для которого эти являются параметрами. Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Ключевым моментом является нахождение и приравнивание нулю вариации (или вариационной производной) для некоего , нового функционала для этих двух случаев: 1. 2. Уравнения Эйлера — Лагранжа — дифференциальные уравнения, которым должна удовлетворять функция, на которой функционал достигает локального экстремума. Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Максимум дифференциальной энтропии. Задача 1. Определить максимум величины X: а≤x≤в. Таким образом: при заданном диапазоне случайной а≤x≤в; Воспоминания: y(x)-неизвестная функция. Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Условие Требуется найти y(x), доставляющую максимум (минимум) J. Уравнение Эйлера: Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Решение: Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Задача 2. Определить максимум дифференциальной энтропии при заданной мощности (дисперсии) сигнала. Определить максимум при условии: Обратите внимание: диапазон не ограничен (1); математическое ожидание принято равным 0 (2). Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Решение: а в Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Откуда: Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Гауссовский источник непрерывных сообщений. 1) Сигнал: 2) Сигнал стационарный с равномерной спектральной плотностью. мощности в полосе частот от 0 до Отсюда - Лекция 5. Энтропия непрерывного источника сообщений

Теория информации 3) В соответствии с теоремой Котельникова передаём информацию с шагом временной дискретизации. Эти отсчеты не коррелированны (а так как сигнал гауссовский, то и независимы). Некоррелированность следует из Отсюда источник отсчетов без памяти. 4) Производительность гауссовского источника при фиксированном Δx (этим учитываем факт использования дифференциальной энтропии) равна: Пропускная способность гауссовского канала связи (формула Шеннона-Таллера). Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Гауссовский канал: 1. Источник сообщений гауссовский: закон распределения амплитуд синала гауссов, сигнал стационарный с постоянной плотностью мощности в полосе частот от 0 до 2. Помеха в(t) – аддитивная, имеет гауссовский закон распределения: y(t)=x(t)+в(t) сигнал на входе приемника 3. сигнал помеха Помеха статистически не связана с сигналом: f(в|x)= f(x|в)= Лекция 5. Энтропия непрерывного источника сообщений

Теория информации 4. Помеха имеет постоянную спектральную плотность мощности в полосе канала от 0 до Отсюда следует, что отсчеты помехи с шагом временной дискретизации статистически независимы. Лекция 5. Энтропия непрерывного источника сообщений

Теория информации Требуется определить С – пропускную способность гауссовского канала. При передачи отсчетов с шагом источник сообщений и канал связи «без памяти» . Отсюда определяется при гауссовом источнике, дающем максимум дифференциальной энтропии при заданной мощности, и введенной модели аддитивной помехи. Лекция 5. Энтропия непрерывного источника сообщений

Теория информации = с Лекция 5. Энтропия непрерывного источника сообщений