НИЯУ МИФИ Кафедра 36 «Информационные системы и технологии»

НИЯУ МИФИ Кафедра 36 «Информационные системы и технологии» Основы цифровой обработки Преподаватель: Гаранина Мария Леонидовна, кафедра 36 Email: rysia@list. ru

Организационные моменты 1. Расписание: 1 лекция суббота 2 -я пара в К-301 1 семинар по нечетным неделям 5 -я пара в К-315 1 Лабораторная работа по четным неделям 5 -я пара в К-315 2. Литература 3. Зачет и экзамен Зачет= 2 К/Р с оценкой « 4» или « 5» + сданные ЛР Экзамен – классический вариант 2 -3 вопроса + 1 задача 4. Правила Работы • • • Тишина Взаимное уважение Посещаемость Приходим во время ……

Структура курса

Лекция 1. Статистическое описание СВР

1. 1. Определение случайного временного ряда Случайным временным рядом (СВР или для краткости ВР) называется упорядоченная последовательность случайных величин (Х 1, Х 2, …), где роль параметра порядка играет дискретное время. Индекс дискретного времени i может принадлежать различным множествам. Например: 1) i Є (-∞; ∞) 2) i Є [1; N] 3) i Є [0; ∞) Во втором случае ВР – конечный, в остальных 2 -х случаях ВР – бесконечный. Индекс дискретного времени также показывает с какой периодичностью снимаются показания (интервал съема данных). Если интервал съема данных неизменный: ti+1 -ti =T = const, то ВР называется равномерным. T – интервал дискретности ВР обозначается - Х, конкретная реализация ВР – х = (х1, х2, …), где хi – конкретные реализации Хi.

Моделирование случайных временных рядов Выделяют 4 основных фактора, которые, как правило, полностью определяют динамику СВР: 1. Долгосрочное движение ВР – тренд 2. Низкочастотные колебания относительно тренда (непостоянной формы и длительности) 3. Сезонные колебания с постоянным периодом 4. Случайные движения, не имеющие закономерного характера

Долгосрочное движение (Тренд) + Низкочастотные колебания

Сезонные колебания

Случайные (незакономерные) движения

Математические модели СВР Виды математических моделей ВР: 1) Аддитивная модель: хi=li+pi+si+ i li - тренд pi - низкочастотные колебания si - сезонные колебания i - случайные незакономерные движения Обычно li+pi=mi и модель приобретает вид: хi= mi +si+ei 2) Мультипликативная модель: xi = mi *si * i. 3) Смешанная модель: хi= mi*si+ i Иногда для удобства мультипликативную модель превращают в аддитивную: yi =ln(хi)= ln(mi)+ln(si)+ln( i )

1. 2. Одномерный закон распределения вероятностей Рассмотрим СВР: Х=(Х 1, Х 2, …Хn). У каждой из этих случайных величин есть закон распределения вероятностей (ЗРВ). Зафиксируем индекс времени i => мы зафиксировали СВ Хi. ЗРВ этой СВ зависит от индекса времени и является одномерным ЗРВ. Определим: F 1 (ξ, i) = P[Xi< ξ] – интегральный ЗРВ или функция распределения вероятностей. - дифференциальный ЗРВ или функция плотности распределения вероятностей.

Свойства F 1(ξ, i) и f 1 (ξ, i): 1. F 1(-∞, i) =0 2. F 1(∞, i) =1 3. F 1(ξ 1, i)≤ F 1(ξ 2, i) для любых значений ξ 1< ξ 2

Статистические характеристики СВР Продолжим работу с СВР: Х=(Х 1, Х 2, …Хn). Допустим, что для всех моментов времени i Є I СВ Xi подвергается функциональному преобразованию. Такое преобразование безынерционное (мгновенное) и порождает новый ВР: Определим математическое ожидание Yi следующим образом: Математическим ожиданием М[У]= называется неслучайным ВР:

Статистические характеристики СВР

Статистические характеристики СВР

1. 3. ДВУМЕРНЫЙ ЗАКОН РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ ВРЕМЕННОГО РЯДА Двумерный интегральный закон распределения вероятностей временного ряда отражает статистическую связь значений временного ряда в 2 разных временных сечениях i≠j. Он определяется следующей формулой: Эта формула соответствует совместному интегральному распределению вероятностей пары случайных величин Хi и Xj. Дифференциальный закон распределения вероятностей второго порядка для временного ряда определяется следующей формулой:

Свойства F 2(ξ, i; η, j) и f 2 (ξ, i; η, j): Если для любых временных сечений i≠j случайные величины Хi и Xj статистически независимы, то справедливо равенство:

1. 4. УСЛОВНОЕ РАСПРЕДЕЛЕНИЕ ВЕРОЯТНОСТЕЙ ВРЕМЕННОГО РЯДА Условный закон распределения вероятностей временного относительно некоторого события A определяется выражением: ряда В качестве события A может рассматриваться выполнение равенства: В этом случае говорят об условном интегральном законе распределения вероятностей временного ряда: Условная плотность распределения вероятностей определяется формулой:

В теории временных рядов часто используется равенство, связывающее двумерную, одномерную и условную плотности распределения вероятностей временного ряда: Данные равенства означают, что с точки зрения объема информации о распределении вероятностей временного ряда закон распределения вероятностей 2 -го порядка эквивалентен совокупности одномерного и условного законов распределения вероятностей.

Лекция 2. Статистическое описание СВР. Продолжение План лекции: 1. 2. 3. 4. 5. Автоковариационная матрица Автокорреляционная матрица Абсолютно СВР с независимыми приращениями Анализ первых разностей СВР

Автоковариационная матрица В предыдущих параграфах были введены: • математического ожидания • начальные моменты СВР • центральные моменты СВР Перечисленные характеристики определяются законом распределения вероятностей 1 -го порядка. С законом распределения вероятностей 2 -го порядка связана важнейшая для приложений характеристика временного ряда – автоковариационная матрица:

Свойства автоковариационной матрицы 1. Симметричность: 2. Диагональные элементы матрицы Kxx равны дисперсии СВР X в соответствующем временном сечении: 3. Автоковариационный момент kij(xx) не превышает среднего геометрического значений соответствующих диагональных элементов: 4. Значение kij(xx) отображает меру линейной зависимости значений Хi и Xj СВР Х 5. Если значения СВР Хi и Xj независимы (i≠j), то kij(xx) =0

Автокорелляционная матрица Еще одна характеристика, связанная с ЗРВ 2 -го порядка, это автокорреляционная матрица, которая получается из автоковариационной матрицы следующим образом: Неудобство автоковариационной матрицы заключается в зависимости ее элементов от единиц измерения (кг, м, А). Для того, чтобы избавиться от этой зависимости СВР нормируют:

Свойства автокорелляционной матрицы 1. Симметричность: 2. Диагональные элементы матрицы Rxx равны: 3. Имеет место следующее равенство: 4. , если Хi и Xj линейно зависимы, т. е. 5. Если значения СВР Хi и Xj независимы (i≠j), то rij(xx) =0

1. 8. АБСОЛЮТНО СЛУЧАЙНЫЙ ВРЕМЕННОЙ РЯД Абсолютно случайным называют бесконечный временной ряд с независимыми в совокупности случайными значениями Хi, Таким образом, полное статистическое описание абсолютно случайного временного ряда X содержится в его одномерном законе распределения вероятностей F 1 (ξ, i). В общем случае mi(x) абсолютно случайного временного ряда может быть произвольной функцией временного индекса i. Однако в практических приложениях обычно полагают абсолютно случайный временной ряд центрированным, так что mi(x) = 0 для всех

1. 8. АБСОЛЮТНО СЛУЧАЙНЫЙ ВРЕМЕННОЙ РЯД Дисперсию абсолютно случайного временного ряда называют его интенсивностью, которая может изменяться во времени. Абсолютно случайный временной ряд иначе называют «белым шумом» . В силу независимости значений «белого шума» его автоковариация может быть представлена формулой: - дельта-функция Кронекера

1. 8. АБСОЛЮТНО СЛУЧАЙНЫЙ ВРЕМЕННОЙ РЯД Для автокорреляции «белого шума» справедливо выражение: Отсюда следует, что автокорреляционная матрица «белого шума» является единичной матрицей: Rxx = E. «Белый шум» благодаря абсолютно случайным в совокупности значениям на практике используют для имитации случайных помех в моделях различных СВР.

1. 9. ВРЕМЕННОЙ РЯД С НЕЗАВИСИМЫМИ ПРИРАЩЕНИЯМИ Рассмотрим временной ряд Z, значения которого связаны с «белым шумом» X следующим выражением: Предположим, что «белый шум» является центрированным и имеет постоянную интенсивность:

1. 9. ВРЕМЕННОЙ РЯД С НЕЗАВИСИМЫМИ ПРИРАЩЕНИЯМИ Рассмотрим приращение временного ряда Z на одном такте дискретного времени: В силу свойства независимости значений «белого шума» X, приращения временного ряда Z также являются независимыми. Рассчитаем математическое ожидание временного ряда Z: Таким образом, временной ряд Z является центрированным. Этот результат является следствием центрированности «белого шума» X.

1. 9. ВРЕМЕННОЙ РЯД С НЕЗАВИСИМЫМИ ПРИРАЩЕНИЯМИ Рассчитаем дисперсию СВР Z. Используем известное положение теории случайных величин: дисперсия суммы независимых случайных величин равна сумме их дисперсий. Дисперсия характеризует разброс (или неопределенность) значений в различных реализациях случайной величины. Таким образом, видно, что с течением времени неопределенность СВР Z линейно нарастает.

1. 9. ВРЕМЕННОЙ РЯД С НЕЗАВИСИМЫМИ ПРИРАЩЕНИЯМИ При расчете автоковариационного момента kij(zz) положим i ≤ j. Это даст исчерпывающую информацию об автоковариационной матрице Kzz в силу свойства симметрии (kij(zz) = kji(zz)). Диагональные элементы матрицы Kzz уже определены: kii(zz) = di(z)). Таким образом, с учетом центрированности СВР Z и определения kij(zz) получаем:

1. 9. ВРЕМЕННОЙ РЯД С НЕЗАВИСИМЫМИ ПРИРАЩЕНИЯМИ Воспользуемся выражением для автоковариационного момента «белого шума» : Поскольку расчет проводится для i ≤ j, то:

1. 9. ВРЕМЕННОЙ РЯД С НЕЗАВИСИМЫМИ ПРИРАЩЕНИЯМИ Таким образом, автоковариационная матрица Kzz имеет следующую структуру: Рассмотренный временной ряд Z является математической моделью случайного блуждания точки вдоль оси z, при котором длина каждого текущего шага не зависит от предыстории блуждания и является случайной величиной с заданной постоянной дисперсией. Построив аналогичный процесс случайного блуждания Y вдоль оси y, ортогональной z, получим случайное блуждание в плоскости (y, z), которое в физике называется броуновским движением. Отметим, что временные ряды Y и Z порождаются независимыми «белыми шумами» и поэтому сами являются независимыми.

1. 10. АНАЛИЗ ПЕРВЫХ РАЗНОСТЕЙ Представим, что исследуется процесс X(t) Xi + Zi=Xi+ εi X(t) Непрерывный медленно меняющийся сигнал, без грубых сбоев и скачкообразных изменений Случайная помеха при измерении εi

1. 10. АНАЛИЗ ПЕРВЫХ РАЗНОСТЕЙ СВР

1. 10. АНАЛИЗ ПЕРВЫХ РАЗНОСТЕЙ СВР

Лекция 3. Стационарные Временные Ряды План лекции: 1. 2. 3. 4. 5. Цветные шумы Определение стационарного ВР Эргодическое свойство стационарных временных рядов Стационарно связанные ВР Оценки статистических характеристик стационарного эргодического ВР

ЦВЕТНЫЕ ШУМЫ

ЦВЕТНЫЕ ШУМЫ Белый шум

ЦВЕТНЫЕ ШУМЫ Розовый шум

ЦВЕТНЫЕ ШУМЫ Коричневый (броуновский) шум

ЦВЕТНЫЕ ШУМЫ Красный шум

ЦВЕТНЫЕ ШУМЫ Синий (голубой) шум

ЦВЕТНЫЕ ШУМЫ Фиолетовый шум

ЦВЕТНЫЕ ШУМЫ Серый шум

ЦВЕТНЫЕ ШУМЫ Оранжевый шум

ЦВЕТНЫЕ ШУМЫ Зеленый шум

ЦВЕТНЫЕ ШУМЫ Черный шум

2. 1. ОПРЕДЕЛЕНИЕ СТАЦИОНАРНОГО ВРЕМЕННОГО РЯДА ВР называется стационарным в узком смысле, если его функция распределения вероятностей произвольного порядка n инвариантна по отношению к сдвигу во времени, т. е. для любых значений n > 0 и целого числа j справедливо равенство: Выполнение данного свойства возможно только для бесконечных временных рядов. Конечные временные ряды принципиально не обладают свойством стационарности. На практике производится анализ конечных фрагментов реализаций бесконечных стационарных временных рядов

2. 1. ОПРЕДЕЛЕНИЕ СТАЦИОНАРНОГО ВРЕМЕННОГО РЯДА Пусть j = –i 1, тогда для n-мерной функции распределения вероятностей получим зависимость не от абсолютных значений отсчётов времени i 1, i 2, …, in , а от временных сдвигов i 2 – i 1, i 3 – i 1, …, in – i 1. Для одномерной функции распределения вероятностей применение этого свойства приводит к равенству: Таким образом, исчезает зависимость от индекса времени. Аналогичное равенство имеет место и для одномерной плотности распределения вероятностей:

2. 1. ОПРЕДЕЛЕНИЕ СТАЦИОНАРНОГО ВРЕМЕННОГО РЯДА Отсутствие зависимости дифференциального закона распределения вероятностей от времени приводит к тому, что все центральные и начальные моментные функции временного ряда для произвольного k являются константами: Применим теперь свойство инвариантности во времени к закону распределения вероятностей второго порядка: При j = –i 2 и l=i 2 – i 1 для ЗРВ 2 -го порядка получаем формулу:

2. 1. ОПРЕДЕЛЕНИЕ СТАЦИОНАРНОГО ВРЕМЕННОГО РЯДА Дополнительные свойства Kxx и Rxx: 1) зависят только от сдвига во времени. Соответственно изменяются и обозначения: 2) Так как стационарные ВР имеют бесконечную длину, то их автоковариационная матрица Kxx и автокорреляционная матрица Rxx имеют бесконечную размерность. 3) На главной диагонали: 4)

2. 1. ОПРЕДЕЛЕНИЕ СТАЦИОНАРНОГО ВРЕМЕННОГО РЯДА Стационарность в широком и узком смыслах слова Стационарный ВР в широком смысле - это ВР, для которого: 1) математическое ожидание постоянно 2) элементы автоковариационной матрицы зависят только от разности временных индексов. Из стационарности временного ряда в узком смысле следует его стационарность в широком смысле, т. е. класс стационарных в узком смысле временных рядов погружен в более широкий класс рядов, стационарных в широком смысле. Стационарные в узком смысле ВР Стационарные в широком смысле ВР

2. 2. ЭРГОДИЧЕСКОЕ СВОЙСТВО СТАЦИОНАРНЫХ ВР Основные статистические характеристики ВР: • моментные функции • ковариационная (корреляционная) матрица Эти характеристики определяются законами вероятностей 1 -го и 2 -го порядков соответственно. распределения Для построения классических оценок этих характеристик необходимо наличие совокупности реализаций исследуемого временного ряда. Например, оценку математического ожидания можно построить следующим образом: - реализации ВР Такое построение оценок называется «осреднением по ансамблю реализаций»

2. 2. ЭРГОДИЧЕСКОЕ СВОЙСТВО СТАЦИОНАРНЫХ ВР На практике не всегда имеется несколько реализаций ВР для построения оценок. Существует класс стационарных ВР, для которых можно рассчитывать и обосновано использовать оценки статистических характеристик на основе 1 -й реализации ВР. Такие стационарные ВР называются эргодическими. Дадим математическое описание этого свойства. Определим оператор осреднения для конкретной реализации: - оператор осреднения конкретной реализации по времени

2. 2. ЭРГОДИЧЕСКОЕ СВОЙСТВО СТАЦИОНАРНЫХ ВР Допустим, что существует предел: Если , то по 1 -й реализации ВР при бесконечном увеличении ее длины можно сколь угодно точно оценить истинное математическое ожидание m временного ряда. Таким образом, оператор M [ * ] осреднения по ансамблю реализаций временного ряда с точки зрения получения оценки математического ожидания может быть заменен в приложениях оператором осреднения одной реализации по времени:

2. 2. ЭРГОДИЧЕСКОЕ СВОЙСТВО СТАЦИОНАРНЫХ ВР Рассмотрим случайную ошибку оценки значения M[X]: Рассмотрим предел дисперсии ошибки при : Здесь учтено, что:

2. 2. ЭРГОДИЧЕСКОЕ СВОЙСТВО СТАЦИОНАРНЫХ ВР Если , то говорят, что величина стремится к значению m в среднеквадратическом смысле: Или: , где l. i. m. означает предел в среднеквадратическом смысле Если временной ряд X обладает вышеуказанным свойством, то он называется эргодическим по отношению к математическому ожиданию.

2. 2. ЭРГОДИЧЕСКОЕ СВОЙСТВО СТАЦИОНАРНЫХ ВР Из выражения: Следует необходимое и достаточное условие эргодического свойства стационарного временного ряда по отношению к математическому ожиданию: Если учесть, что для стационарного ВР элементы матрицы автоковариации зависят только от сдвига во времени, то можем получить следующее выражение:

2. 2. ЭРГОДИЧЕСКОЕ СВОЙСТВО СТАЦИОНАРНЫХ ВР Можно сформулировать достаточное условие эргодического свойства стационарного временного ряда по отношению к математическому ожиданию: Если учесть зависимость только от сдвига во времени, то выражение принимает вид:

2. 3. ИНТЕРВАЛ КОРРЕЛЯЦИИ Интервал корреляции - это такой временной интервал tкор, для которого при любом i значения и временного ряда X статистически слабо связаны. Слабая статистическая связь значений и означает, что корреляционный момент этих величин несущественно отличается от нуля. Допустим, что зарегистрирована реализация длины 2 N + 1 стационарного временного ряда Х: Пусть , тогда в силу слабой статистической связи значений хi на интервале со значениями на интервале мы можем сказать, что на интервале содержится существенно новая информация о статистических свойствах временного ряда X. То же можно сказать и о каждом последующем интервале реализации, равном по длине.

2. 3. ИНТЕРВАЛ КОРРЕЛЯЦИИ Поступление новой информации с увеличением длины ВР на практике означает возможность уточнения оценок его статистических характеристик, например математического ожидания. Понятие интервала корреляции позволяет формализовать подход к тому, какую реализацию ВР можно считать «длинной» и приемлемой для оценивания статистических характеристик стационарного ВР. Длина реализации должна содержать не менее нескольких десятков интервалов корреляции. В противном случае обрабатываемые данные сильно статистически связаны, а результаты обработки будут характеризовать не столько свойства временного ряда Х, сколько свойства единственной анализируемой его реализации.

2. 4. СТАЦИОНАРНО СВЯЗАННЫЕ ВР Рассмотрим 2 ВР X и Y и их совместный дифференциальный закон . Если для этой характеристики выполняется свойство инвариантности по отношению к началу отсчета времени, т. е. для любого значения i 0 справедливо равенство: , то то временные ряды X и Y называются стационарно связанными. Пусть , тогда , не зависит от индекса времени (только от сдвига во времени:

2. 5. ОЦЕНКИ СТАТИСТИЧЕСКИХ ХАРАКТЕРИСТИК СТАЦИОНАРНОГО ЭРГОДИЧЕСКОГО ВР Допустим, что эргодическим свойством по отношению к математическому ожиданию обладает не только стационарный временной ряд , но и следующие ВР: Тогда оценки и могут быть построены по конечному отрезку реализации длины 2 N + 1 в соответствии с формулами:

Лекция 4. Анализ независимости значений ВР по 1 -й реализации План лекции: 1. 2. 3. 4. 5. Постановка задачи об абсолютной случайности значений ВР Анализ числа пересечений уровня медианы Анализ числа поворотных точек Исследование ранговой корреляции по Кендаллу Анализ доверительных интервалов для автокорреляций. Критерий Бокса-Пирса

4. 1. ПОСТАНОВКА ЗАДАЧИ ОБ АБСОЛЮТНОЙ СЛУЧАЙНОСТИ ЗНАЧЕНИЙ ВР В практических приложениях нередко возникает задача проверки предположения о том, что анализируемая реализация временного ряда не содержит закономерной составляющей и является абсолютно случайной. Например, когда этот ВР – ошибка некоторой математической модели Пусть построена мат. модель для временного ряда: - ошибка модели, которая оценивает ее качество. При условии адекватности модели анализируемому ВР эта ошибка должна быть абсолютно случайной. Иначе говоря, она должна представлять собой конечный отрезок реализации «белого шума» .

4. 1. ПОСТАНОВКА ЗАДАЧИ ОБ АБСОЛЮТНОЙ СЛУЧАЙНОСТИ ЗНАЧЕНИЙ ВР Допустим, что зарегистрирована единственная конечная реализация СВР: Предполагается, что к этой реализации применена операция центрирования, так что ее среднее арифметическое значение равно 0: Теоретический закон распределения вероятностей ряда предполагается неизвестным, но задано, что временной ряд стационарен в широком смысле. Требуется проверить статистическую гипотезу H 0, состоящую в статистической независимости значений временного ряда, по единственной реализации конечной длины.

4. 2. АНАЛИЗ ЧИСЛА ПЕРЕСЕЧЕНИЙ УРОВНЯ МЕДИАНЫ Известно, что медиана делит выборку на две равные части: числа значений xi, удовлетворяющих условиям (xi < med) и (xi > med), при изменении индекса от 1 до n совпадают. Введем статистический показатель Z, равный числу пересечений реализацией временного ряда уровня медианы. Статистические характеристики случайной величины Z зависят от свойств исследуемого временного ряда. В конкретной реализации временного ряда случайная величина Z принимает числовое значение z. Допустим, что основная гипотеза H 0 верна и анализируемый временной ряд является абсолютно случайным. Рассчитаем вероятность того, что на интервале времени [i, i+1] произойдет пересечение уровня медианы, т. е. будет выполнено логическое условие:

4. 2. АНАЛИЗ ЧИСЛА ПЕРЕСЕЧЕНИЙ УРОВНЯ МЕДИАНЫ Таким образом, вероятность пересечения уровня медианы на интервале времени [i, i+1], т. е. вероятность выполнения условия Ci, легко рассчитывается с использованием формул умножения и сложения вероятностей: Полученный результат P[Ci] = 1/2 справедлив на всех интервалах Общее число пересечений Z можно представить как число выполнений условий Ci , Такая интерпретация СВ Z позволяет заключить, что она распределена по биномиальному закону B(p = 1/2, n – 1).

4. 2. АНАЛИЗ ЧИСЛА ПЕРЕСЕЧЕНИЙ УРОВНЯ МЕДИАНЫ Рассмотрим в качестве статистики S, используемой при проверке статистической гипотезы H 0, нормированную случайную величину Z: Для больших значений n в силу центральной предельной теоремы закон распределения вероятностей случайной величины S приближается к нормальному N(0, 1).

4. 2. АНАЛИЗ ЧИСЛА ПЕРЕСЕЧЕНИЙ УРОВНЯ МЕДИАНЫ График плотности распределения вероятностей p(s|H 0) при условии справедливости основной гипотезы. Область допустимых значений S лежит в окрестности 0.