Цепи Маркова Выполнил Студент группы ИТ-31 а Бондаренко

Цепи Маркова Выполнил: Студент группы ИТ-31 а Бондаренко М.

Пролог l l Марковские случайные процессы названы по имени выдающегося русского математика А. А. Маркова (1856 -1922), впервые начавшего изучение вероятностной связи случайных величин и создавшего теорию, которую можно назвать "динамикой вероятностей". В дальнейшем основы этой теории явились исходной базой общей теории случайных процессов, а также таких важных прикладных наук, как теория диффузионных процессов, теория надежности, теория массового обслуживания и т. д. В настоящее время теория марковских процессов и ее приложения широко применяются в самых различных областях. Благодаря сравнительной простоте и наглядности математического аппарата, высокой достоверности и точности получаемых решений, особое внимание марковские процессы приобрели у специалистов, занимающихся исследованием операций и теорией принятия оптимальных решений.

Формальное определение l Рассмотрим последовательность дискретно распределенных случайных величин каждая из которых принимает значения из некоторого фиксированного множества X. Назовем последовательность цепью Маркова, если для любого n = 3, 4, . . . и для любых выполнено равенство (1)

Пояснения l l Условие (1) означает, что если фиксированы состояния на первых n − 1 шагах, то распределение случайной величины ξn (n-го шага цепи Маркова) зависит только от того, в каком состоянии цепь Маркова находилась на предыдущем шаге и не зависит от состояний более ранних шагов. При этом данное условие не влечет статистическую независимость случайной величины ξn от случайных величин ξ 1, . . . , ξn− 2 — все шаги цепи Маркова статистически зависимы.

Необходимые термины l Каждое из значений назовем состоянием цепи Маркова. l Конечной цепь Маркова называется в случае, если множество конечно.

Необходимые термины l l Случайную величину ξn назовем n-м шагом цепи Маркова. Таким образом, событие означает, что на n-м шаге цепь Маркова находилась в i-м состоянии.

Необходимые термины Условная вероятность В правой части равенства (1) называется вероятностью перехода за один шаг из i-го состояния в j-е состояние. Если вероятность πij не зависит от номера шага n, то цепь Маркова называется однородной.

Матрица перехода за один шаг l Матрица π размера S x S c элементами πij называется матрицей перехода за один шаг. l Также можно определить матрицу перехода за m шагов.

Начальное распределение l l Распределение первого шага цепи Маркова, называется начальным распределением. Зная его и матрицу перехода, можно рассчитать распределение на любом шаге.

Свойства матриц перехода l Как и любая вероятность, условная вероятность лежит в интервале [0, 1], поэтому

Свойства матриц перехода l Для любого n = 1, 2, . . . и всех i = 1, . . . , s l В силу того, что имеет место разложение по полной группе событий.

Свойства матриц перехода l Из следует, что матрица перехода за n шагов есть nя степень матрицы перехода за один шаг:

Эргодичность цепи Маркова l Естественно предположить, что система должна “забывать” о своём начальном состоянии не только в случае независимых шагов, но также в пределе бесконечно большого числа шагов. С точки зрения матриц перехода это означает, что переходная вероятность не должна зависеть от начального состояния при n → ∞. Если для любых i, j = 1, . . . , s существует предел переходной вероятности

Эргодичность цепи Маркова l и величина этого предела не зависит от i, то будем говорить, что у цепи Марковам существуют финальные вероятности. Теорема, в которой формулируется достаточное условие существования финальных вероятностей, называется теоремой Маркова

Теорема Маркова l Пусть найдется натуральное число n 0 такое, что матрица перехода за n шагов цепи Маркова имеет хотя бы один столбец, не содержащий нулевых элементов. Тогда: – – – для любого j = 1, . . . , s существуют финальные вероятности которые не зависят от номера начального распределения вероятности pj > 0, j = 1, 2, . . . , s, образуют распределение для любого j = 1, 2, . . . , s и для любого m = 1, 2, . . . имеет место равенство

Применение на практике l В СЕО – l В экономике – – l Генерация контентов дорвеев Оценка Прогнозирование Моделирование различных процессов

Конец Спасибо за внимание!