Марковские процессы Лямин Андрей Владимирович Конечные автоматы

Марковские процессы Лямин Андрей Владимирович

Конечные автоматы Конечным автоматом называется система S={U, X, Y, f, g}, где U – входной алфавит, X– алфавит состояний, Y – выходной алфавит, f: U X – функция переходов, g: U X – функция выходов.

Марковские процессы • X = {x 1, x 2, …, xn} • • Свойства переходных вероятностей: – pij > 0; – pij = 1. j

Матрица переходных вероятностей

Виды марковских процессов • Дискретная марковская цепь • Непрерывнозначный марковский процесс

Система массового обслуживания

Матрица переходных вероятностей за k-шагов

Сообщающиеся состояния • Если xj и s: pij(s)>0 и для k: pji(k)=0, то xi - несущественное состояние. • Если s и k: pij(s)>0 и pji(k)>0, то существенные состояния xi и xj называются сообщающимися

Пример 1:

Неприводимая цепь Маркова Пусть C класс состояний включающий в себя существенное состояние xi и все состояния, с ним сообщающиеся. • Если класс C состоит из одного состояния xi, то это состояние называется поглощающим. • Если цепь Маркова состоит из одного класса существенных сообщающихся состояний, то она называется неприводимой.

Типы состояний • Состояние xj называется возвратным, если Fj=1. • Состояние xj называется нулевым, если pjj(k) 0 при k . • Состояние xj называется периодическим с периодом dj, если возвращение в него возможно только через кратное dj число шагов.

Пример 2:

Эргодическая цепь Маркова • Цепь Маркова называется эргодической, если существует предел pij(k) pj при k , который не зависит от i. • Теорема. Неприводимая возвратная непериодическая цепь Маркова является эргодической.

Стационарное распределение

Пример 3:

Непрерывные марковские цепи • Случайный процесс с непрерывным временем называется непрерывной марковской цепью, если поведение системы после произвольного момента времени t 0 зависит только от состояния процесса в момент времени t 0 и не зависит от поведения процесса до момента времени t 0.

Процесс рождения и гибели

Процесс рождения и гибели

Граф состояний 0 0 1 1 1 2 2 2 3 3

Финальные вероятности