1 3 Марковские процессы 1 Определение и

1. 3. Марковские процессы 1

Определение и примеры 1 Состояние E Время t Если вероятность перехода в новое состояние не зависит от предыстории, случайный процесс называется МАРКОВСКИМ (процесс без памяти) 2

2 Классификация марковских процессов По времени По состояниям Дискретный Непрерывный Дискретный по времени и состояниям (дискретная цепь Маркова) Дискретный по состояниям, непрерывный по времени (цепь Маркова с непрерывным временем) Непрерывный по состояниям, дискретный по времени Непрерывный по времени и состояниям 3

3 Марковские цепи с непрерывным временем. Матрица и граф интенсивностей переходов Пример Граф интенсивностей переходов 4

4 Уравнения Чепмена-Колмогорова 5

4 Уравнения Чепмена-Колмогорова 6

4 Уравнения Чепмена-Колмогорова 7

4 Эргодическое свойство марковских процессов. Предельное распределение Предельное (финальное) распределение вероятностей состояний Эргодическое свойство 8