Скачать презентацию Марковские процессы Понятие случайного процесса Понятия n Скачать презентацию Марковские процессы Понятие случайного процесса Понятия n

78fb53772e43842cd238105316a09e31.ppt

  • Количество слайдов: 12

Марковские процессы Марковские процессы

Понятие случайного процесса Понятия: n Cостояние n Переход n n Дискретный случайный процесс Непрерывный Понятие случайного процесса Понятия: n Cостояние n Переход n n Дискретный случайный процесс Непрерывный случайный процесс

Марковский случайный процесс Рассматриваются случайные процессы с дискретными состояниями S 1, S 2, …, Марковский случайный процесс Рассматриваются случайные процессы с дискретными состояниями S 1, S 2, …, Sn Случайный процесс в некоторой системе называется марковским, если вероятность перехода системы в новое состояние зависит только от состояния системы в настоящий момент и не зависит от того, когда и каким образом система перешла в это состояние. По сути то, что процесс – марковский, означает, что описание системы достаточно полное, то есть нет факторов (на которые влияют предшествующие события), от которых зависит поведение системы, но которые не учтены в описании системы.

Марковский случайный процесс Параметры: n Состояния S 1, S 2, …, Sn n Матрица Марковский случайный процесс Параметры: n Состояния S 1, S 2, …, Sn n Матрица переходов, содержащая q вероятности переходов для процессов с дискретным временем qij q интенсивности переходов для процессов с непрерывным временем n Начальные вероятности p 1(0), … pn(0) Зависимость вероятностей от времени: n Однородные процессы n Неоднородные процессы

Процессы с дискретным и случайным временем n n Случайный процесс Z(t) называется случайным процессом Процессы с дискретным и случайным временем n n Случайный процесс Z(t) называется случайным процессом с дискретным временем (стохастическими последовательностями или случайными цепями), если переходы из состояния в состояние возможны только в строго определенные заранее фиксированные моменты времени, которые можно пронумеровать: t 1, t 2. Если промежуток времени между переходами из состояния в состояние является случайным и переход возможен в любой заранее не известный момент времени t, то процесс называется случайным процессом с непрерывным временем.

Процессы с дискретным временем (марковские цепи) n n Система имеет n возможных состояний S Процессы с дискретным временем (марковские цепи) n n Система имеет n возможных состояний S 1, S 2, …, Sn Для определения поведения системы необходимо задать вероятности перехода из одного состояния в другое (возможно, зависящие от времени): qij – вероятность перехода из состояния Si в Sj Целью является вероятности нахождения системы в различных состояниях (в определённый момент времени) Соотношение:

Процессы с непрерывным временем n n Система имеет n возможных состояний S 1, S Процессы с непрерывным временем n n Система имеет n возможных состояний S 1, S 2, …, Sn pij – вероятность перехода из состояния Si в Sj в каждый определённый момент равна 0, поэтому используют понятие интенсивности (плотности вероятности) перехода из одного состояния в другое Целью является вероятности нахождения системы в различных состояниях (в определённый момент времени) Соотношение:

Процессы однородные и неоднородные n n n Процесс называется однородным, если вероятности (плотности вероятностей) Процессы однородные и неоднородные n n n Процесс называется однородным, если вероятности (плотности вероятностей) от времени не зависят. Иначе процесс называется неоднородным. Если по истечении достаточно большого промежутка времени вероятности состояний стремятся к предельным значениям p 1, …, pn , не зависящим от начальных вероятностей p 1(0), …, pn(0) и от текущего момента времени t, то говорят, что случайный процесс обладает эргодическим свойством. – стационарные вероятности

Процессы с эргодическим свойством n n n Случайный процесс с дискретным временем обладает эргодическим Процессы с эргодическим свойством n n n Случайный процесс с дискретным временем обладает эргодическим свойством, если матрица вероятностей переходов не является периодической или разложимой. Матрица является разложимой, если она может быть приведена к одному из следующих видов: Матрица является периодической, если она может быть приведена к виду:

Схема гибели и размножения n Один из распространённых частных случаев марковских процессов n Стационарные Схема гибели и размножения n Один из распространённых частных случаев марковских процессов n Стационарные вероятности:

Пример: надёжность системы из двух компьютеров n n t – среднее время работы без Пример: надёжность системы из двух компьютеров n n t – среднее время работы без отказов, tр – среднее время восстановления l 12 = 2 1/t, l 23 = 1/t m 21 = 1/tр, m 32 = 2 1/tр Стационарные вероятности: P 1 = 1/ (1+2 tр /t + tр2//t 2) P 2 = 2 tр /t P 1

Разработка марковской модели системы с дискретным временем Этапы: n кодирование состояний случайного процесса; n Разработка марковской модели системы с дискретным временем Этапы: n кодирование состояний случайного процесса; n построение размеченного графа переходов; n формирование матрицы интенсивностей переходов; n составление системы линейных алгебраических уравнений.