МАРКОВСКИЕ ЦЕПИ Лекция 2 Марковский случайный процесс

МАРКОВСКИЕ ЦЕПИ Лекция 2

Марковский случайный процесс Случайный процесс X(t) называется марковским, если для любого момента времени t = t 0 вероятность любого значения процесса для t > t 0 зависит только от его значения в момент t 0 и не зависит от значений t < t 0 (свойство отсутствия последействия или марковское свойство). t< t 0 (прошлое) t>t 0 (будущее) t 0 (S 0) Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2013, лекция 2 t 2

Марковские цепи Марковская цепь(МЦ) - Х(t) принимает только дискретные (конечное или бесконечное число) значения Дискретная МЦ - время отсчитывается в дискретные моменты (дискретное время) Непрерывная МЦ - время меняется непрерывно МЦ однородна если ее свойства как случайного процесса не зависят от времени (от шага к шагу не меняются. Иначе – неоднородная МЦ. Однородная цепь соответствует стационарному случайному процессу. Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2013, лекция 2 3

Марковские цепи X(t) ДМЦ S 2 S 1 S 0 1 2 X(t) t 3 HМЦ S 2 S 1 S 0 t 1 t 2 Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2013, лекция 2 t 3 t 4

Дискретная однородная МЦ Свойства: 1) Конечное число состояний (значений) 2) Дискретное время 3) Стационарность 4) Отсутствие последействия Такая цепь полностью характеризуется: 1. Множеством состояний S {S 1, S 2, S 3, . . . , Sn} Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2013, лекция 2 5

Дискретная однородная МЦ Характеризуется 2)Матрицей переходных вероятностей Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2013, лекция 2 6

Дискретная однородная МЦ Характеризуется 3) Вектором начальных распределений этот вектор определяет вероятности , соответствующие событию нахождения процесса в состоянии Si в начальный момент времени t 0. Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2013, лекция 2 7

Граф дискретной МЦ Марковская цепь изображается в виде графа, вершины при этом соответствуют состояниям, а дуги - переходам. Р Р 22 ii Р 12 S 1 Р 2 i S 2 Рj 2 Si Рji Sj SN Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2013, лекция 2 Рij 8

Определение вероятностей состояний системы на k-том шаге Если известны вектор распределения вероятностей на k-1 шаге Р k-1 и матрица Р переходных вероятностей, то вероятности Pi(k) пребывания процесса в состоянии Si в момент времени k вычисляются по формуле Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2013, лекция 2 9

Классификация МЦ по типу переходов между состояниями 1) поглощающие Поглощающая MЦ (ПМЦ) содержит поглощающее состояние S 0, достигнув которого случайный процесс прекращается. Вероятность перехода P 00 = 1. (В графе – петля) 2) эргодические Эргодическая МЦ (ЭМЦ) : случайный процесс может из любого состояния перейти в любое другое за n шагов - состояния называют эргодическими, т. е. возвратными. (Сильно связанный граф) Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2008, лекция 2 10

Поглощающая МЦ Свойство ПМЦ: из какого бы состояния не начинался процесс, при числе переходов c вероятностью равной 1 этот процесс окажется в поглощающем состоянии S 0. Основная характеристика случайного процесса в ПМЦ – число пребываний процесса в состояниях S 1, . . . , Sn до поглощающего состояния – случайная величина (СВ) Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2008, лекция 2 11

Применение ПМЦ модели программ процессов: и вычислительных 1) состояния цепи блоки программ (модули) 2) матрица вероятностей переходов порядок переходов между блоками, т. е. состояниями. Цели моделирования 1) число обращений к блокам программы 2) время выполнения программы оцениваются средними значениями, дисперсиями, при необходимости - функциями распределения. Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2008, лекция 2 12

Эргодическая МЦ (ЭМЦ) случайный процесс может из любого состояния перейти в любое другое за n шагов - состояния называют эргодическими, т. е. возвратными. Основная характеристика ЭМЦ – финальная вероятность пребывания в некотором состоянии Si, где i=1, 2, . . . , n, - относительная частота попадания процесса в состояние Si и одновременно доля времени, которое процесс проводит в этом состоянии. Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2008, лекция 2 13

Применение ЭМЦ для моделирования ВС 1) Расчет характеристик надежности: вероятности безотказной работы вероятности отказа наработки на отказ и др. 2) Базовые модели взаимодействия ВС с задачами, поступающими на обработку: - расчет производительности - расчет коэффициентов загрузки ВС - расчет времен работы и простоя и др. Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2008, лекция 2 14

Определение финальных вероятностей состояний Для ЭМЦ вероятности состояний на k-м шаге Pi(k) c увеличением k стремятся к финальным вероятностям Pi, не зависящим от начального распределения вероятностей Pi(0): И вычисляются по формуле Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2013, лекция 2 15

Пример: Система «нерадивый студент» Состояния: S 1 – компьютер простаивает S 2 – компьютер работает, студент делает лабораторную работу S 3 - компьютер работает, студент «висит» в Интернете Преподаватель проверяет студента каждые 10 минут Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2008, лекция 2 16

Пример: Система «нерадивый студент» 0. 6 0. 5 0. 2 S 1 0. 2 S 2 0. 3 0. 2 S 3 0. 7 Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2008, лекция 2 17

Возможные цели моделирования 1) Р 1 – вероятность того, что компьютер свободен 2) Р 2 – вероятность того, что компьютер занят производительной работой 3) Р 3 – вероятность того, что компьютер занят непроизводительной работой 4) Коэффициент занятости Кз = Р 2 + Р 3 5) Время простоя (суммарное) Тпр. =Р 1*Т где Т – время функционирования системы Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2008, лекция 2 18

Возможные цели моделирования 6) Время «полезной» работы Тпол. =Р 2*Т 7) Время «неполезной» работы Тнепол. =Р 3*Т 8) Доля (%) «полезной» работы от общего времени работы 9) Доля (%) «неполезной» работы от общего времени работы Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2008, лекция 2 19

Возможные цели моделирования 10) Экономический критерий эффективности Е = С 0* Тпол. - С 1* Тнепол. - С 2* Т С 0* Тпол. – доход С 1* Тнепол. - расходы на Интернет С 2* Т – расходы на эксплуатацию Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2008, лекция 2 20

Непрерывная марковская цепь (НМЦ) Основная характеристика НМЦ - стационарное (финальное) распределение вероятностей состояний: p = (p 1, . . . , pn), где p 1, . . . , pn - вероятности пребывания процесса в состояниях S 1, . . . , Sn. Однородную НМЦ принято задавать матрицей интенсивностей переходов Λ = [λij]. Интенсивности переходов в общем случае определяются следующими формулами: где p ( t) - вероятность ij перехода процесса из состояния Si в состояние Sj за время t. Физический смысл λij – количество переходов в единицу времени. Сев. НТУ, Кафедра Ки. ВТ, курс 21 "Моделирование", 2008, лекция 2

Уравнения Колмогорова для финальных вероятностей Распределение финальных вероятностей задается решением системы уравнений Колмогорова: Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2008, лекция 2 22

Общее правило составления уравнений Колмогорова: 1) В левой части уравнения записываем финальную вероятность данного состояния Рi, умноженную на суммарную интенсивность переходов из данного состояния, 2) в правой части - сумму произведений интенсивностей всех потоков, входящих в i-ое состояние, на вероятности тех состояний, из которых эти потоки исходят. Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2008, лекция 2 23

Пример: Система «нерадивый студент» 6 1 S 1 2 3 S 2 2 3 S 3 Единица времени - час Сев. НТУ, Кафедра Ки. ВТ, курс "Моделирование", 2008, лекция 2 24