Тема 4 Планирование эксперимента Если эксперимент удался что-то

Тема 4 Планирование эксперимента «Если эксперимент удался, что-то здесь не так…» Первый закон Фингейла 1

Планирование эксперимента – основные понятия Эксперимент – целенаправленное воздействие на объект исследования с целью получения достоверной информации о его свойствах. Виды эксперимента: активный, пассивный. План эксперимента – совокупность данных, определяющих число, условия и порядок проведения опытов. Планирование эксперимента преследует две основные цели: 1) сокращение общего объема испытаний при соблюдении требований к достоверности и точности результатов; 2)повышение информативности каждого из экспериментов в отдельности. 2

Планирование эксперимента – основные понятия При планировании эксперимента рассматриваются два типа переменных, которые называются факторами и откликами. Значение фактора будем называть его уровнем. Интервал варьирования. Множество возможных уровней факторов называют факторным пространством. 3

Планирование эксперимента – основные понятия k - количество факторов: … … … где Xjmin и Xjmax – допустимые границы изменения уровней j-го фактора; Точкой факторного пространства называют совокупность конкретных уровней всех факторов. Точка факторного пространства определяет условия проведения опыта. 4

Кибернетическое представление процесса проведения эксперимента 5

Этапы планирования эксперимента • Установление цели эксперимента и уточнение условий проведения эксперимента • Выявление и выбор входных и выходных параметров на основе сбора и анализа предварительной (априорной) информации. Установление точности результатов измерений (выходных параметров), области возможного изменения входных параметров. • Составление плана и проведение эксперимента — количество и порядок испытаний, способ сбора, хранения и документирования данных. • Статистическая обработка результатов эксперимента, построение математической модели поведения исследуемых характеристик. • Объяснение полученных результатов и формулирование рекомендаций по их использованию, уточнению методики проведения эксперимента. 6

Требования к факторам • Управляемость. • Факторы должны быть определены количественно. Кодирование факторов: • Выбор независимых переменных. • Исключить можно тот параметр, который труднее измерить или физический смысл которого менее ясен. • Надо учитывать совместимость факторов. 7

Определение количества уровней факторов Число уровней следует выбирать минимально возможным и в то же время достаточным для достижения целей эксперимента. Уровни могут быть: • качественные или количественные; • фиксированные или случайные. Число уровней равно минимальному числу точек, необходимых для восстановления полиномиальной функции. Если сделать уровни равноотстоящими друг от друга, то такой план называется ортогональным. Эффектом взаимодействия можно назвать комбинированное влияние на отклик двух или более факторов, проявляющееся помимо индивидуального влияния всех этих факторов по отдельности. 8

Требования к откликам • Однозначность в статистическом смысле, т. е. заданному набору уровней факторов должно соответствовать одно значение отклика (или вектору отклика); ; • Эффективность с точки зрения достижения цели, это значит, что из нескольких функционально связанных откликов выбранный можно измерить с наибольшей точностью; • должен быть имеющим физический смысл, простым и легко вычисляемым; • дрейф отклика. 9

Методы отбора факторов Выбор наиболее предпочтительного состава независимых факторов среди ряда альтернативных вариантов. • Проблема выбора “оптимальных” факторов обычно решается на основе содержательного и количественного (статистического) анализа рассматриваемых процессов. • Можно выделить два основных подхода к решению этой проблемы. • Первый из них предполагает априорное (до построения модели) исследование характера и силы взаимосвязей между рассматриваемыми переменными, по результатам которого в модель включаются факторы, наиболее значимые по своему “непосредственному” влиянию на зависимую переменную. 10

В основе “априорного” подхода лежат следующие предположения • 1. Сильное влияние фактора на зависимую переменную должно подтверждаться определенными количественными характеристиками, важнейшей из которых является их парный линейный коэффициент корреляции. Если значение достаточно велико, т. е. , где – некоторый эмпирический рубеж (на практике ), то можно говорить о наличии существенной линейной связи между переменными у и хi или о достаточно сильном влиянии хi на у. • 2. Если два и более факторов выражают одно и то же явление, то, как правило, между ними также должна существовать достаточно сильная взаимосвязь. На это может указать выборочное значение их парного коэффициента корреляции. На практике взаимосвязь между факторами признается существенной, если , где . В таких ситуациях один из этих факторов целесообразно исключить из модели, с тем, чтобы одна и та же причина не учитывалась дважды. 11

Методы отбора факторов • Второй подход - апостериорный. • Предполагается первоначально включить в модель все отобранные на этапе содержательного анализа факторы. • Уточнение их состава в этом случае производится на основе анализа характеристик качества построенной модели, одной из групп которых являются и показатели, выражающие силу влияния каждого из факторов на зависимую переменную. • Одну из групп таких характеристик, являющихся наиболее важными при отборе факторов, образуют значения критерия Стьюдента, рассчитываемые для коэффициентов при каждом из факторов модели. С помощью этого критерия проверяется гипотеза о значимости влияния фактора на зависимую переменную у. 12

Уменьшение факторного пространства – анализ чувствительности модели Исследование чувствительности является предварительной процедурой перед планированием эксперимента и позволяет ранжировать компоненты вектора входных параметров модели по значению чувствительности вектора отклика модели. Анализ чувствительности модели определяет оценку влияния колебаний значений входных переменных на отклики модели. Если при незначительных изменениях величин некоторых параметров результаты меняются очень сильно, то это – основание для затраты большого количества времени и средств с целью получения более точных оценок. И наоборот, если конечные результаты при изменении величин параметров в широких пределах не изменяются, то дальнейшее экспериментирование в этом направлении бесполезно и неоправданно. 13

Экспертные методы уменьшения факторного пространства Априорное ранжирование факторов – предварительный анализ значимости факторов, то есть выделение наиболее существенных факторы и исключение малозначащих факторов. С помощью этой процедуры факторы ранжируются в порядке убывания вносимого ими вклада. Вклад каждого фактора оценивается по величине ранга (веса), определяемого экспертом. 14

Экспертные методы уменьшения факторного пространства Например, к показателям качества продукции относятся следующие: назначения; надежности (безотказности, долговечности, ремонтопригодности, сохраняемости); экологичности; эргономичности; технологичности; эстетичности; стандартизации и унификации; патентно-правовые; безопасности применения; и т. п. Пусть из перечисленных показателей выбрано для рассмотрения четыре и четверо экспертов упорядочивают факторы A, B, C и D по рангам (местам). A B C D Эксперт 1 1 2 3 4 Эксперт 2 1 3 2 4 Эксперт 3 2 1 3 4 Эксперт 4 1 3 4 2 15

4. 12 Метод «Медиана Кемени» rij — расстояние между мнениями i-го и j-го экспертов по манхэттенской норме — это сумма разностей (по абсолютной величине) мнений двух экспертов по каждому проекту. Эксперт 1 Эксперт 2 Эксперт 3 Эксперт 4 Ri Эксперт 1 0 r 12 r 13 r 14 0 + r 12 + r 13 + r 14 = R 1 Эксперт 2 r 21 0 r 23 r 24 r 21 + 0 + r 23 + r 24 = R 2 Эксперт 3 r 31 r 32 0 r 34 r 31 + r 32 + 0 + r 34 = R 3 Эксперт 4 r 41 r 42 r 43 0 r 41 + r 42 + r 43 + 0 = R 4 min(R 1, R 2, R 3, R 4) A B C D Эксперт 1 1 2 3 4 Эксперт 2 1 3 2 4 Эксперт 3 2 1 3 4 Эксперт 4 1 3 4 2 16

Метод «Медиана Кемени» Среди вычисленных суммарных расстояний ищется минимум из Ri. Мнение соответствующего i-го эксперта (с минимальным R) является самым средним и объявляется результатом экспертизы. Эксперт 1 Эксперт 2 Эксперт 3 Эксперт 4 Ri Эксперт 1 0 2 2 4 8 Эксперт 2 2 0 4 4 10 Эксперт 3 2 4 0 6 12 Эксперт 4 4 4 6 0 14 17

Метод Борда Пусть m – число экспертов; k – число факторов; aij – ранг каждого j-го фактора i-го эксперта, Sср – средняя сумма рангов. Сначала определяют сумму рангов по факторам а затем разность между суммой каждого фактора и средней суммой рангов j=Sj –Sср и сумму квадратов отклонений По полученным значениям строят среднюю априорную диаграмму рангов. Далее необходимо определить согласованность мнений экспертов. 18

Определение согласованности мнений экспертов Выполняется с помощью коэффициента конкордации : где ti – число одинаковых рангов в i-м ранжировании. Оценки значимости коэффициента конкордации проводится по вычисленному значению 2 критерия: Мнения считаются согласованными, если при заданном числе степеней свободы табличное значение 2 меньше расчетного для 5% уровня значимости. Количество степеней свободы определяется как k– 1. 19

Пример Дана матрица рангов m=4 экспертов для k=5 факторов: m - эксперт x 1 x 2 x 3 x 4 x 5 Ti 1 6 2 3 3 2 8 -2+8 -2=12 2 5 2 3 4 1 0 3 7 3 3 3 2 27 -3=24 4 4 3 2 4 3 8 -2+8 -2=12 Sj 22 10 11 14 8 Сумма Ti = 48 j =Sj-Sср 9 -3 -2 1 -5 ( j) 2 81 9 4 1 25 S j = 120 Среднее значение суммы рангов Sср = 13. Коэффициент конкордации =0, 833. Значение критерия 2 = 13, 33, а табличное значение для 5 -1=4 степеней свободы равно 9, 48. 20

Стратегическое планирование эксперимента Цель – найти сочетания уровней факторов, при котором может быть получена наиболее полная и достоверная информация о поведении системы. При стратегическом планировании эксперимента должны быть решены следующие задачи: 1) идентификация факторов; 2) выбор уровней факторов и их значений, который производится с учетом двух противоречивых требований: уровни фактора должны перекрывать (заполнять) весь возможный диапазон его изменения; общее количество уровней по всем факторам не должно приводить к чрезмерному объему моделирования; 3) определение необходимого количества и порядка проведения экспериментов. План эксперимента обычно записывается в виде матрицы плана – прямоугольной таблицы, строки которой отвечают отдельным опытам, а столбцы – факторам. 21

Способы построения стратегического плана Эксперимент, в котором реализуются все возможные сочетания уровней факторов, называется полным факторным экспериментом (ПФЭ). Общее число различных комбинаций уровней в ПФЭ для k факторов можно вычислить так: N=р1 р2 р3 … рk. рi – число уровней i-го фактора. Если число уровней для всех факторов одинаково, то N=рk. Рандомизированный план – предполагает выбор сочетания уровней для каждого опыта случайным образом. Эксперимент с изменением факторов по одному. Такой план обеспечивает исследование эффектов каждого фактора в отдельности. Он требует проведения всего N=р1+р2+р3+…+рn опытов. 22

Способы построения стратегического плана Латинский план (или «латинский квадрат» ). Если первичный фактор А имеет р уровней, то для каждого вторичного фактора также выбирается р уровней. Факторы В, С С 1 С 2 С 3 С 4 В 1 А 2 А 3 А 4 В 2 А 3 А 4 А 1 В 3 А 4 А 1 А 2 В 4 А 1 А 2 А 3 Процедура сдвига: Греко-латинский план (для 4 -х факторов) отличается от латинского тем, что в ячейку добавляются уровни 4 -го фактора с последующим сдвигом на 2 ячейки. Факторы В, С С 1 С 2 С 3 С 4 В 1 А 1, D 1 А 2, D 2 А 3, D 3 А 4, D 4 В 2 А 2, D 3 А 3, D 4 А 4, D 1 А 1, D 2 В 3 А 3, D 1 А 4, D 2 А 1, D 3 А 2, D 4 В 4 А 4, D 3 А 1, D 4 А 2, D 1 А 3, D 2 23

Тактическое планирование эксперимента Основное противоречие машинных экспериментов – между точностью результатов и ограничением на ресурсы. Тактическое планирование решает следующие вопросы, связанные с проведением имитационного эксперимента: • задание начальных условий (инициализация); • определение длительности переходного режима (анализ установившегося состояния) • установления необходимого объема испытаний (числа прогонов с различными последовательностями чисел); • определение продолжительности имитационного прогона; • уменьшение дисперсии отклика. 24

Определение стационарного режима Установившимся или стационарным называется такое состояние модели, когда последовательные наблюдения отклика в ней статистически неразличимы (система моделируется в типичных для нее условиях). Способы определения момента наступления стационарного режима: • отбрасывать последовательно результаты наблюдений до тех пор, пока первое из оставшихся измерений не будет ни минимальным, ни максимальным; • если число измерений, превосходящих средний уровень, приблизительно равно числу измерений, которое ниже этого уровня, то, скорее всего, условия стационарности выполнены; • выбор такого начального условия, которое ближе всего к типичному (пробный прогон). 25

Проблема начальных условий Начальные условия искажают характеристики стационарного режима. Для устранения ошибок, вызываемых не соответствующей установкой начальных условий, возможно применение следующих мер: • Ставить начальные условия, близкие значениям стационарного режима, то есть модель разрабатывается так, что условия функционирования системы типичны с самого начала. • Увеличить интервал исследования так, чтобы он стал значительно больше предполагаемого времени установления стационарного режима. • Отбросить информацию, снимаемую в промежутке времени от пуска до установившихся стационарных значений, и продолжить моделирование, собирая статистику, на которую уже не влияют нетипичные ситуации. 26

Правила останова По критическому событию. Существует 2 типа критических событий: • по состоянию (поломка оборудования, превышение длины очереди); • по времени, когда имитационное время достигает заранее заданной величины (час, день, год). Также может применяться задание определенного числа компонентов, поступающих на вход модели. Проблема: удлинять прогон или повторять его? Задача: определить при заданной точности необходимое число прогонов. 27

Количество реализаций Пусть в качестве оценки для некоторого параметра а, оцениваемого по результатам моделирования xi выбирается величина. Величину такую, что | а- |< назовем точностью оценки а вероятность того, что это неравенство выполняется, достоверностью ее. Тогда В силу предельной теоремы теории вероятностей при N>>0 среднее арифметическое будет иметь приблизительно нормальное распределение с мат. ожиданием а и дисперсией D= 2 /N. Точность оценки будет совпадать с доверительным интервалом для математического ожидания генеральной совокупности, где t находится из таблиц нормального распределения: Отсюда количество реализаций 28

Количество реализаций Из полученного выражения следует: увеличение точности на порядок (уменьшение ошибки на порядок) потребует увеличения числа реализаций на два порядка; • число необходимых реализаций модели не зависит от величины искомого параметра а от дисперсии Связь значения с находится из таблицы значений функции (интеграла) Лапласа. Наиболее употребительные соответствия и приведены в таблице: 0. 85 0. 95 0. 995 0. 999 t 1. 28 1. 44 1. 65 1. 96 2. 58 2. 81 3. 30 29

Количество реализаций - два способа предварительного определения дисперсии • Первый способ. Иногда заранее известен размах значений искомой случайной величины: • В предположении нормального распределения случайной величины , можно с использованием "правила трех сигм" получить приближенную оценку: • Второй способ. Надо воспользоваться оценкой дисперсии. Для этого необходимо выполнить предварительный прогон модели в некотором количестве реализаций (50 -1000). С использованием полученного ряда найти оценку дисперсии и вычисленную дисперсию подставить в формулу для определения. 30

Количество реализаций Другой способ оценки количества реализаций использует вероятность р наступления события при N реализациях. Для =0, 05 t =1, 96 N 0 = 50 -100, по результатам определяют p m/N 0 а затем окончательно назначают N. Для уменьшения возможны варианты: - уменьшить дисперсию ( ) - увеличить число реализаций ( N ) - так формулировать задачу, чтобы вероятности случайных величин были не очень близки к 0, 5. 31

Методы понижения дисперсии Метод повторения. Наблюдение получается при помощи отдельного прогона модели, причем все прогоны начинаются при одних и тех же начальных условиях, но используются различные последовательности случайных чисел. Преимуществом метода является статистическая независимость получаемых наблюдений. Недостаток состоит в том, что наблюдения могут оказаться сильно смещенными под влиянием начальных условий. Метод подынтервалов Основан на разбиении каждого прогона модели на равные промежутки времени. Начало каждого интервала совпадает с началом очередного этапа наблюдений. Преимущество – влияние переходных условий со временем уменьшается. Недостаток – предположение независимости не выполняется, существует автокорреляция между последовательными интервалами. 32

Методы понижения дисперсии Метод циклов (регенеративный метод) Интервалы выбираются таким образом, чтобы в их начальных точках условия были одинаковыми. Недостатком метода является меньшее по сравнению с методом подинтервалов число получаемых наблюдений. Метод дополнения Основан на том, что если – полученное случайное число, то его дополнение 1 - также случайное число. Идея метода дополнения связана с осуществлением двух прогонов, в одном из которых используется последовательность 1, 2, …, а в другом – дополнительная последовательность (1 - 1), (1 - 2), … Переменные, возникающие при намеренном введении отрицательной корреляции между парами, называются антитезными или дополняющими. 33

Методы понижения дисперсии Метод стратифицированной выборки Рассмотрение выборки может показать, есть ли сгущения. Выборка разделяется на части, называемые слоями (стратами). При этом необходимо, чтобы значения элементов выборки как можно меньше различались внутри одного слоя и как можно больше – между различными слоями. Внутри каждого слоя производят случайный отбор элементов и вычисляют среднее значение слоя yi. Здесь N, Ni – объем всей выборки и i-го слоя соответственно; k – число слоев. Если считать, что оценки yi – независимы, то дисперсия по выборке: где Di – дисперсия для i -го слоя. При удачном выборе слоев величины Di будут малы, а значит, и выборочная дисперсия D будет предпочтительнее, чем для оценки, 34 полученной методами простой случайной выборки.

Оценка устойчивости результатов моделирования Под устойчивостью результатов имитации будем понимать степень нечувствительности ее к изменению условий моделирования. На практике рекомендуется устойчивость результатов моделирования оценивать дисперсией значений отклика (по выбранной компоненте). Если эта дисперсия при увеличении времени моделирования не увеличивается, значит, результаты моделирования устойчивы. Может быть рекомендована следующая методика оценки устойчивости. В модельном времени с шагом t контролируются выходные параметры Y. Оценивается амплитуда изменений параметра Y. Рост разброса контролируемого параметра от начального значения при изменении модельного времени указывает на неустойчивый характер имитации исследуемого процесса. 35