Методы обработки экспериментальных данных
1. 1. Введение Окружающий нас мир насыщен информацией… Ее НЕОБХОДИМО обрабатывать для принятия управленческих решений. Существует множество мат. пакетов: Mat. Lab, Statistica, Statgraphics… НО ЕСТЬ проблема…. понимание и интерпретация результатов! НЕОБХОДИМО ЗНАТЬ И ПОНИМАТЬ КАК И ЧТО ПРОИСХОДИТ ВНУТРИ МАТ. ПАКЕТОВ!
Области применения анализа экспериментальных данных Экономика Менеджмент Медицина Социология Геология Контроль качества Концепция «Шесть сигм» – система управления компанией или ее подразделениями на основе интенсивного использования методов анализа разнообразных данных о деятельности компании
1. 2. Основные этапы анализа данных 1. Планирование и сбор данных 2. Предварительное исследование данных 4. Построение моделей и проверка гипотез 3. Оценка неизвестной величины
1. 3. Структуры данных Одномерные наборы данных (одна переменная) содержат только один признак, зарегистрированный для каждой элементарной единицы. Двумерные наборы данных содержат информацию о двух признаках для каждого из объектов. В дополнение к обобщению свойств каждой из этих двух переменных, рассматриваемых как отдельные наборы одномерных данных, Наборы многомерных данных содержат информацию о трех или более признаках для каждого объекта. В дополнение к обобщению свойств каждой из этих переменных (рассматриваемых как отдельные наборы одномерных данных) и установлению зависимости между парами переменных (как при анализе набора двумерных данных)
1. 3. Структуры данных Количественные данные Дискретные Непрерывные Качественные данные Порядковые Номинальные Временные ряды
1. 3. Структуры данных Источники данных Первичные Планирование и сбор данных Маркетинговые исследования Вторичные Поиск в Internet Социологические опросы Проведение экспериментов на производстве Специальные издания и журналы Покупка готовых данных у специализирующихся компаний
1. 4. Что такое переменная? Переменная (английский термин variable) — это то, что можно измерять, контролировать или чем можно манипулировать в исследованиях. Иными словами, переменная — это то, что варьируется, изменяется, а не является постоянным (от английского корня var). ПРИМЕРЫ: анкетные данные, систолическое давление пациентов, количество лейкоцитов в крови, цена акций, товаров, услуг, потребление, инвестиции, доход, государственные закупки товаров и услуг, инструмент государственного регулирования (в экономике); рейтинг программ, доля зрителей, количество посещений сайта (в рекламе); скорость, температура, объем, масса в (физике) и т. д.
1. 4. Что такое переменная? Так как значения переменных не постоянны, нужно научиться описывать их изменчивость. Для этого придуманы описательные или дескриптивные статистики. Минимум и максимум — это минимальное и максимальное значения переменной. Среднее — сумма значений переменной, деленная на n (число значений переменной). Дисперсия и стандартное отклонение — наиболее часто используемые меры изменчивости переменной. Дисперсия меняется от нуля до бесконечности. Крайнее значение 0 означает отсутствие изменчивости, когда значения переменной постоянны.
1. 4. Что такое переменная? Медиана разбивает выборку на две равные части. Половина значений переменной лежит ниже медианы, половина — выше. Медиана дает общее представление о том, где сосредоточены значения переменной, иными словами, где находится ее центр. В некоторых случаях, например при описании доходов населения, медиана более удобна, чем среднее. Мода представляет собой максимально часто встречающееся значение переменной (иными словами, наиболее «модное" значение переменной), например популярная передача на телевидении, модный цвет платья или марка автомобиля и т. д. А так же есть еще множество других статистик: квартили, коэффициент асимметрии, эксцесс, коэффициент корреляции и др.
1. 5. Основные законы распределения случайных величин и их назначение Законы распределения случайных величин служат математическими моделями для реальных объектов и явлений, что позволяет в некоторых случаях применять их для расчетов и анализа ситуации.
1. 5. Основные законы распределения случайных величин и их назначение Нормальное распределение особенно часто используется при анализе данных. Нормальное распределение дает хорошую модель для реальных явлений, в которых: 1) имеется сильная тенденция данных группироваться вокруг центра; 2) положительные и отрицательные отклонения от центра равновероятны; 3) частота отклонений быстро падает, когда отклонения от центра становятся большими.
1. 5. Основные законы распределения случайных величин и их назначение Равномерное распределение полезно при описании переменных, у которых каждое значение равновероятно, иными словами, значения переменной равномерно распределены в некоторой области.
1. 5. Основные законы распределения случайных величин и их назначение Экспоненциальное распределение. Имеют место события, которые на обыденном языке можно назвать редкими. Если T – время между наступлениями редких событий, происходящих в среднем с интенсивностью λ, то величина имеет экспоненциальное распределение с параметром λ (лямбда). Экспоненциальное распределение часто используется для описания интервалов между последовательными случайными событиями, например интервалов между заходами на непопулярный сайт, так как эти посещения являются редкими событиями.
1. 5. Основные законы распределения случайных величин и их назначение Распределение Лапласа, или, как его еще называют, двойного экспоненциального, используется, например, для описания распределения ошибок в моделях регрессии.
1. 5. Основные законы распределения случайных величин и их назначение Случайная величина h называется логарифмически нормальной, или логнормальной, если ее натуральный логарифм (lnh) подчинен нормальному закону распределения. Логнормальное распределение используется, например, при моделировании таких переменных, как доходы, возраст новобрачных или допустимое отклонение от стандарта вредных веществ в продуктах питания. Итак, если величина x имеет нормальное распределение, то величина y=ex имеет логнормальное распределение.
1. 5. Основные законы распределения случайных величин и их назначение Распределение Пуассона иногда называют распределением редких событий. Примерами переменных, распределенных по закону Пуассона, могут служить: число несчастных случаев, число дефектов в производственном процессе и т д.
1. 6. Краткий обзор современных программных средств для проведения анализа данных. MATLAB – это высокопроизводительный язык для технических расчетов. Он включает в себя вычисления, визуализацию и программирование в удобной среде, где задачи и решения выражаются в форме, близкой к математической. Типичное использование MATLAB – это: • математические вычисления • создание алгоритмов • моделирование • анализ данных, исследования и визуализация • научная и инженерная графика • разработка приложений, включая создание графического интерфейса
1. 6. Краткий обзор современных программных средств для проведения анализа данных. Mathcad – программное средство, среда для выполнения на компьютере разнообразных математических и технических расчетов, снабженная простым в освоении и в работе графическим интерфейсом, которая предоставляет пользователю инструменты для работы с формулами, числами, графиками и текстами. В среде Mathcad доступны более сотни операторов и логических функций, предназначенных для численного и символьного решения математических задач различной сложности и применения этих функций для анализа данных.
1. 6. Краткий обзор современных программных средств для проведения анализа данных. STATISTICA – это универсальная интегрированная система, предназначенная для статистического анализа и визуализации данных, управления базами данных и разработки пользовательских приложений, содержащая широкий набор процедур анализа для применения в научных исследованиях, технике, бизнесе, а также специальные методы добычи данных. С помощью реализованных в системе STATISTICA мощных языков программирования, снабженных специальными средствами поддержки, легко создаются законченные пользовательские решения и встраиваются в различные другие приложения или вычислительные среды.
1. 6. Краткий обзор современных программных средств для проведения анализа данных. Deductor Аналитическая платформа Deductor реализует практически все современные подходы к анализу структурированной табличной информации: хранилища данных (Data Warehouse), многомерный анализ (OLAP), добыча данных (Data Mining), обнаружение знаний в базах данных (Knowledge Discovery in Databases). Лучшим способом изучить и понять целесообразность использования современных технологий анализа - это испытать все на практике.
1. 6. Краткий обзор современных программных средств для проведения анализа данных. STATGRAPHICS – это универсальный пакет для анализа и визуализации данных. Отличительной особенностью пакета является наличие такого инструмента как Stat. Advisor, который помогает пользователям интерпретировать полученные результаты, обеспечивает возможность объединения в одном окне нескольких текстовых и графических подокон. Stat. Advisor дает пользователям понятные разъяснения полученных результатов, определяет, являются ли эти результаты существенными, и обращает особое внимание на любые возможные ошибки в анализе. Пользователи получают немедленную интерпретацию результатов в процедурах, доступных в как основной системе, так и в четырех специальных модулях, поставляемых по выбору: Quality Control (контроль качества), Experimental Design (планирование эксперимента), Time-Series Analysis (анализ временных рядов) и Advanced Multivariate Method (анализ вариаций).
ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА
Что такое планирование эксперимента Целью планирования эксперимента является создание таких планов покачивания входных переменных, которые обеспечивают более быстрое и точное построение модели объекта. Выход объекта состоит из неизвестного сигнала (функции от входов) и центрированной помехи
Эксперименты в науке и промышленности Экспериментальные методы широко используются как в науке, так и в промышленности, однако нередко с весьма различными целями. Обычно основная цель научного исследования состоит в том, чтобы показать статистическую значимость эффекта воздействия определенного фактора на изучаемую зависимую переменную. В условиях промышленного эксперимента основная цель обычно заключается в извлечении максимального количества объективной информации о влиянии изучаемых факторов на производственный процесс с помощью наименьшего числа дорогостоящих наблюдений.
Общие идеи Обычно любая машина или станок, используемый на производстве, позволяет операторам изменять различные настройки, влияя на качество производимого продукта. Эксперименты позволяют инженеру, ответственному за производство, улучшать настройки машины, а также выяснить какие факторы вносят наиболее важный вклад в качество продукции. Использование этой информации позволяет улучшить настройки системы, достигнув оптимального качества. Чтобы проиллюстрировать эти рассуждения далее приводится несколько примеров.
Общие идеи Пример 1: Производство красителей для ткани. Рассмотрим эксперимент по производству некоторого красителя для ткани. В этом случае качество производимой продукции описывается насыщенностью, яркостью и стойкостью окрашенной ткани. Кроме того, необходимо уточнить, что надо изменять для получения красок различной насыщенности, яркости для удовлетворения потребительского спроса. Другими словами, в этом эксперименте нужно выявить факторы, наиболее заметно влияющие на яркость, насыщенность и стойкость производимой краски. В примере рассматривается 6 различных факторов, влияние которых оценивается с помощью плана 2^6. Результаты эксперимента показали, что имеется три наиболее важных фактора: Полисульфидный индекс, Время и Температура. Эту информацию теперь можно использовать для более тонкой настройки аппаратуры, что бы улучшить качество красителя.
Общие идеи Пример 2: Максимизация выхода химической реакции. Выход продукта многих химических реакций зависит от времени и температуры. К сожалению, эти функции не линейны и не монотонны. Другими словами, нельзя сказать: “чем больше продолжительность реакции, тем больше выход” и “чем выше температура, тем больше выход”. Формально цель эксперимента заключается в том, чтобы найти оптимальное положение на поверхности выхода, образованной двумя переменными: временем и температурой.
Общие идеи Пример 3: Улучшение поверхностной однородности производстве кремниевых кристаллов. Производство надежных микропроцессоров требует высоко отлаженного производственного процесса. Отметим, что в данном примере одинаково, если не более важно, контролировать как изменчивость некоторых производственных характеристик, так и их средние значения. Например, средняя толщина поверхностного слоя поликремниевой подложки производственный процесс может быть отрегулирован превосходно, однако, если изменчивость этого параметра велика, то микрочипы будут недостаточно надежными. Не существует теоретической модели, которые позволяла бы инженеру предсказать, как эти факторы влияют на однородность поверхности кристаллов. Следовательно, для оптимизации производственного процесса нужно систематизировано проводить эксперименты на различных уровнях факторов.
Что такое планирование эксперимента n A B C yi 1 – – – y 1 2 + – – y 2 3 – + – y 3 4 – – + Взвешивание трех тел по традиционной схеме ("+" означает, что тело положено на весы, "–" указывает на отсутствие тела на весах). y 4 A B C yi 1 – – – y 1 2 + – – y 2 3 – + – y 3 4 Взвешивание трех тел с использованием планирования эксперимента. n – – + y 4 Видно, что при новой схеме взвешивания дисперсия веса объектов получается вдвое меньше, чем при традиционном методе взвешивания, хотя в обоих случаях выполнялось по четыре опыта.
Построение линейной статической модели объекта Считаем, что входами объекта являются u 1, …, um, а выходом y. Уравнение линейной статической модели объекта имеет вид: Необходимо на основе эксперимента (на основе нескольких измерений входов и выхода объекта) вычислить коэффициенты модели. Экспериментальные точки для входных координат зададим в вершинах гиперпрямоугольника. Интервалы покачивания относительно базовой точки задаются экспериментатором, и они определяют область изучения объекта.
Построение линейной статической модели объекта С целью унификации процедур построения планов, исследования их свойств, расчета параметров и исследования качества модели осуществляется переход от размерных входных переменных u 1, …, um к безразмерным x 1, …, xm. Точки плана в вершинах прямоугольника в новых координатах оказываются в вершинах квадрата с единичными координатами. Центр плана переходит в начало координат. n В итоге получается план: xo x 1 x 2 yi 1 + + + y 1 2 + – + yi 3 + + – y 3 4 + – – y 4
Построение линейной статической модели объекта В новых безразмерных координатах x 1, …, xm линейная модель также сохраняет линейный вид: Параметры βi модели рассчитаем по критерию наименьших квадратов : Предполагая, что измерения выхода некоррелированные и равноточные получаем систему линейных алгебраических уравнений:
Крутое восхождение по поверхности отклика В планировании эксперимента поверхностью отклика называют уравнение связи выхода объекта с его входами. В 1951 году Бокс и Уилсон предложили использовать последовательный "шаговый" метод движения к экстремуму выхода объекта. Коэффициенты αi линейной модели являются оценками составляющих градиента: Далее движение осуществляется по поверхности отклика в направлении оценки градиента , где k - величина шага.
Полный факторный эксперимент Полным факторным экспериментом называется эксперимент, в котором реализуются все возможные сочетания уровней факторов. Если число факторов равно m, а число уровней каждого фактора равно p. то имеем полный факторный эксперимент типа pm. При построении линейной модели объекта используется полный факторный эксперимент типа 2 m. Условия эксперимента записываются в таблицы, в которых строки соответствуют различным опытам, а столбцы – значениям факторов. Такие таблицы называются матрицами планирования эксперимента.
Полный факторный эксперимент С использованием ортогонального плана первого порядка можно определять не только коэффициенты βi, но и коэффициенты βij перед факторами взаимодействия xixj (i≠j) Например, при m=2 можно рассчитать и коэффициенты модели: n x 0 x 1 x 2 x 1 x 2 yi 1 + + y 1 2 + – y 2 3 + + – – y 3 4 + – – + y 4
Дробные реплики При большом числе входов объекта полный факторный эксперимент 2 m содержит большое число экспериментов. Можно этот план разбивать на блоки (дробные реплики) с сохранением ортогональности плана. При этом по меньшему числу точек определяются (также независимо друг от друга) все коэффициенты линейной модели. n x 2 x 3 1 + + 2 – + + – 3 + – 4 – – + + 5 + + – – 6 – + 7 + – – + 8 Чтобы получить дробную реплику, необходимо за основу взять полный факторный эксперимент (например 23) и в качестве новой переменной взять один из столбцов (например x 4), соответствующий фактору взаимодействия (например x 4=x 1 x 2). Для данного примера дробная реплика обозначается как 24 -1. x 1 X 4=x 1 x 2 – – Определяющий контраст (или определяющие контрасты, когда их несколько) позволяет установить разрешающую способность дробной реплики. Разрешающая способность будет максимальной, если линейные эффекты будут смешаны с эффектами взаимодействия наибольшего возможного порядка.
Насыщенные планы. Симплекс Иногда исследователь ставит цель получения линейного уравнения модели по планам, содержащим минимум точек (количество точек равно числу коэффициентов). Такие планы называют насыщенными. Ортогональный план проводится в вершинах правильного симплекса. Правильным симплексом называется выпуклая правильная фигура в многомерном пространстве, число вершин которой превышает размерность этого пространства на единицу. Эти планы центральные и ортогональные.
Насыщенные планы. Симплекс Один из общих способов построения планов:
Насыщенные планы. Планы Плаккета – Бермана Плаккет и Берман в 1946 г. предложили способ построения насыщенных планов (с единичными координатами) при m=11, 19, 23, 27, 31, 35, 39, 43, 47, 51, 55, 59, 63, 67, 71, . . Задаются базовые строки. Каждая следующая строка матрицы планирования образуется из исходной циклическим сдвигом вправо. Получается матрица размером m x m. Последняя (m+1) -я строка матрицы планирования состоит из минус единиц. Пример базисных строк: m n 11 12 + + – + + + – – – + – 19 20 + + – – + + + – + – – + + – 23 24 + + + – – + – – – – 31 32 – – + – + + + – – + + – – + 35 36 – + + + – – – + + + – – – – + – + + – – + – Строка
Разбиение матрицы планирования на блоки При проведении эксперимента выход объекта дрейфует. Если этот дрейф кусочно-постоянный, то его можно нейтрализовать, изменяя порядок проведения эксперимента во времени. Для этого разбивают матрицу планирования на блоки и последовательно реализуют (во времени) эту матрицу: вначале один блок, затем другой и т. д. В качестве примера рассмотрим ортогональный план 23 . Считаем, что выход объекта имеет аддитивный дрейф на величину Δ 1 (когда проводятся эксперименты с номерами 1, 2, 3, 4) и на величину Δ 2 (когда проводятся эксперименты № 5, 6, 7, 8). Этот дрейф приводит к смещению на величину (4Δ 1 -4 Δ 2)/8 параметра β 3.
Разбиение матрицы планирования на блоки Пример эксперимента в котором выход объекта дрейфует. n x 1 x 2 x 3 xдр=x 1 x 2 x 3 yi 1 + + y 1=y 1 ист+Δ 1 1 2 – + + – y 2=y 2 ист+Δ 1 2 3 + – y 3=y 3 ист+Δ 1 2 4 – – + + y 4=y 4 ист+Δ 1 1 5 + + – – y 5=y 5 ист+Δ 2 2 6 – + y 6=y 6 ист+Δ 2 1 7 + – – + y 7=y 7 ист+Δ 2 1 8 – – y 8=y 8 ист+Δ 2 2 Номер блока
Разбиение матрицы планирования на блоки Для устранения этого недостатка изменим порядок проведения эксперимента, разбив план на 2 блока. n x 1 x 2 x 3 xдр yi 1 + + y 1=y 1 ист+Δ 1 2 – – + + y 2=y 2 ист+Δ 1 3 – + y 3=y 3 ист+Δ 1 4 + – – + y 4=y 4 ист+Δ 1 5 – + + – y 5=y 5 ист+Δ 2 6 + – y 6=y 6 ист+Δ 2 7 + + – – y 7=y 7 ист+Δ 2 8 – – y 8=y 8 ист+Δ 2 Номер блока Блок 1 Блок 2
Обработка результатов эксперимента 1. Проверка однородности дисперсий. Если при реализации ортогонального плана остается неизвестным, на самом ли деле дисперсии выходов (ошибок измерения) одинаковы в каждой точке плана, то необходимо в каждой точке плана осуществить несколько дополнительных измерений выхода, найти оценку дисперсии (в каждой точке) и проверить гипотезу о равенстве дисперсий. Проверка однородности дисперсий производится с помощью различных статистик. Простейшей из них является статистика Фишера, представляющая собой отношение наибольшей из оценок к наименьшей: Так же можно выполнить проверку с использованием статистики Кочрена:
Обработка результатов эксперимента 2. Проверка адекватности модели. Вычисляем остаточную сумму квадратов , делим ее на число степеней свободы n-m-1 и получаем остаточную дисперсию (дисперсию адекватности): На основе дополнительного эксперимента объема n 0 в одной из точек плана (например в центре плана) строим оценку для дисперсии выхода объекта. Число степеней свободы для оценки n 0 -1. По статистике Фишера проверяем гипотезу о равенстве дисперсий, которая совпадает с гипотезой об адекватности модели. Если статистика не превосходит порогового значения, то принимается гипотеза об адекватности модели. В противоположном случае эта гипотеза отвергается. Надо заново строить модель, например, усложняя ее за счет введения дополнительных факторов, либо отказываться от линейной модели и переходить к квадратичной модели.
Обработка результатов эксперимента 3. Проверка значимости коэффициентов заключается в проверке гипотезы H: bj = 0 для каждого j=1, …, m. Вычисляется статистика Стьюдента: Если |t|<c, где с – пороговое значения из таблицы Стьюдента, то принимается гипотеза о том, что коэффициент модели βj незначимо отличается от нуля. В этом случае данный член модели можно опустить, но после этого упрощения модели ее надо проверить на адекватность.
Обработка результатов эксперимента 4. Интерпретация модели. Производится качественное сопоставление поведения полученной модели с реальными процессами объекта. При этом привлекается информация от экспертов (например технологов), детально изучивших объект. Знак коэффициентов βj , линейной модели показывает характер влияния входа объекта на выход. Знак "+" свидетельствует о том, что с увеличением входа (фактора) растет величина выхода объекта и наоборот. Величина коэффициентов βj – количественная мера этого влияния. Если характер связи между входами и выходом объекта на основе построенной модели не соответствует реальным связям (на базе информации от экспертов) в объекте, то такую модель надо поставить под сомнение либо полностью отказаться от нее.
Ортогональное планирование второго порядка Построение планов второго порядка – задача в математическом отношении значительно более сложная, чем в случае построения планов первого порядка. Модель второго порядка при m=3 имеет вид: Для вычисления коэффициентов модели второго порядка необходимо варьировать переменные не менее чем на трех уровнях. Это вызывает необходимость постановки большого числа опытов. Полный факторный эксперимент содержит 3 m точек. m 1 2 3 4 5 6 7 3 m 3 9 27 81 243 729 2187 Композиционный план n 0=1 5 9 15 25 43 77 143
Ортогональное планирование второго порядка В 1951 году Бокс и Уилсон предложили составлять композиционные планы. Число точек плана равно величине n=n 1+2 m+n 0. Здесь n 1– число точек полного факторного эксперимента или дробной реплики 2 m – число парных точек, расположенных на осях координат; n 0 – число опытов в центре плана. Точки на осях координат называют звездными точками. Их количество равно удвоенному числу факторов. Расстояние от центра плана до звездной точки одинаково. Его обозначают буквой α и называют звездным плечом. Композиционные планы имеют следующие положительные свойства: 1. Они могут быть получены в результате достройки планов первого порядка. 2. Дополнительные точки на осях координат и в центре плана не нарушают ортогональности для столбцов, соответствующих факторам xj и эффектам взаимодействия xixj.
Ортогональное планирование второго порядка Пример композиционного плана: x 1 x 2 x 12 x 22 + + + – 4 + – 5 + 6 n x 0 x 1 x 2 x 1’ x 2’ 1 + + + ◊ ◊ 2 + + + ◊ ◊ 3 – + + ◊ ◊ – + + + ◊ ◊ α 0 0 α 2 0 Δ □ + -α 0 0 α 2 0 Δ □ 7 + 0 α 0 0 α 2 □ Δ 8 + 0 -α 0 0 α 2 □ Δ 9 + 0 0 0 □ □ С учетом новых переменных xl’ получаем следующее уравнение модели (для случая m=2):
Ротатабельное планирование Если эта дисперсия одинакова на равном удалении от центра плана, то такой план называется ротатабельным. Ортогональный план первого порядка является ротатабельным. Построение ротатабельного плана второго порядка из симплексных планов:
Метод случайного баланса Часто влияние факторов на выходную координату объекта имеет затухающий экспоненциальный вид: В 1956 году Сатерзвайт предложил метод случайного баланса для отсеивания небольшого числа значимых факторов на шумовом поле. Метод базируется на постановке экспериментов по плану, содержащему координаты точек, выбранных случайным образом. Построение матрицы планирования осуществляют следующим образом. Все факторы разбивают на группы. Затем для каждой группы строят матрицы планирования, беря за основу полный факторный эксперимент или дробные реплики. План проведения эксперимента образуется путем случайного смешивания строк соответствующих базовых планов (для групп факторов). Полученный план реализуется на объекте, и результаты анализируются с помощью диаграмм рассеяния.
Метод случайного баланса Пример: n x 1 x 2 x 1 x 2 y y 1 1 + + + 24 27 2 – + – 27 27 3 + – – 26 29 4 – – + 29 29 Каждая из диаграмм содержит точки, соответствующие результатам эксперимента. Эти точки разбиты на две группы. Одна из них соответствует тем опытам, когда исследуемый фактор находился на нижнем уровне, вторая – тем опытам, когда фактор находился на верхнем уровне. Для каждой из групп находятся оценки медианы и вычисляется их разность (из оценки медианы правой группы вычитается оценка медианы левой). Разность между оценками медиан количественно оценивает линейное влияние фактора на выход объекта.
ДИСПЕРСИОННЫЙ АНАЛИЗ
Постановка проблемы Дисперсионный анализ является статистическим методом анализа результатов наблюдений, зависящих от различных одновременно действующих факторов, с целью выбора наиболее значимых факторов и оценки их влияния на исследуемый процесс. Методами дисперсионного анализа устанавливается наличие влияния заданного фактора на изучаемый процесс (на выходную переменную процесса) за счёт статистической обработки наблюдаемой совокупности выборочных данных.
Однофакторный дисперсионный анализ Предположим, что анализируется влияние на случайную величину X фактора A, изучаемого на k уровнях (A 1, A 2, …, Ak). На каждом уровне Ai проведены n наблюдений (xi 1, xi 2, …, xin) случайной Номер Уровни фактора A величины X. наблюдения Расположим экспериментальные данные в виде таблицы A 1 A 2 … Ai … Ak 1 x 11 x 21 … xi 1 … xk 1 2 x 12 x 22 … xi 2 … xk 2 …. … … … j x 1 j x 2 j … xij … xkj … … … … n x 1 n X 2 n … xin … xkn Σ X 1 X 2 … Xi … Xn
Однофакторный дисперсионный анализ Рассмотрим оценки различных дисперсий, возникающие при анализе таблицы результатов наблюдений. Для оценки дисперсии, характеризующей изменение данных на уровне Ai (по строкам таблицы), имеем: Из предпосылок дисперсионного анализа следует, что должно иметь место равенство всех дисперсий. При выполнении этого условия находим оценку дисперсии, характеризующей рассеяние значений xij вне влияния фактора A, по формуле:
Однофакторный дисперсионный анализ Для упрощения вычислений приведем алгоритм их выполнения. Вычисляем последовательно суммы: Сравниваем и устанавливаем наличие влияния фактора A. Если , то влияние A – значимо.
Двухфакторный дисперсионный анализ Рассмотренный ранее однофакторный дисперсионный анализ обладает информативностью, не большей, чем методы множественного сравнения средних. Информативность дисперсионного анализа возрастает при одновременном изучении влияния нескольких факторов. Рассмотрим случай, когда анализируется влияние одновременно двух факторов A и B.
Двухфакторный дисперсионный анализ Пусть результаты таблицей: B B 1 B 2 …. Bj … Bm Σ A 1 x 12 … x 1 j … x 1 n X 1 эксперимента Уровни фактора A A 2 … Ai … x 21 … xi 1 … x 22 … xi 2 … … … x 2 j … xij … … … X 2 n … xin … X 2 … Xi … представлены Ak xk 1 xk 2 … xkj … xkn Xn Σ X 1 ’ X 2 ’ … Xj’ … Xm’
Двухфакторный дисперсионный анализ Дисперсионный анализ для двухфакторных таблиц проводится в следующей последовательности. Вычисляются суммы: Далее находятся оценки дисперсий: Если , то влияние фактора A признается значимым. Если , то влияние фактора B признается значимым.
Двухфакторный дисперсионный анализ Приведенный анализ предполагает независимость факторов A и B. Если они зависимы, то взаимодействие факторов C=AB также является фактором, которому соответствует своя дисперсия. Для того чтобы выделить такое взаимодействие, необходимы параллельные наблюдения в каждой клетке таблицы, т. е. при каждом сочетании факторов A и B на уровнях Ai и Bj соответственно необходимо не одно наблюдение, а серия наблюдений. Для оценки влияния взаимодействия факторов AB вычисляем дополнительную сумму: Далее анализ проводится, как и ранее, с той лишь разницей, что в клетках таблицы вместо отдельных значений используется их средние значения. Вычисляется оценка дисперсии и проверяется значимость взаимодействия факторов:
Планирование эксперимента при дисперсионном анализе Дисперсионный анализ тесно связан с соответствующим планированием эксперимента. Удачно спланированный эксперимент, выявляя все необходимые эффекты, оказывается всегда либо более точным, либо менее трудоемким по сравнению с непродуманным экспериментом. Если на результат эксперимента действуют одновременно несколько факторов, то наилучший эффект дает одновременный дисперсионный анализ всех этих факторов (многофакторный анализ). Методы дисперсионного анализа позволяют исследовать и такой случай, когда некоторые сочетания уровней пропущены. Такой эксперимент называется дробным факторным экспериментом (ДФЭ). Планирование при ДФЭ приобретает особо важную роль, ибо пропущенные сочетания уровней не так-то просто нейтрализовать.
Планирование эксперимента при дисперсионном анализе Такие способы планирования существуют и притом не единственные; согласно Фишеру их называют латинскими квадратами. Эти расположения приводятся в специальных справочниках; для примера приведен один вид такого квадрата: A 1 B 1 C 1 B 2 C 2 … … Bk-1 Ck-1 B k Ck A 2 C 3 … Ck C 1 … … … Ak-1 Ck … Ck-3 Ck-2 Ak Ck C 1 … Ck-2 Ck-1
Планирование эксперимента при дисперсионном анализе Схема расчетов для латинского квадрата очень похожа на обычный двухфакторный анализ: Находим сумму квадратов по столбцам, деленную на число наблюдений в столбце: Находим сумму квадратов итогов по строкам, деленную на число наблюдений в строке: Находим квадрат общего итога, деленный на число всех наблюдений: Находим сумму квадратов итогов по уровням фактора C, деленную на число уровней:
Планирование эксперимента при дисперсионном анализе Перейдем теперь к вычислению и оценке значимости дисперсий: Если отличие будет значимым, то
АНАЛИЗ ТРЕНДОВ И ВРЕМЕННЫХ РЯДОВ
Введение Временные ряды отличаются от обычных данных об одном временном срезе в том отношении, что в случае временных рядов сама последовательность наблюдений несет в себе важную информацию. Теперь чтобы охарактеризовать совокупность данных в целом, уже недостаточно знать лишь типичное значение этих данных (среднее значение) или даже изменчивость этой совокупности данных (дисперсия). В этом случае желательно знать, что, скорее всего, произойдет дальше. НУЖЕН ПРОГНОЗ!
Введение ПРИМЕР. Чтобы составить бюджет на следующий квартал, требуется достоверная оценка ожидаемого объема продаж. Этот прогноз послужит основой для прогнозирования других показателей бюджета (возможно, с помощью регрессионного анализа). Проанализировав временной ряд фактических квартальных объемов продажи за последние несколько лет, можно выдать прогноз, который будет представлять собой наиболее достоверную оценку, базирующуюся на общих тенденциях продаж, с учетом любых сезонных колебаний спроса.
Анализ трендов и сезонности представляет собой непосредственный, интуитивный подход к оцениванию четырех базовых компонентов помесячных или поквартальных временных рядов: долгосрочный тренд (тенденция), сезонность, циклическая вариация и нерегулярный компонент. Базовая модель временного ряда представляет числа в этом ряде в виде произведения, получаемого путем умножения перечисленных компонентов.
Анализ трендов и сезонности
Анализ трендов и сезонности Тренд и циклический компонент: скользящее среднее Скользящее среднее представляет собой новый ряд, полученный путем усреднения соседних наблюдений временного ряда и перехода к следующему периоду времени – в итоге получается более гладкий ряд.
Анализ трендов и сезонности Сезонный индекс: среднее значение отношения к скользящему среднему отражает сезонное поведение Чтобы выделить сезонное поведение, прежде всего, следует получить отношение исходных значений к скользящему среднему. Полученный результат будет включать сезонный и нерегулярный компоненты, поскольку скользящее среднее исключает из данных тренд и циклический компонент.
Анализ трендов и сезонности Затем, чтобы устранить нерегулярный компонент, надо усреднить эти значения для каждого сезона. Сезонный компонент проявляется, поскольку он присутствует ежегодно, тогда как нерегулярный компонент, как правило, удается усреднить.
Анализ трендов и сезонности Поправка на сезон: деление ряда на сезонный индекс. Поправка на сезонные колебания устраняет из результатов измерения ожидаемый сезонный компонент (путем деления ряда на сезонный индекс для соответствующего периода), что позволяет нам непосредственно сравнивать один квартал или месяц с другим (после внесения поправки на сезон), выявляя те или иные скрытые тенденции.
Анализ трендов и сезонности Долгосрочный тренд и прогноз с поправкой на сезонные колебания: линия регрессии Когда временной ряд демонстрирует долгосрочную линейную тенденцию к нарастанию или снижению, для оценки этой тенденции и прогнозирования будущего можно воспользоваться регрессионным анализом.
Анализ трендов и сезонности Прогноз: тренд с учетом сезонности Чтобы прогнозировать будущее, надо учесть сезонность в долгосрочном тренде, вернув ему ожидаемую сезонную вариацию. Для этого достаточно умножить значение тренда на значение сезонного индекса для того периода времени, который вы прогнозируете. Этот процесс является обратным по отношению к внесению поправки на сезонные колебания. Результирующий прогноз включает долгосрочный тренд и сезонную вариацию.
Скачать презентацию Методы обработки экспериментальных данных 1 1 Введение
all_2.ppt