Методы обработки экспериментальных данных Кузнецов Алексей Владимирович

Введение

1. 1. Введение Окружающий нас мир насыщен информацией… Ее НЕОБХОДИМО обрабатывать для принятия управленческих решений. Существует множество мат. пакетов: Mat. Lab, Statistica, Statgraphics… НО ЕСТЬ проблема…. понимание и интерпретация результатов! НЕОБХОДИМО ЗНАТЬ И ПОНИМАТЬ КАК И ЧТО ПРОИСХОДИТ ВНУТРИ МАТ. ПАКЕТОВ!

Области применения анализа экспериментальных данных Экономика Менеджмент Медицина Социология Геология Контроль качества Концепция «Шесть сигм» – система управления компанией или ее подразделениями на основе интенсивного использования методов анализа разнообразных данных о деятельности компании

1. 2. Основные этапы анализа данных 1. Планирование и сбор данных 2. Предварительное исследование данных 4. Построение моделей и проверка гипотез 3. Оценка неизвестной величины

1. 3. Структуры данных Одномерные наборы данных (одна переменная) содержат только один признак, зарегистрированный для каждой элементарной единицы. Двумерные наборы данных содержат информацию о двух признаках для каждого из объектов. В дополнение к обобщению свойств каждой из этих двух переменных, рассматриваемых как отдельные наборы одномерных данных, Наборы многомерных данных содержат информацию о трех или более признаках для каждого объекта. В дополнение к обобщению свойств каждой из этих переменных (рассматриваемых как отдельные наборы одномерных данных) и установлению зависимости между парами переменных (как при анализе набора двумерных данных)

1. 3. Структуры данных Количественные данные Дискретные Непрерывные Качественные данные Порядковые Номинальные Временные ряды

1. 3. Структуры данных Источники данных Первичные Планирование и сбор данных Маркетинговые исследования Вторичные Поиск в Internet Социологические опросы Проведение экспериментов на производстве Специальные издания и журналы Покупка готовых данных у специализирующихся компаний

1. 4. Что такое переменная? Переменная (английский термин variable) — это то, что можно измерять, контролировать или чем можно манипулировать в исследованиях. Иными словами, переменная — это то, что варьируется, изменяется, а не является постоянным (от английского корня var). ПРИМЕРЫ: анкетные данные, систолическое давление пациентов, количество лейкоцитов в крови, цена акций, товаров, услуг, потребление, инвестиции, доход, государственные закупки товаров и услуг, инструмент государственного регулирования (в экономике); рейтинг программ, доля зрителей, количество посещений сайта (в рекламе); скорость, температура, объем, масса в (физике) и т. д.

1. 4. Что такое переменная? Так как значения переменных не постоянны, нужно научиться описывать их изменчивость. Для этого придуманы описательные или дескриптивные статистики. Минимум и максимум — это минимальное и максимальное значения переменной. Среднее — сумма значений переменной, деленная на n (число значений переменной). Дисперсия и стандартное отклонение — наиболее часто используемые меры изменчивости переменной. Дисперсия меняется от нуля до бесконечности. Крайнее значение 0 означает отсутствие изменчивости, когда значения переменной постоянны.

1. 4. Что такое переменная? Медиана разбивает выборку на две равные части. Половина значений переменной лежит ниже медианы, половина — выше. Медиана дает общее представление о том, где сосредоточены значения переменной, иными словами, где находится ее центр. В некоторых случаях, например при описании доходов населения, медиана более удобна, чем среднее. Мода представляет собой максимально часто встречающееся значение переменной (иными словами, наиболее «модное" значение переменной), например популярная передача на телевидении, модный цвет платья или марка автомобиля и т. д. А так же есть еще множество других статистик: квартили, коэффициент асимметрии, эксцесс, коэффициент корреляции и др.

1. 5. Основные законы распределения случайных величин и их назначение Законы распределения случайных величин служат математическими моделями для реальных объектов и явлений, что позволяет в некоторых случаях применять их для расчетов и анализа ситуации.

1. 5. Основные законы распределения случайных величин и их назначение Нормальное распределение особенно часто используется при анализе данных. Нормальное распределение дает хорошую модель для реальных явлений, в которых: 1) имеется сильная тенденция данных группироваться вокруг центра; 2) положительные и отрицательные отклонения от центра равновероятны; 3) частота отклонений быстро падает, когда отклонения от центра становятся большими.

1. 5. Основные законы распределения случайных величин и их назначение Равномерное распределение полезно при описании переменных, у которых каждое значение равновероятно, иными словами, значения переменной равномерно распределены в некоторой области.

1. 5. Основные законы распределения случайных величин и их назначение Экспоненциальное распределение. Имеют место события, которые на обыденном языке можно назвать редкими. Если T – время между наступлениями редких событий, происходящих в среднем с интенсивностью λ, то величина имеет экспоненциальное распределение с параметром λ (лямбда). Экспоненциальное распределение часто используется для описания интервалов между последовательными случайными событиями, например интервалов между заходами на непопулярный сайт, так как эти посещения являются редкими событиями.

1. 5. Основные законы распределения случайных величин и их назначение Распределение Лапласа, или, как его еще называют, двойного экспоненциального, используется, например, для описания распределения ошибок в моделях регрессии.

1. 5. Основные законы распределения случайных величин и их назначение Случайная величина h называется логарифмически нормальной, или логнормальной, если ее натуральный логарифм (lnh) подчинен нормальному закону распределения. Логнормальное распределение используется, например, при моделировании таких переменных, как доходы, возраст новобрачных или допустимое отклонение от стандарта вредных веществ в продуктах питания. Итак, если величина x имеет нормальное распределение, то величина y=ex имеет логнормальное распределение.

1. 5. Основные законы распределения случайных величин и их назначение Распределение Пуассона иногда называют распределением редких событий. Примерами переменных, распределенных по закону Пуассона, могут служить: число несчастных случаев, число дефектов в производственном процессе и т д.

1. 6. Краткий обзор современных программных средств для проведения анализа данных. MATLAB – это высокопроизводительный язык для технических расчетов. Он включает в себя вычисления, визуализацию и программирование в удобной среде, где задачи и решения выражаются в форме, близкой к математической. Типичное использование MATLAB – это: • математические вычисления • создание алгоритмов • моделирование • анализ данных, исследования и визуализация • научная и инженерная графика • разработка приложений, включая создание графического интерфейса

1. 6. Краткий обзор современных программных средств для проведения анализа данных. Mathcad – программное средство, среда для выполнения на компьютере разнообразных математических и технических расчетов, снабженная простым в освоении и в работе графическим интерфейсом, которая предоставляет пользователю инструменты для работы с формулами, числами, графиками и текстами. В среде Mathcad доступны более сотни операторов и логических функций, предназначенных для численного и символьного решения математических задач различной сложности и применения этих функций для анализа данных.

1. 6. Краткий обзор современных программных средств для проведения анализа данных. STATISTICA – это универсальная интегрированная система, предназначенная для статистического анализа и визуализации данных, управления базами данных и разработки пользовательских приложений, содержащая широкий набор процедур анализа для применения в научных исследованиях, технике, бизнесе, а также специальные методы добычи данных. С помощью реализованных в системе STATISTICA мощных языков программирования, снабженных специальными средствами поддержки, легко создаются законченные пользовательские решения и встраиваются в различные другие приложения или вычислительные среды.

1. 6. Краткий обзор современных программных средств для проведения анализа данных. Deductor Аналитическая платформа Deductor реализует практически все современные подходы к анализу структурированной табличной информации: хранилища данных (Data Warehouse), многомерный анализ (OLAP), добыча данных (Data Mining), обнаружение знаний в базах данных (Knowledge Discovery in Databases). Лучшим способом изучить и понять целесообразность использования современных технологий анализа - это испытать все на практике.

1. 6. Краткий обзор современных программных средств для проведения анализа данных. STATGRAPHICS – это универсальный пакет для анализа и визуализации данных. Отличительной особенностью пакета является наличие такого инструмента как Stat. Advisor, который помогает пользователям интерпретировать полученные результаты, обеспечивает возможность объединения в одном окне нескольких текстовых и графических подокон. Stat. Advisor дает пользователям понятные разъяснения полученных результатов, определяет, являются ли эти результаты существенными, и обращает особое внимание на любые возможные ошибки в анализе. Пользователи получают немедленную интерпретацию результатов в процедурах, доступных в как основной системе, так и в четырех специальных модулях, поставляемых по выбору: Quality Control (контроль качества), Experimental Design (планирование эксперимента), Time-Series Analysis (анализ временных рядов) и Advanced Multivariate Method (анализ вариаций).

Вопросы ?

КЛАССИФИКАЦИЯ В РАСПОЗНАВАНИИ ОБРАЗОВ

Схема системы распознавания Система распознавания образов состоит из нескольких подсистем: Объект Датчики Формирователь информативных признаков Обучающая выборка и решающее правило для случая двух информативных признаков x 1, x 2 и двух классов. Классификатор Решение x 2 h(x , x )=0 1 2 G 1 h ( x , x )> 0 1 2 G 2 h( x , x ) < 0 1 2 x 1

Байесовская теория принятия решений при дискретных признаках Одномерный вариант Рассматриваем m классов (полную группу несовместных случайных событий) и один дискретный информативный признак X. По формуле Байеса вычисляем апостериорные вероятности для всех рассматриваемых классов: Выносим решение об истинности того класса (с номером ), для которого апостериорная вероятность максимальная:

Байесовская теория принятия решений при дискретных признаках Многомерный вариант Для простоты считаем, что имеются два информативных признака X и Y. X принимает возможные значения x 1, …, xn 1, Y принимает возможные значения y 1, …, yn 2. По формуле Байеса вычисляем апостериорные вероятности для всех рассматриваемых классов: Выносим решение об истинности того класса (с номером ), для которого апостериорная вероятность максимальная:

Байесовская теория принятия решений при дискретных признаках Одномерный вариант Многомерный вариант

Байесовская теория принятия решений при непрерывных признаках Одномерны вариант: Апостериорные вероятности классов по формуле Байеса : если то принимается решение о 1 -м классе, иначе о 2 -м классе.

Байесовская теория принятия решений при непрерывных признаках Вероятность ошибки классификации при двух классах:

Идеи классификации Случай 1. Известны полностью условные плотности распределения вероятности для признаков: Одномерный случай Двумерный случай

Идеи классификации Случай 2. Условные плотности распределения вероятности для признаков известны не полностью, а с точностью до параметров: Неизвестные параметры θ 1 и θ 2 доопределяются с помощью одного из методов математической статистики, например с помощью метода максимального правдоподобия, на основе обучающей выборки. Дальнейшая классификация проводится, как и в случае 1. По обучающей выборке доопределяются и априорные вероятности:

Идеи классификации Случай 3. Условные плотности распределения вероятности неизвестны, но известна обучающая выборка. Здесь возможны два варианта. Вариант 1. Восстанавливается решающая функция. Вариант 2. По обучающей выборке восстанавливаются условные плотности

Идеи классификации Случай 4. Число классов неизвестно и нет обучающей выборки. Вернее, нет учителя, который мог бы измерения признаков разбить на группы, соответствующие своим классам. Это самая сложная и распространенная на практике ситуация. Приходится строить самообучающиеся системы классификации. 1) По количеству максимумов определяем кол-во классов 2) Минимум позволяет разбить выборку на две части – точка c 0 (нулевое приближение). 3) Далее строится процедура последовательного (итерационного) расчета порога c. 4) В итоге получаем случай 3.

Прямые методы восстановления решающей функции

НЕЙРОННЫЕ СЕТИ: еще один подход к классификации Идея взята из биологии: • Клетка - элементарный процессор, способный к простейшей обработке информации • Нейрон - элемент клеточной структуры мозга • Нейрон осуществляет прием и передачу информации в виде импульсов нервной активности • Природа импульсов - электрохимическая

Интересные данные §Тело клетки имеет размер 3 - 100 микрон §Гигантский аксон кальмара имеет толщину 1 миллиметр и длину несколько метров §Потенциал, превышающий 50 м. В изменяет проводимость мембраны аксона §Общее число нейронов в ЦНС человека порядка 100. 000 §Каждая клетка связана в среднем с 10. 000 других нейронов §Совокупность в объеме 1 мм*3 - независимая локальная сеть

Персептроны

Формальный нейрон

Нелинейное преобразование Маккалок - Питтс Линейная Сигмоидальная

Перцептрон Розенблата Розенблат: нейронная сеть рассмотренной архитектуры будет способна к воспроизведению любой логической функции. (неверное предположение)

Обучение сети § § § Обучить нейронную сеть это значит, сообщить ей, чего от нее добиваются. Показав ребенку изображение буквы и получив неверный ответ, ему сообщается тот, который хотят получить. Ребенок запоминает этот пример с верным ответом и в его памяти происходят изменения в нужном направлении.

Обучение перцептрона Начальные значения весов всех нейронов полагаются случайными. Сети предъявляется входной образ xa, в результате формируется выходной образ.

STATISTICA Neural Networks

ВОПРОСЫ ?

ПЛАНИРОВАНИЕ ЭКСПЕРИМЕНТА

Что такое планирование эксперимента Целью планирования эксперимента является создание таких планов покачивания входных переменных, которые обеспечивают более быстрое и точное построение модели объекта. Выход объекта состоит из неизвестного сигнала (функции от входов) и центрированной помехи

Эксперименты в науке и промышленности Экспериментальные методы широко используются как в науке, так и в промышленности, однако нередко с весьма различными целями. Обычно основная цель научного исследования состоит в том, чтобы показать статистическую значимость эффекта воздействия определенного фактора на изучаемую зависимую переменную. В условиях промышленного эксперимента основная цель обычно заключается в извлечении максимального количества объективной информации о влиянии изучаемых факторов на производственный процесс с помощью наименьшего числа дорогостоящих наблюдений.

Общие идеи Обычно любая машина или станок, используемый на производстве, позволяет операторам изменять различные настройки, влияя на качество производимого продукта. Эксперименты позволяют инженеру, ответственному за производство, улучшать настройки машины, а также выяснить какие факторы вносят наиболее важный вклад в качество продукции. Использование этой информации позволяет улучшить настройки системы, достигнув оптимального качества. Чтобы проиллюстрировать эти рассуждения далее приводится несколько примеров.

Общие идеи Пример 1: Производство красителей для ткани. Рассмотрим эксперимент по производству некоторого красителя для ткани. В этом случае качество производимой продукции описывается насыщенностью, яркостью и стойкостью окрашенной ткани. Кроме того, необходимо уточнить, что надо изменять для получения красок различной насыщенности, яркости для удовлетворения потребительского спроса. Другими словами, в этом эксперименте нужно выявить факторы, наиболее заметно влияющие на яркость, насыщенность и стойкость производимой краски. В примере рассматривается 6 различных факторов, влияние которых оценивается с помощью плана 2^6. Результаты эксперимента показали, что имеется три наиболее важных фактора: Полисульфидный индекс, Время и Температура. Эту информацию теперь можно использовать для более тонкой настройки аппаратуры, что бы улучшить качество красителя.

Общие идеи Пример 2: Максимизация выхода химической реакции. Выход продукта многих химических реакций зависит от времени и температуры. К сожалению, эти функции не линейны и не монотонны. Другими словами, нельзя сказать: “чем больше продолжительность реакции, тем больше выход” и “чем выше температура, тем больше выход”. Формально цель эксперимента заключается в том, чтобы найти оптимальное положение на поверхности выхода, образованной двумя переменными: временем и температурой.

Общие идеи Пример 3: Улучшение поверхностной однородности производстве кремниевых кристаллов. Производство надежных микропроцессоров требует высоко отлаженного производственного процесса. Отметим, что в данном примере одинаково, если не более важно, контролировать как изменчивость некоторых производственных характеристик, так и их средние значения. Например, средняя толщина поверхностного слоя поликремниевой подложки производственный процесс может быть отрегулирован превосходно, однако, если изменчивость этого параметра велика, то микрочипы будут недостаточно надежными. Не существует теоретической модели, которые позволяла бы инженеру предсказать, как эти факторы влияют на однородность поверхности кристаллов. Следовательно, для оптимизации производственного процесса нужно систематизировано проводить эксперименты на различных уровнях факторов.

Что такое планирование эксперимента n A B C yi 1 – – – y 1 2 + – – y 2 3 – + – y 3 4 – – + Взвешивание трех тел по традиционной схеме ("+" означает, что тело положено на весы, "–" указывает на отсутствие тела на весах). y 4 A B C yi 1 – – – y 1 2 + – – y 2 3 – + – y 3 4 Взвешивание трех тел с использованием планирования эксперимента. n – – + y 4 Видно, что при новой схеме взвешивания дисперсия веса объектов получается вдвое меньше, чем при традиционном методе взвешивания, хотя в обоих случаях выполнялось по четыре опыта.

Построение линейной статической модели объекта Считаем, что входами объекта являются u 1, …, um, а выходом y. Уравнение линейной статической модели объекта имеет вид: Необходимо на основе эксперимента (на основе нескольких измерений входов и выхода объекта) вычислить коэффициенты модели. Экспериментальные точки для входных координат зададим в вершинах гиперпрямоугольника. Интервалы покачивания относительно базовой точки задаются экспериментатором, и они определяют область изучения объекта.

Построение линейной статической модели объекта С целью унификации процедур построения планов, исследования их свойств, расчета параметров и исследования качества модели осуществляется переход от размерных входных переменных u 1, …, um к безразмерным x 1, …, xm. Точки плана в вершинах прямоугольника в новых координатах оказываются в вершинах квадрата с единичными координатами. Центр плана переходит в начало координат. n В итоге получается план: xo x 1 x 2 yi 1 + + + y 1 2 + – + yi 3 + + – y 3 4 + – – y 4

Построение линейной статической модели объекта В новых безразмерных координатах x 1, …, xm линейная модель также сохраняет линейный вид: Параметры βi модели рассчитаем по критерию наименьших квадратов : Предполагая, что измерения выхода некоррелированные и равноточные получаем систему линейных алгебраических уравнений:

Крутое восхождение по поверхности отклика В планировании эксперимента поверхностью отклика называют уравнение связи выхода объекта с его входами. В 1951 году Бокс и Уилсон предложили использовать последовательный "шаговый" метод движения к экстремуму выхода объекта. Коэффициенты αi линейной модели являются оценками составляющих градиента: Далее движение осуществляется по поверхности отклика в направлении оценки градиента , где k - величина шага.

Полный факторный эксперимент Полным факторным экспериментом называется эксперимент, в котором реализуются все возможные сочетания уровней факторов. Если число факторов равно m, а число уровней каждого фактора равно p. то имеем полный факторный эксперимент типа pm. При построении линейной модели объекта используется полный факторный эксперимент типа 2 m. Условия эксперимента записываются в таблицы, в которых строки соответствуют различным опытам, а столбцы – значениям факторов. Такие таблицы называются матрицами планирования эксперимента.

Полный факторный эксперимент С использованием ортогонального плана первого порядка можно определять не только коэффициенты βi, но и коэффициенты βij перед факторами взаимодействия xixj (i≠j) Например, при m=2 можно рассчитать и коэффициенты модели: n x 0 x 1 x 2 x 1 x 2 yi 1 + + y 1 2 + – y 2 3 + + – – y 3 4 + – – + y 4

Дробные реплики При большом числе входов объекта полный факторный эксперимент 2 m содержит большое число экспериментов. Можно этот план разбивать на блоки (дробные реплики) с сохранением ортогональности плана. При этом по меньшему числу точек определяются (также независимо друг от друга) все коэффициенты линейной модели. n x 2 x 3 1 + + 2 – + + – 3 + – 4 – – + + 5 + + – – 6 – + 7 + – – + 8 Чтобы получить дробную реплику, необходимо за основу взять полный факторный эксперимент (например 23) и в качестве новой переменной взять один из столбцов (например x 4), соответствующий фактору взаимодействия (например x 4=x 1 x 2). Для данного примера дробная реплика обозначается как 24 -1. x 1 X 4=x 1 x 2 – – Определяющий контраст (или определяющие контрасты, когда их несколько) позволяет установить разрешающую способность дробной реплики. Разрешающая способность будет максимальной, если линейные эффекты будут смешаны с эффектами взаимодействия наибольшего возможного порядка.

Насыщенные планы. Симплекс Иногда исследователь ставит цель получения линейного уравнения модели по планам, содержащим минимум точек (количество точек равно числу коэффициентов). Такие планы называют насыщенными. Ортогональный план проводится в вершинах правильного симплекса. Правильным симплексом называется выпуклая правильная фигура в многомерном пространстве, число вершин которой превышает размерность этого пространства на единицу. Эти планы центральные и ортогональные.

Насыщенные планы. Симплекс Один из общих способов построения планов:

Насыщенные планы. Планы Плаккета – Бермана Плаккет и Берман в 1946 г. предложили способ построения насыщенных планов (с единичными координатами) при m=11, 19, 23, 27, 31, 35, 39, 43, 47, 51, 55, 59, 63, 67, 71, . . Задаются базовые строки. Каждая следующая строка матрицы планирования образуется из исходной циклическим сдвигом вправо. Получается матрица размером m x m. Последняя (m+1) -я строка матрицы планирования состоит из минус единиц. Пример базисных строк: m n 11 12 + + – + + + – – – + – 19 20 + + – – + + + – + – – + + – 23 24 + + + – – + – – – – 31 32 – – + – + + + – – + + – – + 35 36 – + + + – – – + + + – – – – + – + + – – + – Строка

Разбиение матрицы планирования на блоки При проведении эксперимента выход объекта дрейфует. Если этот дрейф кусочно-постоянный, то его можно нейтрализовать, изменяя порядок проведения эксперимента во времени. Для этого разбивают матрицу планирования на блоки и последовательно реализуют (во времени) эту матрицу: вначале один блок, затем другой и т. д. В качестве примера рассмотрим ортогональный план 23 . Считаем, что выход объекта имеет аддитивный дрейф на величину Δ 1 (когда проводятся эксперименты с номерами 1, 2, 3, 4) и на величину Δ 2 (когда проводятся эксперименты № 5, 6, 7, 8). Этот дрейф приводит к смещению на величину (4Δ 1 -4 Δ 2)/8 параметра β 3.

Разбиение матрицы планирования на блоки Пример эксперимента в котором выход объекта дрейфует. n x 1 x 2 x 3 xдр=x 1 x 2 x 3 yi 1 + + y 1=y 1 ист+Δ 1 1 2 – + + – y 2=y 2 ист+Δ 1 2 3 + – y 3=y 3 ист+Δ 1 2 4 – – + + y 4=y 4 ист+Δ 1 1 5 + + – – y 5=y 5 ист+Δ 2 2 6 – + y 6=y 6 ист+Δ 2 1 7 + – – + y 7=y 7 ист+Δ 2 1 8 – – y 8=y 8 ист+Δ 2 2 Номер блока

Разбиение матрицы планирования на блоки Для устранения этого недостатка изменим порядок проведения эксперимента, разбив план на 2 блока. n x 1 x 2 x 3 xдр yi 1 + + y 1=y 1 ист+Δ 1 2 – – + + y 2=y 2 ист+Δ 1 3 – + y 3=y 3 ист+Δ 1 4 + – – + y 4=y 4 ист+Δ 1 5 – + + – y 5=y 5 ист+Δ 2 6 + – y 6=y 6 ист+Δ 2 7 + + – – y 7=y 7 ист+Δ 2 8 – – y 8=y 8 ист+Δ 2 Номер блока Блок 1 Блок 2

Обработка результатов эксперимента 1. Проверка однородности дисперсий. Если при реализации ортогонального плана остается неизвестным, на самом ли деле дисперсии выходов (ошибок измерения) одинаковы в каждой точке плана, то необходимо в каждой точке плана осуществить несколько дополнительных измерений выхода, найти оценку дисперсии (в каждой точке) и проверить гипотезу о равенстве дисперсий. Проверка однородности дисперсий производится с помощью различных статистик. Простейшей из них является статистика Фишера, представляющая собой отношение наибольшей из оценок к наименьшей: Так же можно выполнить проверку с использованием статистики Кочрена:

Обработка результатов эксперимента 2. Проверка адекватности модели. Вычисляем остаточную сумму квадратов , делим ее на число степеней свободы n-m-1 и получаем остаточную дисперсию (дисперсию адекватности): На основе дополнительного эксперимента объема n 0 в одной из точек плана (например в центре плана) строим оценку для дисперсии выхода объекта. Число степеней свободы для оценки n 0 -1. По статистике Фишера проверяем гипотезу о равенстве дисперсий, которая совпадает с гипотезой об адекватности модели. Если статистика не превосходит порогового значения, то принимается гипотеза об адекватности модели. В противоположном случае эта гипотеза отвергается. Надо заново строить модель, например, усложняя ее за счет введения дополнительных факторов, либо отказываться от линейной модели и переходить к квадратичной модели.

Обработка результатов эксперимента 3. Проверка значимости коэффициентов заключается в проверке гипотезы H: bj = 0 для каждого j=1, …, m. Вычисляется статистика Стьюдента: Если |t|<c, где с – пороговое значения из таблицы Стьюдента, то принимается гипотеза о том, что коэффициент модели βj незначимо отличается от нуля. В этом случае данный член модели можно опустить, но после этого упрощения модели ее надо проверить на адекватность.

Обработка результатов эксперимента 4. Интерпретация модели. Производится качественное сопоставление поведения полученной модели с реальными процессами объекта. При этом привлекается информация от экспертов (например технологов), детально изучивших объект. Знак коэффициентов βj , линейной модели показывает характер влияния входа объекта на выход. Знак "+" свидетельствует о том, что с увеличением входа (фактора) растет величина выхода объекта и наоборот. Величина коэффициентов βj – количественная мера этого влияния. Если характер связи между входами и выходом объекта на основе построенной модели не соответствует реальным связям (на базе информации от экспертов) в объекте, то такую модель надо поставить под сомнение либо полностью отказаться от нее.

Ортогональное планирование второго порядка Построение планов второго порядка – задача в математическом отношении значительно более сложная, чем в случае построения планов первого порядка. Модель второго порядка при m=3 имеет вид: Для вычисления коэффициентов модели второго порядка необходимо варьировать переменные не менее чем на трех уровнях. Это вызывает необходимость постановки большого числа опытов. Полный факторный эксперимент содержит 3 m точек. m 1 2 3 4 5 6 7 3 m 3 9 27 81 243 729 2187 Композиционный план n 0=1 5 9 15 25 43 77 143

Ортогональное планирование второго порядка В 1951 году Бокс и Уилсон предложили составлять композиционные планы. Число точек плана равно величине n=n 1+2 m+n 0. Здесь n 1– число точек полного факторного эксперимента или дробной реплики 2 m – число парных точек, расположенных на осях координат; n 0 – число опытов в центре плана. Точки на осях координат называют звездными точками. Их количество равно удвоенному числу факторов. Расстояние от центра плана до звездной точки одинаково. Его обозначают буквой α и называют звездным плечом. Композиционные планы имеют следующие положительные свойства: 1. Они могут быть получены в результате достройки планов первого порядка. 2. Дополнительные точки на осях координат и в центре плана не нарушают ортогональности для столбцов, соответствующих факторам xj и эффектам взаимодействия xixj.

Ортогональное планирование второго порядка Пример композиционного плана: x 1 x 2 x 12 x 22 + + + – 4 + – 5 + 6 n x 0 x 1 x 2 x 1’ x 2’ 1 + + + ◊ ◊ 2 + + + ◊ ◊ 3 – + + ◊ ◊ – + + + ◊ ◊ α 0 0 α 2 0 Δ □ + -α 0 0 α 2 0 Δ □ 7 + 0 α 0 0 α 2 □ Δ 8 + 0 -α 0 0 α 2 □ Δ 9 + 0 0 0 □ □ С учетом новых переменных xl’ получаем следующее уравнение модели (для случая m=2):

Ротатабельное планирование Если эта дисперсия одинакова на равном удалении от центра плана, то такой план называется ротатабельным. Ортогональный план первого порядка является ротатабельным. Построение ротатабельного плана второго порядка из симплексных планов:

Метод случайного баланса Часто влияние факторов на выходную координату объекта имеет затухающий экспоненциальный вид: В 1956 году Сатерзвайт предложил метод случайного баланса для отсеивания небольшого числа значимых факторов на шумовом поле. Метод базируется на постановке экспериментов по плану, содержащему координаты точек, выбранных случайным образом. Построение матрицы планирования осуществляют следующим образом. Все факторы разбивают на группы. Затем для каждой группы строят матрицы планирования, беря за основу полный факторный эксперимент или дробные реплики. План проведения эксперимента образуется путем случайного смешивания строк соответствующих базовых планов (для групп факторов). Полученный план реализуется на объекте, и результаты анализируются с помощью диаграмм рассеяния.

Метод случайного баланса Пример: n x 1 x 2 x 1 x 2 y y 1 1 + + + 24 27 2 – + – 27 27 3 + – – 26 29 4 – – + 29 29 Каждая из диаграмм содержит точки, соответствующие результатам эксперимента. Эти точки разбиты на две группы. Одна из них соответствует тем опытам, когда исследуемый фактор находился на нижнем уровне, вторая – тем опытам, когда фактор находился на верхнем уровне. Для каждой из групп находятся оценки медианы и вычисляется их разность (из оценки медианы правой группы вычитается оценка медианы левой). Разность между оценками медиан количественно оценивает линейное влияние фактора на выход объекта.

ВОПРОСЫ ?

МЕТОДЫ НЕПАРАМЕТРИЧЕСКОЙ ОБРАБОТКИ ИНФОРМАЦИИ

Оценивание функционалов Необходимо по выборке x 1, …, xn случайной величины X найти оценку функционала Рассмотрим некоторые примеры функционалов: – математическое ожидание. – дисперсия. – приведенная энтропия.

Оценивание функционалов Схема построения оценки Фn следующая. Вначале строится оценка для плотности вероятности fn(x), а затем она подставляется в функционал. Основным свойством оценки Фn(x 1, …, xn) является ее состоятельность. Оценка Фn функционала Ф называется состоятельной, если: Требование состоятельности определяет практическую пригодность оценок, ибо в противоположном случае (при несостоятельности оценок) увеличение объема исходной выборки не будет приближать оценку к "истинной" величине. По этой причине свойство состоятельности должно проверяться в первую очередь. Оценка Фn параметра Ф называется несмещенной, если: Она является асимптотически несмещенной, если:

Простейшие оценки функции и плотности распределения вероятности По упорядоченной независимой выборке x 1, …, xn случайной величины X построим оценку Fn(x) для функции распределения: где 1(z) – единичная функция:

Простейшие оценки функции и плотности распределения вероятности Так как плотность распределения f(x) связана с функцией распределения F(x) через линейный оператор дифференцирования : Можно получить оценку для плотности распределения : Здесь δ(x-xi) – дельта-функция Дирака. Она имеет "игольчатый" ("гребенчатый") вид: уходит до ∞ в точке xi , а при остальных значениях аргумента x равна нулю и обладает свойствами: - площадь под дельта функцией единичная. селектирующее свойство дельта-функции позволяет легко выполнять интегрирование. Интеграл оказывается равным подынтегральному выражению, стоящему перед дельта-функцией, в особой точке.

Простейшие оценки функции и плотности распределения вероятности Первое свойство показывает, что, несмотря на экзотическое поведение дельтафункции, площадь под ней единичная. Второе селектирующее свойство дельта-функции позволяет легко выполнять интегрирование. Интеграл оказывается равным подынтегральному выражению, стоящему перед дельта-функцией, в особой точке. Оценка плотности распределения является несмещенной, но несостоятельной. В явном виде её использовать нельзя. Ею удобно пользоваться при вычислении оценок моментов (математического ожидания, дисперсии и др. ) для случайной величины или для аналитической функции случайной величины. Получаемые оценки являются состоятельными и часто несмещенными.

Простейшие оценки функции и плотности распределения вероятности Многомерный случай: Кратные измерения. При кратных измерениях значение x 1 повторяется k 1 раз, x 2 – k 2 раз, …, xm – km раз, при этом k 1+…+km = n.

Полиграммы Повысим степень гладкости оценки fn(x) по сравнению с простейшей оценкой функции плотности. Для этого надо повысить соответственно степень гладкости для оценки функции распределения Fn(x). Если Fn(x) будет состоять из отрезков прямых, то fn(x) будет состоять из прямоугольников. Такая кусочно-постоянная оценка называется полиграммой первого порядка. Она строится на выборочных интервалах, ограниченных выборочными значениями упорядоченной выборки x 1, …, xn. Площадь каждого прямоугольника равна 1/(n-1)

Полиграммы Для улучшения сглаживающих свойств оценки плотности построены полиграммы более высоких порядков:

Метод "К ближайших соседей" Считаем, что для одномерной случайной величины X имеется n независимых наблюдений x 1, …, xn. Зафиксируем некоторое целое положительное число kn: 1 ≤ kn ≤ n. Для каждой выбранной точки x существует интервал длительностью 2 p(kn, n, x) который охватывает kn ближайших к x точек выборки. Одна точка попадает на границу интервала, а kn-1 точка – внутрь интервала. Оценкой плотности распределения вероятности fn(x) служит частота (kn-1)/n попадания в интервал 2 p, приведенная к единичной величине интервала: Многомерный случай:

Оценка Розенблатта – Парзена Плотность распределения вероятности связана с функцией распределения через оператор дифференцирования:

Оценка Розенблатта – Парзена Степень гладкости оценки плотности зависит от степени гладкости ядра. Заменим в оценке fn(x) прямоугольное ядро I(z) на произвольное K(z) и получим: Здесь h – коэффициент размытости ядра. Примеры треугольного, параболического и кубического ядер приведены ниже:

Оценка Розенблатта – Парзена Многомерный случай:

Оценка условной плотности вероятности Рассматриваем объект, имеющий случайный вход (либо несколько входов) X и выход Y. Связь между случайными величинами характеризуют условные характеристики, например, условная плотность распределения вероятности f(x|y).

Оценка регрессии Регрессией называют первый начальный условный момент Это некоторая усредненная количественная зависимость между выходом и входом объекта. Регрессия (4. 7. 1) удовлетворяет квадратичному критерию Получим оценку регрессии:

Оценка регрессии Подбор оптимального параметра коэффициента размытости для оценки регрессии. Перейдем от размерного параметра с к безразмерному β. При β=0 ядро K(·) не зависит от x. Оценка регрессии равна среднему арифметическому выборочных значений выхода объекта для любых x.

Оценка регрессии Возьмем теперь другое крайнее состояние для β: β=1. Оценка регрессии проходит через экспериментальные точки и состоит из кусков линий, соединяющих точки выборки. Оптимальный параметр β лежит в интервале [0; 1].

Оценка регрессии Рекуррентный расчет оценки регрессии. Для каждого фиксированного x на основе использования рекуррентной схемы расчета получаем алгоритм адаптивного сглаживания:

Оценка регрессии Инверсная модель. Для объекта с одним входом X и одним выходом Y основной инверсной характеристикой является регрессия и получаем оценку инверсной регрессии:

Робастные оценки регрессии В реальной ситуации исходные экспериментальные данные xi, yi могут содержать аномальные измерения, называемые выбросами. Даже наличие малого процента выбросов приводит к сильному искажению оценок. Поставим задачу построения оценки регрессии, которая была бы более устойчивая (малочувствительная, робастная (в переводе с английского "крепкая") к выбросам по отношению к ранее построенной оценке: Кроме математического ожидания случайной величины Y есть другая характеристика среднего положения – медиана. Медиана – это среднее по вероятности значение. Состоятельная оценка медианы представляет собой среднее по номеру значение в упорядоченной выборке:

Робастные оценки регрессии Запишем критериальную форму получения оценки:

Робастные оценки регрессии Модульный критерий не является единственным для получения робастных оценок. Более общий критерий имеет вид : Некоторые виды функций F(v):

Адаптивное управление при априорной неопределенности Адаптацией природа наделила все живое. Она представляет собой приспособление к различным изменениям. Эти изменения происходят как внутри живого организма, так и во внешней среде. Свойством адаптации человек наделил и созданные им устройства. Управление в этих устройствах осуществляется таким образом, чтобы как можно быстрее и лучше нейтрализовать влияние непредвиденных изменений или приспособиться к ним.

ВОПРОСЫ ?

ДИСПЕРСИОННЫЙ АНАЛИЗ

Постановка проблемы Дисперсионный анализ является статистическим методом анализа результатов наблюдений, зависящих от различных одновременно действующих факторов, с целью выбора наиболее значимых факторов и оценки их влияния на исследуемый процесс. Методами дисперсионного анализа устанавливается наличие влияния заданного фактора на изучаемый процесс (на выходную переменную процесса) за счёт статистической обработки наблюдаемой совокупности выборочных данных.

Однофакторный дисперсионный анализ Предположим, что анализируется влияние на случайную величину X фактора A, изучаемого на k уровнях (A 1, A 2, …, Ak). На каждом уровне Ai проведены n наблюдений (xi 1, xi 2, …, xin) случайной Номер Уровни фактора A величины X. наблюдения Расположим экспериментальные данные в виде таблицы A 1 A 2 … Ai … Ak 1 x 11 x 21 … xi 1 … xk 1 2 x 12 x 22 … xi 2 … xk 2 …. … … … j x 1 j x 2 j … xij … xkj … … … … n x 1 n X 2 n … xin … xkn Σ X 1 X 2 … Xi … Xn

Однофакторный дисперсионный анализ Рассмотрим оценки различных дисперсий, возникающие при анализе таблицы результатов наблюдений. Для оценки дисперсии, характеризующей изменение данных на уровне Ai (по строкам таблицы), имеем: Из предпосылок дисперсионного анализа следует, что должно иметь место равенство всех дисперсий. При выполнении этого условия находим оценку дисперсии, характеризующей рассеяние значений xij вне влияния фактора A, по формуле:

Однофакторный дисперсионный анализ Для упрощения вычислений приведем алгоритм их выполнения. Вычисляем последовательно суммы: Сравниваем и устанавливаем наличие влияния фактора A. Если , то влияние A – значимо.

Двухфакторный дисперсионный анализ Рассмотренный ранее однофакторный дисперсионный анализ обладает информативностью, не большей, чем методы множественного сравнения средних. Информативность дисперсионного анализа возрастает при одновременном изучении влияния нескольких факторов. Рассмотрим случай, когда анализируется влияние одновременно двух факторов A и B.

Двухфакторный дисперсионный анализ Пусть результаты таблицей: B B 1 B 2 …. Bj … Bm Σ A 1 x 12 … x 1 j … x 1 n X 1 эксперимента Уровни фактора A A 2 … Ai … x 21 … xi 1 … x 22 … xi 2 … … … x 2 j … xij … … … X 2 n … xin … X 2 … Xi … представлены Ak xk 1 xk 2 … xkj … xkn Xn Σ X 1 ’ X 2 ’ … Xj’ … Xm’

Двухфакторный дисперсионный анализ Дисперсионный анализ для двухфакторных таблиц проводится в следующей последовательности. Вычисляются суммы: Далее находятся оценки дисперсий: Если , то влияние фактора A признается значимым. Если , то влияние фактора B признается значимым.

Двухфакторный дисперсионный анализ Приведенный анализ предполагает независимость факторов A и B. Если они зависимы, то взаимодействие факторов C=AB также является фактором, которому соответствует своя дисперсия. Для того чтобы выделить такое взаимодействие, необходимы параллельные наблюдения в каждой клетке таблицы, т. е. при каждом сочетании факторов A и B на уровнях Ai и Bj соответственно необходимо не одно наблюдение, а серия наблюдений. Для оценки влияния взаимодействия факторов AB вычисляем дополнительную сумму: Далее анализ проводится, как и ранее, с той лишь разницей, что в клетках таблицы вместо отдельных значений используется их средние значения. Вычисляется оценка дисперсии и проверяется значимость взаимодействия факторов:

Планирование эксперимента при дисперсионном анализе Дисперсионный анализ тесно связан с соответствующим планированием эксперимента. Удачно спланированный эксперимент, выявляя все необходимые эффекты, оказывается всегда либо более точным, либо менее трудоемким по сравнению с непродуманным экспериментом. Если на результат эксперимента действуют одновременно несколько факторов, то наилучший эффект дает одновременный дисперсионный анализ всех этих факторов (многофакторный анализ). Методы дисперсионного анализа позволяют исследовать и такой случай, когда некоторые сочетания уровней пропущены. Такой эксперимент называется дробным факторным экспериментом (ДФЭ). Планирование при ДФЭ приобретает особо важную роль, ибо пропущенные сочетания уровней не так-то просто нейтрализовать.

Планирование эксперимента при дисперсионном анализе Такие способы планирования существуют и притом не единственные; согласно Фишеру их называют латинскими квадратами. Эти расположения приводятся в специальных справочниках; для примера приведен один вид такого квадрата: A 1 B 1 C 1 B 2 C 2 … … Bk-1 Ck-1 B k Ck A 2 C 3 … Ck C 1 … … … Ak-1 Ck … Ck-3 Ck-2 Ak Ck C 1 … Ck-2 Ck-1

Планирование эксперимента при дисперсионном анализе Схема расчетов для латинского квадрата очень похожа на обычный двухфакторный анализ: Находим сумму квадратов по столбцам, деленную на число наблюдений в столбце: Находим сумму квадратов итогов по строкам, деленную на число наблюдений в строке: Находим квадрат общего итога, деленный на число всех наблюдений: Находим сумму квадратов итогов по уровням фактора C, деленную на число уровней:

Планирование эксперимента при дисперсионном анализе Перейдем теперь к вычислению и оценке значимости дисперсий: Если отличие будет значимым, то

ВОПРОСЫ ?

АНАЛИЗ ТРЕНДОВ И ВРЕМЕННЫХ РЯДОВ

Введение Временные ряды отличаются от обычных данных об одном временном срезе в том отношении, что в случае временных рядов сама последовательность наблюдений несет в себе важную информацию. Теперь чтобы охарактеризовать совокупность данных в целом, уже недостаточно знать лишь типичное значение этих данных (среднее значение) или даже изменчивость этой совокупности данных (дисперсия). В этом случае желательно знать, что, скорее всего, произойдет дальше. НУЖЕН ПРОГНОЗ!

Введение ПРИМЕР. Чтобы составить бюджет на следующий квартал, требуется достоверная оценка ожидаемого объема продаж. Этот прогноз послужит основой для прогнозирования других показателей бюджета (возможно, с помощью регрессионного анализа). Проанализировав временной ряд фактических квартальных объемов продажи за последние несколько лет, можно выдать прогноз, который будет представлять собой наиболее достоверную оценку, базирующуюся на общих тенденциях продаж, с учетом любых сезонных колебаний спроса.

Анализ трендов и сезонности представляет собой непосредственный, интуитивный подход к оцениванию четырех базовых компонентов помесячных или поквартальных временных рядов: долгосрочный тренд (тенденция), сезонность, циклическая вариация и нерегулярный компонент. Базовая модель временного ряда представляет числа в этом ряде в виде произведения, получаемого путем умножения перечисленных компонентов.

Анализ трендов и сезонности

Анализ трендов и сезонности Тренд и циклический компонент: скользящее среднее Скользящее среднее представляет собой новый ряд, полученный путем усреднения соседних наблюдений временного ряда и перехода к следующему периоду времени – в итоге получается более гладкий ряд.

Анализ трендов и сезонности Сезонный индекс: среднее значение отношения к скользящему среднему отражает сезонное поведение Чтобы выделить сезонное поведение, прежде всего, следует получить отношение исходных значений к скользящему среднему. Полученный результат будет включать сезонный и нерегулярный компоненты, поскольку скользящее среднее исключает из данных тренд и циклический компонент.

Анализ трендов и сезонности Затем, чтобы устранить нерегулярный компонент, надо усреднить эти значения для каждого сезона. Сезонный компонент проявляется, поскольку он присутствует ежегодно, тогда как нерегулярный компонент, как правило, удается усреднить.

Анализ трендов и сезонности Поправка на сезон: деление ряда на сезонный индекс. Поправка на сезонные колебания устраняет из результатов измерения ожидаемый сезонный компонент (путем деления ряда на сезонный индекс для соответствующего периода), что позволяет нам непосредственно сравнивать один квартал или месяц с другим (после внесения поправки на сезон), выявляя те или иные скрытые тенденции.

Анализ трендов и сезонности Долгосрочный тренд и прогноз с поправкой на сезонные колебания: линия регрессии Когда временной ряд демонстрирует долгосрочную линейную тенденцию к нарастанию или снижению, для оценки этой тенденции и прогнозирования будущего можно воспользоваться регрессионным анализом.

Анализ трендов и сезонности Прогноз: тренд с учетом сезонности Чтобы прогнозировать будущее, надо учесть сезонность в долгосрочном тренде, вернув ему ожидаемую сезонную вариацию. Для этого достаточно умножить значение тренда на значение сезонного индекса для того периода времени, который вы прогнозируете. Этот процесс является обратным по отношению к внесению поправки на сезонные колебания. Результирующий прогноз включает долгосрочный тренд и сезонную вариацию.

Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса АRIМА-процессы Бокса-Дженкинса представляют собой семейство линейных статистических моделей, основанных на нормальном распределении, которые позволяют имитировать поведение множества различных реальных временных рядов путем комбинирования процессов авторегрессии, процессов интегрирования и процессов скользящего среднего. ARIMA - сокращение от Autoregressive Integrated Moving Average

Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса Процесс случайного шума не обладает памятью: отправная точка Процесс случайного шума состоит из случайной выборки (независимых наблюдений) из нормального распределения с постоянным средним и стандартным отклонением. Какиелибо тенденции (тренды) в этом случае отсутствуют, поскольку – по причине независимости - наблюдения не помнят о прошлом поведении ряда.

Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса Процесс авторегрессии (AR) обладает памятью о своем прошлом Любое наблюдение процесса авторегрессии (часть "AR" названия ARIMA) представляет собой линейную функцию от предыдущего наблюдения плюс случайный шум. Таким образом, процесс авторегрессии помнит о своем предыдущем состоянии и использует эту информацию для определения своего дальнейшего поведения.

Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса Процесс скользящего среднего (МА) имеет ограниченную память Любое наблюдение процесса скользящего среднего состоит из константы, (долгосрочное среднее значение процесса), плюс независимый случайный шум минус часть предыдущего случайного шума. Процесс скользящего среднего не помнит в точности своего прошлого, но помнит компонент случайного шума того состояния, в котором он (процесс) находился. Таким образом, его память ограничена одним шагом в будущее; за пределами этого шага для процесса все начинается заново.

Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса Процесс авторегрессии и скользящего среднего (ARMA) сочетает в себе AR и МА Любое наблюдение процесса авторегрессии и скользящего среднего состоит из линейной функции от предыдущего наблюдения плюс независимый случайный шум минус некоторая доля предыдущего случайного шума. Процесс авторегрессии и скользящего среднего запоминает как свое предыдущее состояние, так и компонент случайного шума предыдущего состояния. Таким образом, его память сочетает в себе память процесса авторегрессии с памятью процесса скользящего среднего.

Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса Чистый интегрированный (I) процесс помнит, где он находился, и затем движется случайно Каждое наблюдение чистого интегрированного (I) процесса (pure integrated (I) process), называемого также случайным блужданием, заключается в случайном шаге в сторону от текущего наблюдения. Этот процесс знает, где он находится, но забыл, как он попал туда.

Моделирование циклического поведения с помощью ARIMA-процессов Бокса-Дженкинса Процесс авторегрессионного интегрированного скользящего среднего (ARIMA) помнит свои изменения Процесс состоит из линейной функции предыдущего изменения плюс независимый случайный шум минус определенная доля предыдущего случайного шума. Этот процесс знает, где он находится, помнит, как он попал в это состояние, и помнит даже часть предыдущего шумового компонента.

ВОПРОСЫ ?

ИДЕНТИФИКАЦИЯ СТАТИЧЕСКИХ МОДЕЛЕЙ ОБЪЕКТОВ

Общие понятия Идентификация – это процесс построения моделей объектов различной природы. Теория идентификации имеет в своем арсенале достаточно эффективные методы и алгоритмы, на базе которых разработаны и широко используются программные комплексы. Процесс идентификации складывается из двух взаимосвязанных этапов: идентификации структуры моделей и идентификации параметров в моделях выбранной структуры. При построении структуры модели (или набора конкурирующих либо взаимодополняющих структур) используется априорная информация об объекте. Для каждого класса объектов формируются банки структур с сопутствующей информацией. Модели делятся на статические и динамические. Первые из них описывают объекты в стационарных режимах их работы. Динамические модели описывают переходные процессы в объектах, например, возникающие при переходе с одного стационарного режима работы объекта на другой.

Постановка задачи подстройки параметров нелинейных моделей Считаем, что выход объекта состоит из полезного сигнала η(u, a) и центрированной помехи ξ. Сигнальная часть выхода представляет собой известную функцию от входа с неизвестными параметрами a. В структуру функции η(u, a) . Все, что не удается описать в объекте, относят к помехе. Модель объекта берем в виде функции η(u, α). Основная задача теперь сводится к расчету параметров α модели. Алгоритмы расчета будем строить, используя критерий наименьших квадратов и близкие к нему критерии, например наименьших модулей невязок. В зависимости от свойств помехи критерий наименьших квадратов приобретает различные формы – от простейшей до самой общей.

Критерий наименьших квадратов Считаем, что в каждый момент времени ti (момент измерения входа и выхода объекта) помехи ξi, являются центрированными случайными величинами с дисперсиями σi 2. Если дисперсии различны, то измерения называются неравноточными. Тогда критерий наименьших квадратов имеет вид: При равноточных измерениях весовые коэффициенты 1/σi 2, характеризующие информативность измерений, одинаковы. Тогда критерий имеет вид:

Критерий наименьших квадратов Если все помехи ξi коррелированны, т. е: то критерий наименьших квадратов базируется на элементах cij матрицы, обратной корреляционной: Это общая форма критерия. Она включает в себя (при соответствующих упрощениях) все предыдущие формы. Запишем критерий в матричной форме.

Метод наименьших квадратов при линейной параметризации модели Модель объекта задана в виде линейной комбинации известных (базисных) функций φ1(u), …, φm(u): Параметры α находим по критерию наименьших квадратов:

Метод наименьших квадратов при линейной параметризации модели Пример расчета параметров:

Метод последовательной линеаризации при подстройке параметров на основе критерия наименьших квадратов Построим итерационную процедуру расчета параметров α модели в соответствии с критерием наименьших квадратов. Так как функционал квадратичный, то первая стадия метода не реализуется и на каждой итерации используется только линейная аппроксимация выхода модели по параметрам: Необходимое условие минимума приводит к системе линейных алгебраических уравнений:

Робастные оценки параметров Параметры модели (которые являются оценками параметров объекта), полученные на основе критерия наименьших квадратов, сильно реагируют на выбросы помех. Аномальные отклонения в измерениях очень редки, но амплитуда их велика. Так же существуют другие критерии вида: Примеры функции ψ(e):

Простейший адаптивный алгоритм подстройки параметров Линейная параметризация модели: На каждой итерации, например n и n-1, параметры модели находим из условия равенства выходов модели и объекта: Каждому уравнению в пространстве параметров соответствует своя линия

Простейший адаптивный алгоритм подстройки параметров Нелинейная модель: На каждом шаге линеаризуем модель и приращения параметров отыскиваем из равенства выхода модели и линеаризованной модели: В итоге получаем алгоритм перестройки параметров нелинейной модели:

ВОПРОСЫ ?

ИДЕНТИФИКАЦИЯ И АДАПТИВНОЕ УПРАВЛЕНИЕ ДИНАМИЧЕСКИМИ ОБЪЕКТАМИ

Дискретные динамические модели стохастических объектов В динамическом режиме поведение объектов описывается различными динамическими уравнениями: обыкновенными дифференциальными, интегродифференциальными уравнениями; уравнениями с запаздываниями; уравнениями в частных производных и их дискретными аналогами. С целью упрощения будем рассматривать наиболее простые дискретные модели. Последние выбраны именно потому, что получаемые алгоритмы идентификации и управления напрямую реализуемы на цифровой вычислительной технике (мини-, микро-ЭВМ, микропроцессоры). Дискретные модели привязаны к номерам дискретных моментов времени и поэтому основным аргументом для входных u(t) и выходных x(t), y(t) переменных является номер дискреты t = 0, 1, 2, … Например:

Дискретные динамические модели стохастических объектов Считаем, что объект описывается дискретным уравнением: Модель имеет вид:

Дискретные динамические модели стохастических объектов Если объект имеет вид: То оптимальная модель имеет вид:

Подстройка параметров с использованием функций чувствительности Для примера рассмотрим модель: Построим алгоритм расчета параметров: Линеаризуем модель относительно параметров α(t-1) , вычисленных в предыдущий момент времени: Здесь y(t|α(t-1)) – выход модели в момент времени t при значениях параметров, полученных в предыдущий момент времени t-1 ω(t) – вектор-столбец функций чувствительности выхода модели к параметрам модели.

Подстройка параметров с использованием функций чувствительности Функции чувствительности удовлетворяют уравнениям чувствительности: Каждое уравнение чувствительности получается дифференцированием уравнения модели по соответствующему параметру. Для расчета параметров α(t) можно использовать, например, простейший адаптивный алгоритм:

Применение простейшего адаптивного алгоритма Рассчитаем параметры линейных и нелинейных динамических моделей на основе простейшего адаптивного алгоритма. Пример: Рассмотрим модель без обратной связи: Функциями чувствительности выхода модели к ее параметрам являются измеренные значения выхода и входа объекта:

Применение простейшего адаптивного алгоритма В каждый текущий момент времени t на основе измерений x(t); x(t -1), u(t-1); x(t-2), u(t-2) параметры корректируем по простейшему адаптивному алгоритму:

Применение простейшего адаптивного алгоритма Рассмотрим нелинейную модель без обратной связи: Получаем следующие выход модели и функции чувствительности: Алгоритм перестройки параметров:

Адаптивные системы обработки информации В адаптивных системах обработки информации и управления происходит приспособление к изменяющимся условиям и неизвестным характеристикам объекта.

Постановка задачи адаптивного управления Рассматриваем адаптивную систему с идентификацией (АСИ). Синтезируем алгоритм расчета управления (алгоритм работы устройства управления) u(t) в каждый текущий момент времени t. Исходными экспериментальными данными о входе и выходе объекта. Необходимо рассчитать управляющее воздействие u(t) , обеспечивающее достижение следующей цели: наименьшего уклонения выхода системы x от заданной траектории x* в каждый текущий момент времени. Считаем, что поведение объекта в динамическом режиме описывается разностным уравнением: Обозначим через y(k|α(t)) выход модели в момент времени k при значении вектора параметров α(t), вычисленных в момент времени. Если шум – белый, то

Примеры синтеза устройств управления для простейших линейных систем Пример 1. Считаем, что объект описывается уравнением: Формируем модель объекта: Находим параметры: Из локального квадратичного критерия оптимальности Рассчитываем оптимальное управление:

Примеры синтеза устройств управления для простейших линейных систем Пример 2. Объект описывается уравнением: Модель объекта: Параметры: Находим управляющее воздействие :

Синтез алгоритмов управления для линейных систем Объект:

Алгоритмы адаптивного управления для нелинейных систем Объект описывается нелинейным разностным уравнением:

Управление динамическими системами с чистыми запаздываниями Рассматриваем объект, описываемый разностным уравнением: Строим модель объекта: Выход модели находим из критерия наименьших квадратов: Решение получается в форме

Управление динамическими системами с чистыми запаздываниями Пример: на примере гальванической ванны одного из заводов при однопроцентном уровне помех приведены входная и выходная переменные замкнутой системы управления, а также кусочно-постоянный заданный температурный режим x*(t). В начальный момент температура ванны равна 20 С. На первых двадцати тактах происходит основная настройка параметров модели, хотя и далее алгоритм коррекции параметров продолжает непрерывно работать. Если в объекте произойдут какие-либо изменения, то идентификатор отследит их. После основной коррекции параметров алгоритм управления обеспечивает перевод системы на новый уровень стабилизации за минимальное время и без перерегулирования.

ВОПРОСЫ ?