Научно-производственная компания «Разумные решения» Мультиагентные технологии

Научно-производственная компания «Разумные решения» Мультиагентные технологии для управления ресурсами в реальном времени Крым, 23 июля 2016 годад. т. н. Петр Олегович Скобелев, Основатель / Генеральный конструктор

Оглавление Введение Кратко о компании Новая постановка задачи управления ресурсами в реальном времени Ограничения существующих мат подходов Теория сложности – как основа эмерджентного интеллекта для решения сложных задач Мультиагентные технологии Краткий обзор разработок в мире Наша архитектура, модели, методы и алгоритмы Мультиагентная платформа Примеры применений Перспективы развития Выводы

Краткие сведения о компании Научно производственная компания «Разумные решения» — 2010 (Самара, Россия) Специализируется на создании интеллектуальных систем адаптивного распределения, планирования и оптимизации ресурсов в реальном времени на основе мультиагентных технологий: Аэрокосмический комплекс Машиностроительное производство Грузовые перевозки Мобильные сервисы / бригады Железнодорожный транспорт Цепочки поставок в магазины Обеспечивает поддержку принятия решений для повышения эффективности использования ресурсов в реальном времени Более 100 сотрудников, средний возраст 28 лет Рост оборотов (млн. р. ): 2010 — 7. 5, 2011 – 39, 2012 – 120, 2013 – 150, 2014 — 170, 2015 — 218 Публикаций в журналах ВАК: 39 Выступления на научных конференциях в России, Германии, Польше, Испании, Японии, Макао и др. В конкурсе «Техуспех» признана АИРР, РВК И Pricewaterhouse. Coopers одной из самых инновационных и быстроразвивающихся компаний России за последние 3 года

Лицензии и сертификаты, дипломы и награды Родом из Российской академии наук и аэрокосмического комплекса Имеет лицензию Роскосмоса на программирование для МКС Один из учредителей аэрокосмического кластера Самарской области Имеет аккредитацию Министерства связи и коммуникаций РФ как инновационная компания Разрабатывает методы и средства решения сложных задач в управлении предприятиями Имеет собственную технологическую платформу Поддерживает прочные связи с университетами и институтами РАН в стране и за рубежом Лауреат премии «Организация – профессионал года 2011» Лауреат премии «Лучшие продукты» на Soft-Tool 2011 Лауреат премии «Лучшая инновационная компания 2012 года» Лауреат Национального конкурса «Золотой Меркурий-2013» Сертифицирована по ISO

Заказчики и партнеры

Проблема управления ресурсами в реальном времени 2016 Мультиагентные технологии для управления ресурсами в реальном времени

Новые вызовы глобальной экономики Растет сложность принятия решений по управлению предприятиями Неопределенность : трудно предсказать изменения спроса и предложения Событийность: часто случаются события, которые меняют планы Ситуативность: решение надо принимать по ситуации Многофакторность: много разных критериев, предпочтений и ограничений Высокая связность : принятие одного решения вызывает изменение других Индивидуальность: потребители требуют все более индивидуального подхода Конфликты: все больше участников с противоречивыми интересами Трудоемкость: слишком много опций, чтобы просчитать последствия Усиливается динамика принятия решений в ходе управления Требуется высокая оперативность для принятия решений Идут постоянные изменения спроса и предложения Сокращается время на ответ — решения принимаются под прессом времени Необходимо постоянно балансировать между разными критериями Надо непрерывно считать экономику вариантов и менять цены динамически Нужны постоянные взаимодействия с клиентами и поставщиками … Эти вызовы требуют методов и средств для поддержки принятия решений в реальном времени

VOL: 10 PALLETS SLA: 10 DAYS 40% VOL: 10 PALLETS SLA: 5 DAYS 80%VOL: 5 PALLETS SLA: 2 DAYS 60% 20%20% VOL: 5 PALLETS SLA: 8 DAYS 60% 20%VOL: 10 PALLETS SLA: 10 DAYS 120% 60% 100% This order has a shortest journey route… … but the capacity is not available on one of the legs. It is important to be able to assess alternate routes, to meet services levels and minimum cost. Пример из области транспорта Imagine the power of having a single system that can automatically plan and re-plan a network like this, as events occur, such as new orders being added or resource availability changes.

A Consider business-network of a company 1. Order 1 goes from Location C to Location Z 2. Order 2 goes from Location B to Location X 3. Order 3 appears, which goes from Location A to Location Z 4. Order 3 decides to go to B and then travel with Order 2 via cross-dock 1 5. Order 4 appears, which goes from Location A to Location Y 6. Order 3 decides to travel the first leg with Order 4 and the second leg with Order 1 via cross-dock 2, to avoid going alone from A to B Cross dock 2 Cross dock 1 B C Z Y XСклады промежуточного хранения

Управление грузовиками: 500 грузовиков на дороге, 100 заказов в день, горизонт: 1 -5 дней, 600 точек развозки, время на заказ — 3 -15 сек, критерии – прибыль, качество, стоимость и время перевозки и риски, равномерность пробега машин, режимы работы водителей, штрафы за опоздание, типы грузов и тары, время работы складов, времена стыковок и др. ; Управление фабриками: сборка двигателя – 50 тыс. деталей, 30 -40 цехов, каждый цех – 150 рабочих, каждое изделие – от 10 до 300 техопераций, 10 заказов на цех в день, одно ССЗ рабочего – до 100 задач, горизонт – от дня до 6 месяцев, число задач на горизонте — до 150 тыс. , время на событие – от 2 сек до 5 мин, учет техпроцессов, умений рабочих, брака, наличие на складе и т. д. ; Управление цепочками поставок : до 10 тыс. товаров, 2 тыс. узлов в сети (фабрики, магазины, склады), 1 тыс. каналов доставки, 2 тыс. заказов в день, горизонт – от 1 мес. до 1 года; обработка 1 события — от 20 сек. до 15 мин. , учет прогнозов продажи, емкость каналов, скорость продажи, цены заказов, штрафы за отклонение, стоимости производства, транспорта, хранения, структура сети, минимальный объем партии и др. Управление мобильными бригадами: число событий в день: от 50 до 250 заявок в период проброса, в среднем около 100 заявок в день; число ресурсов: 43 бригады; горизонт планирования: период работы смены (8 -12 часов); время на события – до 1 минуты, критерии: минимальный пробег, как можно больше заявок выполнить и др. Примеры сложности решаемых задач

Управление грузопотоком МКС: 3500 типов грузов, 4 корабля “Союз” и 4 “Прогресс” в год, 2 -5 европейских и американских, загрузка одного “Прогресса” – тысячи наименований грузов, надо учитывать состав экспедиций, типы грузов и их взаимозаменяемость, нормы потребления грузов на МКС и т. д. Долгосрочная программа рассчитывается на 3 года, программа полета и грузопоток — на год, номинальный план полета — на 2 экспедиции (6 месяцев). Управление Сапсанами: на полигоне Московский: 49 станций, 48 перегонов (2 -4 -х путные), блок -участков – 3500 , около 800 поездов в день, горизонт – сутки, начальное планирование ~4 минуты. В день может происходить до 50 различных событий: окна ремонтов, поломки путей и т. д. Обработка события — до 3 минут. План поезда — 40 -50 крупных операций. Ограничения – соблюдение времен хода и продолжительности стоянок, интервалов движения, приоритетов поездов, времен разгона и торможения, опасности грузов и др. Управление проектами: средняя организация (100 чел) — 40 проектов в год, каждый по 300 – 500 задач. В день поступает 2 -5 новых задач на каждого исполнителя и случается от 5 – до 20 событий. Горизонт — 3 месяца, сеть расписания – примерно 10 тыс. связных задач, обработка 1 события от 2 сек. до 5 минут. Учитывается приоритет, для каждого исполнителя свой календарь, может давать свои предпочтения, учет связей между задачами, учет компетенций исполнителей и др. Примеры сложности решаемых задач

Требуется ситуационный подход к управлению ресурсами Управление ресурсами — сложная многокритериальная задача, требующая ситуационного решения с учетом индивидуальных особенностей заказов, технологии их реализации, возможностей ресурсов, микроэкономики предприятия и ряда других предпочтений и ограничений. Обеспечить качество выполнения работ Обеспечить изготовление заказов в срок Минимизировать стоимость исполнения заказов Минимизировать риски. Равномерная загрузка ресурсов. Примеры типовых критериев планирования, важность которых зависит от ситуации: Рабочий выполнил план за полдня и «курит» ? А при этом несрочные работы планируются по двойному тарифу в выходные?

Требуется учитывать непредвиденные события для принятия решений в реальном времени Поступают срочные заказы на продукцию или услуги Меняются приоритеты у уже запланированных заказов Исполнители опаздывают с выполнением работ или не выходят на работу Оборудование ломается или встает на профилактический ремонт Изменения в организации или технологии выполнения заказов Смежники опаздывают с поставкой комплектующих и другие

Требуется поддержка автономного цикла управления ресурсами 1 – Реакция на событие 5 – Мониторинг и контроль исполнения 8 – Обучение из опыта 4 – Оптимизация (пока есть время) 7 – Переплан ирование при план VS факт 6 – Согласо вание с пользов ателями 3 – Планиро- вание 2 – Распределение ресурсов

1. Традиционные методы планирования: линейное и динамическое программирование, программирование в ограничениях и др. 2. Эвристические и метаэвристические методы: • «Жадные» методы, в которых решения принимаются последовательно путем выбора на каждом шаге лучшей из альтернатив, при этом однажды принятое решение никогда не пересматривается; • Simple Local Search Based Meta-heuristics (SLSBM) – мета-эвристики локальной оптимизации со случайным выбором кандидата из списка лучших, с прогнозированием и случайным выбором критериев и т. д. ; • Методы AI-нейросетей – позволяют обучать сеть как выглядит хороший план и дальше строить новые планы по аналогии; • Генетические алгоритмы – позволяют быстроить и далее улучшать варианты планов путем сопряжения их отдельных хороших частей (через операции «мутации» вариантов и т. д. ); • Simulated Annealing (моделирование процесса остывания) – расширение методов локальной оптимизации, в котором формируются зависимые решения, причем на каждом шаге решения могут не только улучшаться, но и ухудшаться с вероятностью, вычисляемой как функция от некоторого управляющего параметра, аналога температуры; • Tabu Search – метод, использующий историю методов локальной оптимизации, когда некоторые уже исследованные плохие варианты запрещается использовать на следующих шагах (табу); • Ant Search – метод, моделирующий поведение муравьев, добывающих пищу. Некоторое удачное решение уподобляется помечаемому ферромоном направлению перемещения муравьев к корму, интенсивность «запаха» которого уменьшается, если со временем это решение не улучшается; • Adaptive Memory Programming – использование общей памяти решений; • Смешанные мета-эвристики Miscellaneous – использование нескольких параллельных алгоритмов, каждый из которых формирует свое решение, конкурирующее за конечный результат. Классические методы планирования и оптимизации

Особенности постановки задачи, затрудняющие применение классических методов Высокая размерность задачи (сотни ресурсов, тысячи заказов, длинный горизонт времени); Множество своих критериев у каждой сущности, которые могут задаваться дискретно, процедурно (алгоритмически) в зависимости от момента времени; Планирование всегда ведется не пакетами, а в «скользящем режиме» и сочетается с одновременным исполнением и контролем планов в РВ; Часто случаются непредвиденные события (приход новых заказов, отзыв уже запланированных, поломка ресурсов и т. д. ); Приход нового события не должен вызывать пересчет всего расписания, иначе слишком долгий процесс счета; Качество решений зависит от самого момента времени (иначе «поезд может уйти» , затоварка или дефицит); Перечень и характеристики заказов и ресурсов могут меняться во времени; Важность критериев может меняться по ходу ситуации в зависимости от достигаемых результатов; Требуется индивидуальный подход к каждому заказу и ресурсу; Необходимо ситуативно балансировать критериями, чтобы добиться взвешенного (гармоничного) решения; Трудно объяснить решение пользователю и др

Фундаментальные проблемы существующих систем 1. Отсутствие средств поддержки процессов принятия решений по динамическому распределению ресурсов в условиях неопределенности 2. Закрытый характер системы, требующий вмешательства программистов для ее модернизации и развития. 3. Централизованная схема управления, построенная на последовательной схеме выдачи команд-инструкций сверху вниз. 4. Иерархическая жесткость системы, не позволяющая реагировать на непредвиденные динамические изменения в окружающей среде 5. Внутренняя пассивность, работа в пакетном режиме «по запросу» пользователя. 6. Ориентация на данные, а не на знания предприятия. 7. Массовая стандартизация и унификация работы, не учитывающая индивидуальные предпочтения и ограничения пользователей.

Теория сложных систем — как основа построения эмерджентного интеллекта Применение для решения задач управления ресурсами в реальном времени

Сложность в нелинейности: сдвиг парадигмы в современной науке С эпохи Возрождения и до 2 -ой половины XX века в науке царило «линейное мышление» . В основе линейных представлений лежит убеждение, что результат суммарного воздействия на систему есть сумма воздействий, а эффект прямо пропорционален воздействию. Это утверждение справедливо для большого числа случаев, а именно для систем, которые находятся вблизи состояния равновесия — классические законы Ньютона (механика), Ома (электричество), Гука (теория упругости), Мальтуса (рост популяций), даже Максвелла (электродинамика) и Шредингера (квантовая механика) — линейны. Из математических свойств линейных систем следует однозначный детерминизм: следствие однозначно определяется причиной, существует единственно правильное решение и т. д. Линейная наука изучает только устойчивые процессы, воспроизводимые в эксперименте. На базе линейной науки развилась механика (в том числе, небесная механика), строительное дело, электротехника. Триумф линейной науки — космические полеты. Отклонения описывали в качестве малых нелинейных добавок. Но что дальше? Однако к сожалению (а точнее, к счастью) далеко не все явления природы линейны, устойчивы и воспроизводимы. Так, все живые системы от клетки до человечества и эволюционирующие неживые системы, находятся в состоянии, далеком от равновесия. Препарируя лягушку на операционном столе невозможно воспроизвести процессы в живом организме. Для их изучения нужны совершенно другие подходы, основанные на взаимодействии. Примеры нелинейных явлений: финансовый кризис, зарождение атмосферных вихрей, движения горных масс, образование галактик, пятен планктона в океане, формирование городов, написание статей, любая творческая деятельность и другие социальные и психологические процессы. Что мы знаем о таких моделях нелинейных систем в матемиатике?

Примеры сложных нелинейных систем Аттрактор Лоренца – один из наиболее известных «странных» аттракторов, открытый при изучении погодных явлений. Лоренц предложил 3 формулы для описания модели погоды: : dx/dt = –ax + ay dy/dt = bx – y –xz dz/dt = –cz + xy Наиболее часто используются значения a=5, b=15, c=1. Трехмерное представление аттрактора Лоренца с этими параметрами имеет следующий вид: Пусть это не видится с первого взгляда, но эта формула определяет фрактал и увеличение не уменьшает числа деталей: Chaoscope — это 3 D рендер странных аттракторов http: //www. btinternet. com/~ndesprez/

Красота сложности: примеры решений нелинейных систем

Красота сложности или сложность красоты?

Гимн нелинейности Нелинейна блоха, нелинейна погода, Нелинейность бывает разного рода: Одна – большущая очень–очень, Другая – себя ну едва волочит. Без нелинейности жизни нет, И в этом ее ужасный секрет! Неизвестный поэт, семинар и бывший сайт МГУ по синергетике и нелинейным системам

Отличия нелинейных систем ЛИНЕЙНОСТЬ НЕЛИНЕЙНОСТЬ • Возможность безграничного роста • Одно стационарное состояние • Колебания за счет периодического внешнего воздействия (например, смены дня и ночи) • Ограниченность любых процессов • Наличие двух или более относительно стационарных состояний • Колебания, которые возникают за счет внутренних взаимодействий • Единственно верное решение (нетерпимость к другим мнениям, образу жизни, идеям) • Многозначность решений (терпимость к другим решениям, а также колебаниям) • Устойчивость решения. Малые добавки приводят к малым отклонениям • Слабые воздействия в определенных ситуациях (бифуркационных) приводят к большим (экспоненциальным) эффектам и могут полностью изменить траекторию развития системы • Развитие природных процессов ведет к пространственной однородности и тепловой смерти Вселенной • Пространственно-временная самоорганизация из гомогенного исходного состояния. Из хаоса под действием флуктуаций развивается сложная «структура» или «порядок» как форма самоорганизация материи

Толковые словари о динамической сложности • «Динамическая сложность может возникнуть даже в простых системах с низкой комбинаторной сложностью» . • «Эта сложность является результатом взаимодействий в системе, происходящих с некоторым временным лагом. Существование многократно взаимодействующих обратных связей в системе означает, что трудно изолировать влияние интересующих факторов» . • «Многие факторы изменяются одновременно, осложняя интерпретацию системного поведения и снижая эффективность каждого цикла исследований. Задержки также приводят к неустойчивости динамических систем, задерживая отрицательную обратную связь и увеличивая тем самым тенденцию к колебательным процессам в системе» . • «Колебание и неустойчивость уменьшают возможность управления связанными друг с другом переменными (т. е. возможность различать причину и следствие), что также осложняет изучение системы» . Динамическая сложность нелинейных систем

№ Причина Результат 1 Динамика Изменения в системах происходят в большом диапазоне масштабов времени, и эти различные масштабы могут взаимодействовать 2 Тесные связи (рефлективность управления) Управление через обратные связи обусловливает влияние управляющего воздействия на себя 3 Нелинейность Следствие непропорционально причине 4 Историческая зависимость Выбор одного пути часто исключает выбор других путей и определяет пределы развития или роста (большое число действий необратимо) 5 Самоорганизация Динамическое поведение систем может возникать самопроизвольно в зависимости от их внутренней структуры 6 Адаптивность Правила решения в сложных системах изменяются во времени Причины динамической сложности

№ Причина Результат 7 Непредсказуемость В сложной системе причина и следствие отдалены во времени и пространстве (зависимости причинно-следственных связей не очевидна – потеря каузальности) 8 Сопротивление решениям Сложность систем, элементами которых мы являемся, ограничивает нашу способность понимать их 9 Характеристики обметов (временная волновая комбинированность) Временные задержки в петлях обратной связи приводят к тому, что долговременные реакции системы на вмешательство отличаются от кратковременных ответов; сложные причинно-следственные связи часто приводят к «ухудшению» поведения системы перед «улучшением» , в то время как простые связи могут привести к быстрому «улучшению» прежде чем наступит «ухудшение» 10 Взаимодействие Разложить влияния на составные трудно. Многие параметры изменяются одновременно. Причины динамической сложности

Новая теория сложных систем “ Теория сложных систем” (“Complexity”) (в русском языке часто называется “Синергетика” — термин, предложенный немецким ученым Германом Хакеном) – это новая наука, изучающая процессы самоорганизации в неравновесных системах различной природы (физика, химия, социальные, языковые и др. ) Основы теории сложных систем лежат на стыке существующих наук: Physics: Thermodynamics, Open Systems, Not-Linear Systems (Lasers), Self-Organization (I. Prigogin) Mathematics: Complex Dynamic & Not-Linear Systems (N. Lorenz), Genetic Algorithms, Game Theory, Chaos Theory, Theory of Catastrophes, Fractals Biology: Neuron Networks, Holons (G. Kestler), Homeostasis, Swarm Intelligence, Evolution Psychology: Society of Mind (M. Minsky) Social Science: Public Choice Theory, Emergent Behavior, Theory of Cooperation Computer Science: Object-Oriented Programming, Multi-Agent Systems, Parallel Computing, Telecommunication, Knowledge-Based Reasoning, etc

Базовые понятия теории сложности Ключевые понятия: «неустойчивые равновесия» или «устойчивые неравновесия» Аттрактор: Множество точек или подпространство в фазовом пространстве, к которому приближается траектория после затухания переходных процессов. Классическими примерами аттракторов в динамике могут служить точки равновесия Ключевые отличительные свойства сложных систем: Открытые (работают на протоке энергии) Нелинейные ( «малый» вход – «большой» выход и наоборот) Диссипативные (непрерывно теряют энергию на трение, поддержание связей и т. д. ) Феномены поведения: порядок и хаос, росток нового, режимы обострения и перемешивания, джокеры, бифуркации, волны и ритмы, осцилляции, колебания и резонансы, катастрофы, автокаталитические реакции …

Что должна изучать новая теория сложности? Какие феномены поведения могут дать сложные системы? По каким законам строятся и работают сложные системы? Почему разные по природе явления в совершенно разных сферах описываются совершенно одинаковыми моделями? Можно ли управлять сложными системами, базирующимися на принципах самоорганизации и эволюции? Как проектировать, описывать и анализировать динамику сложных систем, каковы их свойства (опасные и выигрышные)? Как характеризовать устойчивость сложных систем? Как предсказывать поведение сложных систем? Каковы программные инструменты проектирования и реализации сложных систем? Каковы наиболее успешные применения теории сложных систем в науке, экономике и промышленности?

Что должны делать сложные автономные интеллектуальные системы? Выдвигают цели, формируют стратегии и ставят задачи. Воспринимают ситуации, планируют свои действия для решения задач и исполняют намеченные планы в изменяющейся среде. Моделируют окружающий мир и рассуждают на основе знаний. Обладают встроенной «моделью мира» , моделью собственного «я» (сознанием) и инстинктами, позволяющими реализовывать рассматриваемые задачи и удовлетворять свои самые разные потребности на основе разных возможностей. Коммуницируют с пользователем на языке, близком естественному, и другими системами. Обучаются посредством чтения текстов, в диалоге с пользователем и на основе собственного опыта. Эволюционируют с течением времени, меняя внутреннюю организацию для повышения собственной эффективности. Постоянно активны и демонстрируют плохо предсказуемое, нелинейное, недетерминированное и нестационарное поведение.

Мультиагентные технологии Слабые, но множественные силы, творят чудеса. Академик А. И. Коновалов, Президент химического общества России (из выступления о супрамолекулярной химии)

INDUSTRY 4. 0 — Информационные технологии будущего для повышения продуктивности и эффективности деятельности Цитируется по Business Radars,

Иерархии больших программ Последовательное выполнение операций Инструкции сверху вниз Централизованные решения Управляются данными Предсказуемость Стабильность Стремление уменьшать сложность Тотальный контроль Большие сети малых агентов Параллельное выполнение операций Переговоры Распределённые решения Управляются знаниями Самоорганизация Эволюция Стремление наращивать сложность Создание условий для развития Классические системы Мультиагентные системы Одновременно активные программы (сопрограммы) Мультиагентный подход для решения сложных задач управления ресурсами в реальном времени В ноябре 2015 года мультиагентные технологии вошли в список наиболее перспективных информационных технологий по версии Gartner. http: //www. gartner. com/newsroom/id/

Развитие мультиагентных технологий Начало в 1970 -ые годы… Объектно-ориентированное программирование, искусственный интеллект, параллельные вычисления, телекоммуникации Традиционно базировались на логике (M. Wooldridge, etc) Наш подход bio-inspired (Van Brussel, Paulo Letao, V. Maric) но базирующийся на ключевых идеях: Илья Пригожин в химии (автокаталитические реакции), Марвин Минский в психологии ( «сообщество мыслей» ), Артур Кестлер в биологии (холонические системы) Ключевые слова: самоорганизация и эволюция, синергетика, нелинейная термодинамика, коллективный интеллект Первые применения: е-коммерция (аукционы) Текущие применения: логистика, извлечение знаний, понимание текста и другие Будущее: Web-Intelligence

Классификации агентов Agent Type Simple Agents Smart Agents Intelligent Agents Truly Intelligent Agents Автономность a Коммуникация с другими агентами a a Мониторинг среды a a Использование символов a a Предметное знание a Цели и поведение a Обучение из опыта a a Толератность к ошибкам a Обработка ошибок a Реальное время a Естественный язык a. Наш фокус

Примеры МАС компаний • Weinestein Technologies – http: //www. weinstein. com • Nu. Tech – http: //www. nutech. com • Living Systems – http: //www. livingsystems. com • Agent. Builder — http: // www. agentbuilder. com • Quarterdeck — http: // arachnid. qdeck. com • General. Magic — http: //www. genmagic. com • Intelligent Reasoning System — http: //members. home. net: 80/marcush/IRS • Bios. Group – http: www. eurobios. com • Lost. Wax – http: // www. lostwax. com Около 30 компаний на рынке. Более 100 университетских проектов.

Краткий обзор разработок мультиагентных систем для управления ресурсами 2016 Мультиагентные технологии для управления ресурсами в реальном времени

МАС в машиностроении Designation Company involved Domain Type Production 2000+ Daimler Chrysler, Schneider Manufacturing control Industry Car body painting Daimler-Benz Manufacturing control Industry, prototype BHP Billiton Rockwell Process control Industry Chilled Water System Rockwell Distributed control Industry, prototype Cambridge packing cell U. Cambridge Manufacturing control Lab test bed FABMAS Technical University of Ilmenau Manufacturing control Industry PS-Bikes Universita de Genova Manufacturing control Industry, prototype Axion-Holding Smart Solutions Manufacturing scheduling Industry Shop Modelarna Liaz Certicon, Gerstner Laboratory Production planning Industry Skoda. Auto Gedas, Certicon, Gerstner Laboratory Production planning Industry Agent Steel System Saarstahl AG, DFKI Gmbh Production planning Industry SDM Laboratory Yokogawa Machinery control Lab test bed Nova. Flex Uninova Manufacturing control Lab test bed ADACOR Polytechnic Institute of Braganca Manufacturing control Lab test bed ABAS Tampere University of Technology, Schneider Electric Manufacturing control Lab test bed Onto. Re. A TU Wien, Rockwell Automation, COPA-DATA Manufacturing control Lab test bed * From: Paulo Leitao, Pavel Vrba Recent Developments and Future Trends of Industrial Agents. – Proc. of Holo. MAS-2011, Springer Verlag, 2011 -2012.

МАС в логистике Designation / client Companies involved Domain Type Air Liquide America Nu. Tech Logistics optimization Industry Tankers International Magenta Logistics scheduling Industry Airport ground service operations Airbus, EADS, Cologne University of Applied Sciences Knowledge Genesis RFID- supported real-time catering production, airport ground processes, for airline flight schedules, Simulation and breadboard test of selected real-time functionality Taxi scheduling / Addison Lee Magenta Real-time scheduling Industry Rent-a-car scheduling and optimization / Avis Magenta Real time scheduling and optimization Industry Transportation orders consolidation, routing and scheduling / GIST Magenta Consolidations, routing and scheduling pallets in real-time Industry Truck scheduling / Prologics Smart Solutions Full truck loads real-time scheduling Industry Southwest Airlines Bios. Group Ground floor operations optimization Industry ABX Logistics Whitestein Real-time transport optimization Industry MAST Rockwell Dynamic product routing Simulation, Lab test bed MAS-RFi. D University of Castilla-La Mancha Management of logistics Simulation MASDIMA TAP, LIACC Airline operations adaptation Lab test bed

МАС в космосе и энергетике Designation / client Companies involved Domain Type NASA airspace satellites NASA Management of satellite demands Industry Energia, Korolev Rocket and Space Corporation Smart Solutions International Space Station flights and cargo dynamic rescheduling Industry Aerogility Lost. Wax Intelligent decision support Modelling and simulation Turkey energy forecast KKK Per. Bsk. Forecast energy demands Simulation California Energy Commission AESC, Acronymics Coordination and scheduling Industry Large urban area Rockwell Water treatment Simulation

Примеры Европейских исследовательских проектов по разработке МАС технологий Title Short description GRACE Inte. Gration of p. Rocess and qu. Ality Control using multi-ag. Ent technology (www. grace-project. org/) Use of multi-agent systems for integrating process and quality control, and consider self-adaptive procedures into control and diagnostic systems at local and global level handling variation in process set-point and variables and unplanned fluctuations of process/product parameters. The validation of the project results will consider a demonstrator in a washing machine production line. IDEAS Instantly Deployable Evolvable Assembly Systems (www. ideas-project. eu/) Development of demonstrators/technological solutions that proves that assembly equipment can be highly adaptable, applying the concepts of the Evolvable Assembly Systems (EAS) paradigm. Focus in the agent-based fault-tolerant control and reconfiguration aspects. COSMOS COSt-driven adaptive factory based on MOdular Selfcontained factory units (EU ref. 246371) Design, development and implementation of a control system for factory management with a flexible, modular and evolvable automation approach which will permit to increase the assembly factory productivity without losing flexibility. Focus on wind turbine assembly process. COLLIS. EUS Soft Collaborative Intelligent Systems (FP 7 ref. 255425) Development of collaborative information systems involving multiple interacting agents and soft-computing techniques for robotic and sensor systems. Covers a wide range of applications such as manufacturing, scheduling, control, diagnosis, logistics, energy and road traffic management. CONET Cooperative Objects Network of Excellence (www. cooperating-objects. eu/) Development of a community in the area of Cooperating Objects capable of conducting the needed research to achieve the vision of combining embedded systems for robotics and control, pervasive computing and wireless sensor networks.

Модели, методы и алгоритмы для управления ресурсами в реальном времени 2016 Мультиагентные технологии для управления ресурсами в реальном времени

GPS данные. Спутник Пункт отправки Пункт назначения. Заказ 1 Заказ 2 Интернет-п ортал для приема заказов Интеллектуальная система управления Учетные системы Заказы Грузовик События К мобильному устройству водителя. Современная постановка задачи управления мобильными ресурсами в реальном времени Пусть имеется флотилия мобильных ресурсов, имеющих GPS / ГЛОНАСС датчики на борту; В реальном времени поступают заказы и любые другие события (задержки, поломки и т. д. ), которые необходимо планировать, учитывая текущие планы, индивидуальные предпочтения и ограничения заказов и ресурсов; Изменения должны вноситься в планы ресурсов без останова и перезапуска системы, путем адаптивного изменения расписания «на лету» с использованием как свободных окон, так и подвижками и переброской ранее распределенных заказов; Должен быть реализован полный цикл управления: реакция на события, динамическое планирование (перепланирование), согласование и пересмотр планов «на лету» ; мониторинг и контроль исполнения планов. Согласование планов должно осуществляться через сотовый телефон в ходе диалога с пользователями; В случае расхождения плана и факта требуется автоматическое перепланирование и согласование с пользователем.

Интерактивное взаимодействие с пользователями через мобильный телефон Интернет биржа заказов на междугородние перевозки. Мультиагентная система управления перевозками Smart Truck Другие системы Сервер нашей Саа. С системы со своим мультиагентным миром для каждого грузовика Интернет сайт водителя с поддержкой Гугл календаря поездок Вход для рекламодателей Водитель, менеджер или диспетчер. Предложения. Предпочтения

Обзор существующих методов Distributed Problem Solving Поставленная задача близка классу Distributed Constraint Optimization Problem (DCOP); Имеется ряд методов решения такого класса задач: методы, учитывающие сетевую структуру задачи – Asynchronous Distributed Constraint Optimization (ADOPT), Optimal Asynchronous Partial Overlay (Opt. APO), Distributed pseudo-tree optimization (DPOP), Asynchronous Backtracking (ABT); методы роевой оптимизации, основанные на применении метафоры «роя» агентов (Particle Swarm Optimization) и другие. В качестве наиболее перспективного направления выбран подход на основе холонических систем (PROSA) и виртуального рынка (Virtual Market), основную роль ведут агенты заказов и ресурсов; между агентами идут торгах на основе модификаций Contract-net протоколов; в результате консенсуса агентов строится расписание, выгодное всем участникам.

Постоянный поиск соответствий между конкурирующими и кооперирующими агентами потребностей и возможностей (малые агенты) на виртуальном рынке системы позволяет строить решение любой сложной задачи как динамическую сеть связей, гибко изменяемую в реальном времени. Виртуальный рынок D S D S S SS D S SD D S D D D SСоответствие потребности и возможности Агент потребности Агент возможности «Контракт» Сети потребностей и возможностей (ПВ-сети) Используются 5 основных типа агента: агент заказа, агент ресурса, агент заадчи, агент продукта и штабной агент, а также связывающие их агенты потребностей и возможностей.

Логика мультиагентного планирования Грузовик 1 08: 00 16: 0012. 00 20: 00 Время Заказ 1 Заказ 2 Заказ 3 • Есть начальное расписание • Поступает новый заказ • Предварительный просмотр • Новый заказ «будит» агента Грузовика 3 и начинает с ним переговоры • Грузовик 3 оценивает возможность принятия заказа • Грузовик 3 «будит» агента Заказа 3 и просит его сдвинуться влево • Заказ 3 анализирует ситуацию и отказывается • Грузовик 3 просит новый заказ сдвинуться вправо • Новый заказ отказывается • Грузовик 3 решает отказаться от Заказа 3 и взять новый заказ • Заказ 3 начинает переговоры о новом перевозчике и затем размещается на Грузовике 1 путем сдвига Заказа 1 Грузовик 2 Грузовик 3 Новый заказ Какой грузовик лучше для меня? Я могу взять новый заказ если: • Сдвинуть 3 заказ влево • Сдвинуть новый заказ вправо • Откажусь от 3 заказа Возьмёшь меня? Сдвинешься влево? Не могу сдвинуться Сдвинешься вправо? Нет

Виртуальный рынок Новый заказ приносит деньги для покупки ресурсов, а ресурсы тратят эти деньги; Цена услуг может быть фиксирована или быть динамической, в зависимости от объема заказов, загрузки ресурсов и т. д. Агенты используют микро экономику 1 и 2 рода как «физические» затраты и затраты «офисные» ; Агенты могут вести параллельные аукционы для выбора друга; Цена системы транслируется в цену агентов и позволяет оценить срок окупаемости в зависимости какие агенты сколько отработали и какой результат принесли; При необходимости могут быть использованы модели клуба, биржи, учредителей, опционов, фьючерсов и т. д. Агенты могут платить пропорционально степени матчинга ресурсов; Чем более богат агент, тем больше он может изменить расписание в своей окрестности; Удовлетворенные агенты перестают участвовать в торгах; Агенты могут платить налоги за проживание в системе, переговоры (телефон) и т. д. Система может инвестировать в трудные участки расписания.

Методы переговоров Penalty Method – когда агенты только платят штраф за разрыв связи в любой момент Method of Compensation — когда один агент просит другого уступить и компенсирует ему ухудшение положения Virtual “Round Table” – многокритериальное командное принятие решение в междисциплинарных командах Method of Knowledge Transfer – возможность входа в мир новых агентов с передачей знаний

Принятие решений агентами при разборе конфликтов и поисках консенсуса В основе работы системы лежит «виртуальный рынок» , на котором агенты КЭ могут покупать услуги ресурсов МКС При этом состояние агента характеризуется степенью удовлетворенности (свертка по критериям) и наличием финансовых ресурсов для улучшения удовлетворенности Чем ближе состояние к требуемому идеалу, тем выше показатель удовлетворенности агента и тем больше система премирует агента. Виртуальные деньги при этом играют роль «энергии» для установки и перестройки связей. Зависимость компоненты целевой функции агента от значения KPI Зависимость компоненты бюджета агента от значения KPI Удовлетворенность агента Бонусы и штрафы агента 1 -1 При входе в систему агент КЭ получает сумму на счет для приобретения услуг ресурсов МКС. Бюджет расходуется агентом на поиск решения и дальнейшую перестройку расписания для улучшения уровня удовлетворенности. Решение конфликтов В случае конфликта в методе сопряженных взаимодействий один агент может предложить другому компенсацию за уступку своего места в плане. Второй агент уйдет из конфликта и освободит свое место если только сумма ухудшений будет меньше чем сумма улучшений для системы в целом.

Математическая постановка задачи На ресурсы системы поступает в реальном времени поток заказов, каждый из которых может быть характеризован некоторыми критериями успешного размещения, например, объемом, качеством, сроком, себестоимостью, риском и др. Важность критериев может изменяться в ходе формирования расписания и дальнейшего выполнения. Пусть каждый j –й заказ имеет несколько частных критериев x i и предполагаемых требуемых значений x ij id. У каждого агента заказа j подсчитывается оценочная функция ( удовлетворенность агента) f ij ( x i — x ij id ) по компоненте i. Вид оценочных функций выбирается так, чтобы функция возрастала при уменьшении отклонения значений критериев от их идеальных значений. Для каждого заказа определяется свертка оценочных функций с заданными весовыми коэффициентами ij. Задача состоит в максимизации удовлетворенности y j j для каждого агента заказа: где ∀ j весовые коэффициенты нормируются: . Для всех заказов (состояний агентов заказов j ) требуется максимизировать суммарную удовлетворенность: где j – вес заказов, позволяющий устанавливать и динамически менять приоритеты. Аналогичные соотношения могут быть записаны и для всех ресурсов системы, каждый из которых может иметь свои собственные критерии принятия решений. Таким образом, конечной целью поиска решения является установление максимальной удовлетворенности системы – как общего баланса интересов заказов и ресурсов с учетом их индивидуальных требований.

Метод компенсаций для решения задачи динамического распределения ресурсов 1) Заказ 1 нашел Ресурс 1 2) Ресурс 1 забронирован 3) Появляется Заказ 2 … 4) Ресурс 1 перебронируется с выплатой компенсации Заказу

Пример применения метода компенсаций Сеть дилеров, наличие заказов и автомобилей на складах (большие кружочки – дилеры, маленькие цветные кружочки – заказы, маленькие цветные квадратики – автомобили данной марки, имеющиеся на складах или в пути к клиентам)Германия Бразилия Заказ 1 Заказ 2 Ресурс 1 Пусть клиент из Бразилии забронировал автомобиль красный Мерседес, который вот уже подъезжает к дому покупателя. И в этот момент к дилеру приходит молодой человек, который хочет жениться и ему нужна именно такая машина. Но других таких машин больше нет! Что делать, отказать покупателю?

Метод сопряженных взаимодействий в ПВ сетях Фиксируется множество сопряженных (в общем случае, неоднородных) элементов системы, каждый из которых обладает определенными возможностями и потребностями в ресурсах. Описываются индивидуальные цели и критерии принятия решения элементами системы, а также их предпочтения и ограничения. Определяются правила принятия решений и протоколы (регламенты) сопряженных взаимодействий между элементами, позволяющие выявлять конфликты и находить компромиссы между элементами. С помощью платформы адаптивного планирования разрабатываются протоколы сопряженных взаимодействий. Создается программная система, формирующая первоначальную ПВ-сеть, определяющую начальное распределение ресурсов. Если состояние ресурсов или потребности в них изменяются с приходом новых событий, то ПВ-сеть перестраивается с целью разрешения конфликтов в той части, которая непосредственно связана с изменениями. При этом на фоне текущего состояния делается попытка изменить распределение ресурсов и решение принимается, если возрастает глобальный показатель системы в целом — при этом общий показатель пересчитывается только в изменяемой части (без полной перестройки); Решение задачи распределения ресурсов считается найденным, когда ни один агент ПВ-сети не может улучшить свое и глобальное состояние сети (т. к. сеть в целом компенсирует локальные ухудшения).

Заказ 1 Заказ 4 Заказ 2 Заказ 3 Шаг 2 D 1 D 2 Шаг 1 и 2. Проведение переговоров при поступлении нового заказа: Заказ 4 меняет свое положение и смещается влево Пример хода переговоров по подвижкам (1/3) Приходит Заказ 4, который обнаруживает конфликт с заказом 2 Заказ 4 уходит влево, выбирая все свободное время , не требующей разбора конфликта

D 2 Заказ 1 Заказ 4 Заказ 2 Заказ 3 Шаг 2 Шаг 3 Заказ 1 Заказ 4 Заказ 2 Заказ 3 D 3 Шаг 3. Дальнейшие переговоры: в результате Заказ 2 смещается вправо и наталкивается на Заказ 3, который не может уйти вправо Пример хода переговоров по подвижкам (2/3) Заказ 4 определяет зону перекрытия с Заказом 2 (Дельта 2) Заказ 2 соглашается подвинуться вправо, но наталкивается на ограничения Заказа 3, который не может сдвигаться вправо

Заказ 1 Заказ 4 Заказ 2 Заказ 3 Шаг 4 D 3 Шаг 5 Заказ 1 Заказ 4 Заказ 2 Заказ 3 Шаги 4 и 5. Достижение итогового решения: в результате переговоров: Заказ 4 раздвинул Заказ 2 и Заказ 1 вправо и влево соответственно! Пример хода переговоров по подвижкам (3/3) Волна переговоров отражается от Заказа 3 и возвращается к Заказу 1 Заказ 1 соглашается подвинуться на Дельта 3 влево – конфликт исчерпан и Заказ 4 успешно размещается в расписании грузовика

Динамические равновесия Динамическое равновесие – не устойчивое равновесие , формирующееся на основе интересов агентов потребностей и возможностей на виртуальном рынке Динамическое равновесие – конечная стадия процесса переговоров агентов, в котором агенты достигли определенного уровня удовлетворенности и не могут больше изменить свои решения: Либо все агенты очень счастливы и впали в нирвану … Агенты не очень удовлетворены, но у них нет других вариантов Агенты совсем не удовлетворены, но не имеют денег для улучшения решения; Варианты есть, но они не принимаются и т. д. Автокаталитическая реакция может переводить систему из одного квази устойчивого состояния в другое Разный порядок одних и тех же событий может приводить к разным траекториям эволюции системы Как измерять неустойчивые равновесия : Как сильно и стабильно равновесие? Сколько аттракторов в сети предприятия? Сколько времени надо на переход из одного состояния в новое желаемое? Насколько велик регион системы, который затронут изменениями? Как велико и быстро затухание волны переговоров? И т. д.

Развитие метода: гомеостатическая модель принятия многокритериальных решений Виртуальные деньги служат “энергией” для перестройки расписания. Оптимальное значение Границы допустимого диапазона Текущий динамический диапазон Выход за комфортное значение (границы диапазона)

Гомеостатическая модель принятия решения Каждый агент системы имеет свой набор критериев, причем, возможно, разные (например, заказа строиться увеличить прибыль, а ресурс – быть максимально занят); Общее решение системы рассчитывается агентом системы на основе решений отдельных агентов, и который знает, какой из агентов лучше или хуже по каждому своему критерию; У агентов задач имеются как идеальные, так и текущие значения показателей своих критериев, по которым рассчитывается степень “удовлетворенности” агентов текущим состоянием (планом); Имеются динамические величины весовых коэффициентов скаляризации целевой функции виртуального денежного эквивалента. Каждый показатель (критерий) имеет свой коэффициент пересчета в виртуальные деньги, обеспечивая бонусы и штрафы. Текущий виртуальный бюджет, который используется для улучшения локального места в расписании данного агента задачи. Виртуальный бюджет в каждый момент оценивается по отклонению показателей от идеальных значений, и имеет смысл прибыли или кредита. Бюджет расходуется агентом на улучшение критерия, который в данный момент имеет наихудшее значение Итерационно агенты работ “подтягивают” свои критерии к локально – оптимальным значениям, компенсируя убытки других агентов за счет своего бюджета (прибыли).

Планирование результата График работы Проверка результатов Кто выполнит операцию по заданной цене и в срок? Можно использовать? Все ли довольны и где узкое место? Агент продукта Агент заказа Агент организации Агент операции Агент документа Агент работника Агент компоненты График подготовки Пример классов агентов в Smart Factory

Протокол переговоров на стадии предварительного планирования На стадии предварительного планирования агенты операций размещаются на ресурсах бесконфликтным способом, чтобы получить валидное расписание для дальнейшего улучшения. Вертикальные линии диаграммы означают эволюцию соответствующего агента во времени.

Протокол переговоров проактивной фазы На диаграмме показаны примеры сообщений проактивной фазы. Обведен блок анализа степени вложенности затронутых изменений.

Протокол переговоров метода компенсаций (начало)

Протокол переговоров метода компенсаций (окончание)

Event 2: New operation Conflict is resolved. Al connections are reestablished. To resolve the conflict the 3 d and the 4 th operations are realocated t. Connection between the 3 d and the 4 th operations disappears. Occurs a conflict between the 3 d and the 4 th operations Operation 4 Operation 3 Operation 2 Operation 1 New operation To resolve the conflict the second operations is reallocated to anothe. Connection between first and second operations disappears. It leads to a conflict between first and second operations. New operation comes into the schedule. Event 1: Initial data Event 2: New operation Логика планирования

Event 2: New operation Event 3: New operation. Event 2: New operation Operation 1. 2 a Operation 1. 2 b Operation 3. 3 Operation 1. 1 Operation 3. 3 New operation. Operation 1. 2 Operation 2. 1 Operation 2. 2 Operation 2. 3 Operation 2. 4 Operation 2. 5 Operation 2. 4 Operation 1. 3 Operation 1. 4 Operation 3. 1 Operation 3. 2 Operation 3. 4 Operation 3. 5 Operation 3. 2 Operation 3. 4 New operation Conflict is resolved Operation 1. 2 Al connections are reestablished. Al operations are successfully reallocated. Conflict between operations 2. 4 and 3. 4 occurs. Conflict between operations 3. 3 and 3. 4 occurs. New operation arrives. Conflict is resolved. Al connections are reestablished. New operation finds appropriate place. In order to resolve the conflict Operation 3. 2 is alocated to another Conflict between operations 1. 1 and 3. 2 occurs. Operation 1. 2 b is left as it is while Operation 1. 2 a is realocated. Conflict between operations 1. 1. and 1. 2 a occurs. Operation 1. 2 is divided into operations 1. 2 a and 1. 2 b. Conflict between Operation 1. 1 and Operation 1. 2 occurs. New operation comes into the system. Event 1: Initial data Event 3: New operation Логика планирования

Демо мультиагентой системы

Оценка степени адаптивности МАС для управления ресурсами в реальном времени 2016 Мультиагентные технологии для управления ресурсами в реальном времени

Оценка адаптивности в МАС В мультиагентную систему поступают заказы, которые планируются для исполнения на ресурсах. Заказы динамически перераспределяются по ресурсам системы, поскольку агенты стремятся повысить свою удовлетворенность. При появлении нового заказа, еще не распределенного системой, в первый момент времени удовлетворенность системы падает, т. к. пришедший агент не сразу находит лучшее место, а лишь через некоторое время общая удовлетворенность начинает расти за счет перепланирования и постепенного улучшения состояния агентов Поэтому, для оценки динамики результатов мультиагентной системы предлагается подсчитывать среднюю удовлетворенность y агентов задач и ресурсов в зависимости от времени: где – удовлетворенность агента j-й задачи, – удовлетворенность агента ресурса l , N(t) и M(t)- число агентов задач и ресурсов соответственно. Эти значения зависят от времени, поскольку задачи приходят в систему, а ресурсы могут включаться и отключаться.

Оценка адаптивности в МАС Рассмотрим степень адаптивности системы по событию отключения части ресурсов. После момента максимального спада средней удовлетворенности до уровня y 1 через время T МАС приходит к новому квазиравновесному состоянию у 2. z = у max — у 2 – безвозвратно потерянная удовлетворенность. . Введем степень адаптивности γ мультиагентной системы, характеризующую скорость восстановления локального равновесия: (2) где у 1 –минимальное значение удовлетворенности после воздействия, у 2 — средние удовлетворенности агентов системы после воздействия на МАС, Т — время восстановления равновесия средней удовлетворенности у 2. Фактически, предлагаемая мера адаптивности отражает интуитивное понимание «интеллекта» системы: более «умная» лучше и быстрее отработает любое событие. Под адаптивной системой понимается самоприспосабливающаяся система, автоматически изменяющая структуру или логику своего функционирования с целью сохранения или достижения желаемого состояния при изменении внешних условий.

Пример применения метода сопряженных взаимодействий с гомеостатической моделью принятия решений 2016 Мультиагентные технологии для управления ресурсами в реальном времени

Постановка задачи (1/2) Job J Weight w j Release date r j Due Date d j Operation sequences Operation duration p ij 1 1 0 40 1, 2 8, 10 2 1 0 30 3, 2, 1 6, 8, 6 3 1 0 32 3, 1, 2 4, 6, 10 Требуется запланировать 3 работы, состоящие не более чем из трех технологических операций заданной длительности на 3 рабочих центрах (“машинах”) с номерами 1, 2, 3. Характеристики работ и предельные сроки окончания заданы в таблице ниже. Все работы имеют одинаковый вес (приоритет) и поступают одновременно в момент времени 0. Последовательности операций нумеруются номером машины. Стоимости работ определяются длительностями и выражены в тех же единицах, что и время, для упрощения вычислений. За опоздания и опережения начисляются штрафы, пропорциональные времени опережения и опоздания.

Постановка задачи (2/2) Для упрощения рассуждений рассматривается 2 -х критериальная задача с критериями одинаковой размерности, чтобы избежать нормирования, которое затруднит восприятие. Активность агентов ресурсов для простоты пока не рассматривается. Критерии: Минимизация времени задержки операции Минимизация времени хранения продукта, т. е. времени опережения Критерии означают, что каждая работа не хочет опаздывать и не хочет быть выполненной раньше, чем нужно. Будем считать, что денежный эквивалент критериев (бюджет агента работы) пропорционален времени и задан с одинаковыми весами Идеальными значениями для T j опозданий и опережений E j будут нулевые значения, поэтому общий показатель KPI (Key Performance Indication) Этот показатель KPI, очевидно, требуется повысить. )0, max(jjjd. CT )0, max(jjj. Cd. E 5,

Шаг 1. Бесконфликтная стадия На первой стадии — бесконфликтного планирования операции работ “обтекают” занятые места и располагаются друг за другом. Работы заполняют слотами своих операций соответствующие ресурсы в порядке перечисления в таблице описания работ. Поскольку все работы поступают одновременно, и их приоритет одинаков, то вначале планируются операции работы 1 (красного цвета), затем операции работы 2 (зеленого цвета), и потом операции работы 3 (синего цвета). На рисунках каждая операция обозначена прямоугольником, 1 -е число обозначает номер ресурса (“машины”), второе- номер работы, в скобках показана длительность операций. Отдельные заказы (работы) показаны разным цветом. Штриховыми стрелками показан технологический порядок операций. Число под последней операцией каждой работы означает текущее время завершения каждой работы.

Шаг 1. Бесконфликтная стадия. Расчет показателей Job J Release date r j Due date d j Completion time C j Earliness E j Tardiness T j Kpi j 1 0 40 18 22 0 -11 2 0 30 32 0 2 -1 3 0 32 36 0 4 -2 Значения показателей Агент работ подсчитывают свой KPI следующим образом. Например, агент работы 1. В сущесвующем расписании работа завершится в момент времени (Completiob Time)18. Опоздание T равно 0, опережение E=22, тогда KPI с учетом равных весов (по 0. 5) будет по формуле Бюджет в данный момент полагаем равным –kpi. Аналогично подсчитываются покаатели других работ. Результаты приведены в нижеследующей таблице. 11225. 00)(1211 ETkpij

Шаг 2. Проактивность — 1 Максимальная степень недовольства и, соответственно, максимальные возможности улучшить положение—у агента работы 1. Его наихудший критерий —опережение. Для уменьшения опережения он должен сместить свою вторую операцию вправо, вступая в конфликт с операцией 2 агента работы 2. Он предлагает с ним поменяться операциями на ресурсе 2. Оценив вариант, он соглашается, заодно бесконфликтно выставив операцию на ресурсе 1 по дедлайну, поскольку для него опоздание— наихудший критерий. Расписание до 1 -го шага проактивности Расписание после 1 -го шага проактивности Результат: Операция (2, 1) работы 1 сместилась вправо, поменявшись с операцией (2, 2) работы 2. Операция (3, 2) работы 2 сместилась влево, чтобы её окончание было по дедлайну работы 2.

Шаг 2. Проактивность — 2. Показатели Job J Release date r j Due date d j Completion time C j Earliness E j Tardiness T j Kpi j 1 0 40 24 16 0 -8 2 0 30 30 0 3 0 32 36 0 4 -2 kpi=-8+0 -2=-10 Эти изменения произошли потому, что агент работы 1 предложил агенту работы 2 поменяться слотами времени операций. Расчет kpi агента работы 1 для данного расписания с учетом весок показателей производится так. Предполагаемое времмя окончания =24, предполагаемое время опережения 40 -24=16, время опоздания=0, потому что дедлайн=40 для этой работы. В таком случае по формуле получим Аналогично, расчет kpi агентом работы2 дает: время окончания=30, время задержки=0, время опережения=0. kpi =0. Поэтому эта перестановка выгодна агенту работы 1 и агенту работы 2, потому что увеличивается kpi обоих: 1 -го c -11 до -8, 2 -го с -1 до 0. 8165. 00)(1211 ETkpij

Шаг 2. Проактивность — 3 Опять наибольшей активностью обладает агент работы 1, потому что его kpi максимально отрицателен (-8). Это сложилось из-за опережения. Чтобы уменьшить опережение, операция 2, 1 должна сдвинуться вправо. Теперь имеется конфликт с 3 -й операцией работы 3. Агент работы 1 предлагает поменяться с операцией работы 3. Операция работы o(2, 3) встает на свое технологически- обусловленное место, а операция o(2, 1) работы 1—за ней. Расписание до 2 -го шага проактивности Расписание после 2 -го шага проактивности

Шаг 2. Проактивность — 3. Показатели Job J Release date r j Due date d j Completion time C j Earliness E j Tardiness T j Kpi j 1 0 40 36 4 0 -2 2 0 30 30 0 3 0 32 26 8 0 -4 Total kpi=-2+0 -4=-6 Подсчет показателей производится по новым возможным положениям операций в расписании. Для агента 1 kpi увеличится с -8 до -2, а показатели агента работы 3 ухудшатся (с -2 до -4). Однако суммарное изменение kpi выгодно системе в целом ( увеличивается с -10 до -6), поэтому этот шаг совершается.

Шаг 2. Проактивность — 4 Job J Release date r j Due date d j Completion time C j Earliness E j Tardiness T j Kpi j 1 0 40 40 0 2 0 30 30 0 3 0 32 30 2 0 -1 Активность максимальна у агента работы 3, т. к. его kpi минимален, поэтому он обращается к агенту работы 1 с предложением сдвинуться вправо на 6. В данном случае принимается компромиссное решение— сдвиг вправо на 4, агент 3 -й работы улучшает свое положение, и агент работы 1 тоже. Total kpi=0+0 -1=-1 Дальнейшие изменения невозможны, несмотря на оставшийся бюджет агента 1, поскольку его не хватает на компенсации.

Шаг 3. Влияние изменения весов в целевой функции агентов Job J Relea se date r j Due dat e d j Completi on time C j Earliness E j Tardine ss T j Kpi j 1 0 40 40 0 2 0 30 30 0 3 0 32 36 4 0 0 kpi=0+0+0=0 Веса полагались постоянными у всех агентов работ и одинаковыми α 1 = α 2 = 0. 5. Однако, вручную (или далее автоматом) веса у агента работы, также можно вызвать перестройку расписания. Если, например, у агента работы 3 перераспределить веса опережения и запаздывания (сумма должна быть 1) α 1 = α 2 = 0. То есть опережения не штрафуются, а опоздания – учитываются полностью. Тогда операция работы 1 переместится в лучшее положение, а работа 3 не изменится, потому что не зависит теперь от опережения.

Динамика показателей в ходе шагов самоулучшения получаемого решения Из графиков видно, что итерационно улучшаются все компоненты показателей, система по шагам выравнивает значения ключевых параметров.

Программная платформа для разработки и исследования моделей, методов и алгоритмов адаптивного планирования 2016 Мультиагентные технологии для управления ресурсами в реальном времени

Самоорганизация в сложных системах a) t=t o b) t=t o + t Принятие решения по новому заказу или ресурсу и установление связи приводит к переходу от состояния S 1 – к S 2 как акту самоорганизации системы

• Основана на Java и Дот. нет • Масштабируемость • Надежность • Устойчивость • Конфиденциальность • Визуализация • Десктоп и Веб-интерфейс. Онтологии Базовая платформа Мультиагентные технологии • Основаны на семантическом Веб • Знания отделены от кода • Позволяют описать объекты и связи • Дают возможность описывать ситуации • Дают возможность обучения системе • Базовые конструкции агентов • Система диспетчеризации агентов • Агенты формируют сети • В переговорах используют механизмы рынка • Управляемы событиями в реальном времени • Агенты проактивны. Методология создания интеллектуальных систем решения для управления ресурсами

Функциональная архитектура решения Timetable Основные элементы: 1. Предметная онтологии и данные сцены 2. Виртуальный рынок агентов 3. Двусторонняя связь между реальным и виртуальным миром Current State Event Next State. Real World of Railways Current schedule Next schedule Virtual World of intelligent agents Ontology Data

Онтологии для Баз знаний • Онтология есть модель знаний о предметной области • Знания могут представляться понятиями и отношениями (vs. фреймы, правила вывода и др. ) • Мы используем онтологии для задания моделей ситуаций (сцен) реального мира • Мы строим конструктор онтологий не только для традиционно декларативных знаний, но и процедурных (бизнес-процессы, технологические процессы и т. д. ) • Основными концептами являются объекты, процессы, свойства, отношения и атрибуты. • Агенты могут использовать онтологию для вычитки бизнес процессов • Часть онтологии может являться запрограммированной для повышения производительности.

Платформа для создания баз знаний и онтологий

Демо конструктора онтологий

Архитектура планировщика Интерфейс пользователя (Web UI)Исходные данные (заявки, ресурсы и др. ) К другим системам. Онтология (понятия и отношения для описания требований заказов и ресурсов) Очередь событий Мир агентов Новый заказ Отказ ресурса Задержка срока … … Сцена мира (онтологическая модель ситуации) Предпочтения и ограничения Результат (план работы, прогноз использования ресурсов, показатели эффективности и др. )База данных Модули интеграции

Конструкция мира агентов Extensions Engin e — Virtu al World. Dynamic (Mental) Body (Downloa ded Concepts & Scripts from Ontology) Agent Name Static (Physical) Body Scene Representa tion Output mail box. Input mail box Dispatching System Process 1 Descripto r Process 2 Descripto r Messaging System Engin e — Virtu al World. Dynamic (Mental) Body (Downloa ded Concepts & Scripts from Ontology) Agent Name Static (Physical) Body Scene Representa tion Output mail box. Input mail box Services (Ontology Support, etc)

Использование отношений ПВ-сети мира транспортной логистики Агент грузовика Агент маршрута. Агент клиента Агент заказа Агент заправки Агент кафе Агент ТО Агент водителя Агент гостиницы Агент погрузки (груз 1 и 2) Агент разгрузки (Груза 1)Агент переезда Агент разгрузки (Груза 2) Агент переезда. Заказ 1 Заказ 2 Дырка Агент потребности Агент возможности 2. Хорошее кафе может «перевесить» планирование маршрута для заезда … 1. Агенты возможности ищут дырки и позволяют переманить потребности в силу выгодности 3. Имея свои текущие состояния, агенты пробуют изменения и анализируют, как может улучшится результат для системы в целом!1. Агенты потребности знают требования и ищут варианты ресурсов

Пример фрагмента сцены мира транспортной логистики Город Москва Город Самара. Город Санкт Петербург Город Нижний Новгород Город Екатеринбург. Город Казань. Грузовик 1 Грузовик 2 Грузовик 3 Город Пермь Клиент: М-Видео. Заказ 1192 Маршрут 1: Санкт Петербург – Москва – Самара (Грузовик 1) Маршрут 2: Пермь – Екатеринбург (Грузовик 3) – Екатеринбург — Нижний Новгород – Москва (Грузовик 2)Заказ 1205 Примечания к сцене: • Фигуры отражают объекты сцены. • Стрелки означают отношения между объектами, которые используются для сокращения переговоров. • Цвет объектов отражает степень их удовлетворенности.

Важные особенности архитектуры Конструкция мира агентов: Мир агентов создает компьютерную модель работы предприятия и отражает все основные борющиеся между собой активные сущности, имеющих свои цели, критерии, предпочтения и ограничения, которые влияют на принятие решений и в балансе интересов которых ищется решение сложной задачи; Предполагается, что сложность мира агентов всегда нарастает от простого к сложному: например, для мира транспортной логистики сначала строятся агенты заказов и ресурсов, а потом вводятся агенты; клиентов, водителей, ТО, заправок, кафе и гостиниц, переправы и т. д. При этом в качестве пассивных объектов мира агентов могут оставаться дороги и города, мосты и прочие сущности, дающие ограничения; Конструкция сцены мира: Сцена должна строится как «зеркало» реальности, отражая ситуацию во внешнем мире, текущий план действий и ожидаемые результаты; При этом сцена должна быть построена как семантическая сеть из понятий и отношений онтологии, чтобы обеспечить возможность ее расширения (хотя бы в пределах) без перепрограммирования; Сцена мира строится так, чтобы сокращать перебор в ходе переговоров (от ближайших возможностей).

Особенно важно понимать! Сцена позволяет резко сокращать полный перебор! Чем больше продуманных отношений «пронизывают» сцену, тем есть больше элегантных возможностей для зрячего анализа ситуации и сокращения комбинаторного перебора; Например, если агент нового заказа знает он «откуда» — то, найдя свой город, может БЫСТРО проверить, какие заказы отсюда уже выезжают в нужном ему направлении и попытаться встроиться в них (прежде чем строить новый маршрут); Глобальный показатель системы пересчитывает лишь частично! Когда приходит новый заказ и его агент пытается «растолкать» на ресурсы другие заказы и они, в свою очередь, расталкивают другие заказы – то базовая сцена не меняется, а меняется сцена-штрих (специально окрашенная часть в базовой сцене), в которой динамически определяется разница по глобальному и локальному показателю агентов (без полного пересчета); В случае прихода нового заказа сумма всех улучшений состояний агентов должна превосходить сумму всех ухудшений (за счет компенсаций) по глобальному показателю – чтобы положительное решение по приему заказ было принято.

Pattern Discovery Resulting Plan and KPIs Adaptive Scheduler Input Events Flow (New order, Resource unavailable, etc) Network Designer. Ontology Editor Simulator. Domain Ontology Network Configuration & Situation specs (Scene) Modeling Data (Flow of orders, fleet size, etc)Patterns and Ongoing Forecast Видение развития планировщиков Current Situation and Ongoing Plan Modeling Plan and KPIs Domain Knowledge Evolutional Design Advise on How-To make Network More Efficient Network Assets & Real Situation

Основной экран мира агентов адаптивного планирования Окно потока событий Диаграмма расписания Окно загрузки системы планирования График KPI Окно длин цепочек переговоров Параметры генерации событий. Графики удовлетворенности, загруженности, прибыли и другие характеристик системы

Диаграммы и графики основных параметров состояния МАС для адаптивного планирования Диаграмма Ганта динамического расписания Диаграмма связей ресурсов и задач с подзадачами Штраф/бонусные функции агентов ресурсов и задач, по каждой компоненте критерия Динамика сообщений (переговоров) агентов в процессе планирования Доступности и стоимости (тарифа) каждого ресурса Удовлетворенность ресурсов от загрузки Динамика удовлетворенности каждого агента задачи и ресурса по времени и по каждому компоненту, суммарная и средняя удовлетворенность агентов Состояние и динамика виртуальной прибыли каждого агента и системы в целом Динамическая диаграмма состояний компонентов целевой функции каждого агента (радар “роза ветров”) Гистограмма количества перепланирований Динамика поступивших, планируемых и выполняемых задач Динамика загрузки каждого ресурса и загруженности системы в целом Скорость поступления объемов работ Скорость изменения удовлетворенности агентов, характеризующая динамику изменения расписания Скорость изменений количества сообщений каждого агента ресурсов и задач История изменений виртуальных счетов агентов Лог переговоров агентов

Входные данные Фрагмент скрипта создания задач и связанных подзадач, генерация исполняющих ресурсов и функций стоимостей для каждого типа агентов. Задание сцены и характеристик агентов также может быть представлено через “онтологическое” описание в виде xml скриптов. МА система управляется с помощью скриптов сценариев- описаний исходной сцены ресурсов и задач, их числовых характеристик и событий, поступающих в систему.

Диаграммы перераспределенных заказов На диаграмме слева показано распределение количества перепланирований заказов во время формирования расписания. Задач планируется, в основном, со 2 -й попытки, однако, имеются задачи, запланированные через 3, 4 и 5 шагов.

Динамика изменения виртуального счета агентов Приведен график динамики виртуального счета агента ресурса. В момент времени 10 на него запланирован небольшой заказ, затем – в 3 раза более дорогостоящий. После этого возрастания счета не происходило.

История планирования и перепланирования задач История перепланирования одного из агентов заказов. В таблице справа записи показывают, что он многократно перепланировался на одном из ресурсов с изменением удовлетворенности, пока не перешел на другой ресурс.

График загруженности ресурса Динамика загруженности конкретного ресурса в зависимости от времени (зеленый график). На ресурс запланирована задача, и загрузка в текущем времени не меняется. Синий график показывает отношение оставшегося до горизонта планирования к использованному.

Радар по компонентам целевой функции Показан “временной срез” удовлетворенности агента задачи по компонентам целевой функции. В данном случае, по времени фактического окончания, по времени фактической продолжительности (зависящей от производительности ресурса) и прибыли. Прибыль в данном случае оказалась равна 0 из-за потерь на компенсации.

Динамика по времени суммарной удовлетворенности всех агентов Динамика изменений средней удовлетворенности всех агентов системы. Положительные скачки связаны с первоначальным приходом заказов в систему, спады-моменты перепланирования, небольшой рост затем- нахождение более выгодного положения.

Интенсивность переговоров агентов задач и ресурсов с течением времени Динамика интенсивности обмена сообщениями в процессе переговоров, связанных с приходом и перепланированием заказов.

Средняя загруженность ресурсов Динамика средней загруженности ресурсов системы. Зеленый график – по полному прошедшему времени, синий – по отношению к оставшемуся времени. Скачок в начале описывает планирование задач на один из ресурсов. Второй скачок связан с включением дополнительного ресурса одновременно с приходом дополнительных задач. Повышение связано с уменьшением оставшегося времени при неизменном объеме невыполненных работ, понижение – влияние выполнения части работ.

Динамическое расписание задач и ресурсов Диаграмма Ганта итогового расписания задач. Задачи 5 и 2 запланированы на 1 -й ресурс, остальные – на 2 -й. Полоска зеленого цвета внизу задач показывает удовлетворенность агентов положением в расписании, цифры вверху- фактические времена начала и окончания выполнения заказов.

Функции удовлетворенности и бонус/штрафные функции агентов задач k = 0. 5 Задаваемые в сценариях кусочно- линейные компоненты функций удовлетворенности и бонус-штрафных функций агентов заказов. Треугольные и колообразные функции побуждают агентов стремится к максимуму показателя в данной области. Растущая линейная функция по прибыли дает возможность агенту задачи стремиться к максимизации прибыли. Агент со спадающей линейной компонентой в зависимости от времени выполнения будет стремиться уменьшить продолжительность работы.

Функции доступности и ценовые функции агентов ресурсов Примеры задаваемых в сценариях функций доступности ресурсов. Ресурсы 1 и 2 доступны на всем горизонте. Тарифные функции ресурсов. Стоимость единицы времени ресурса 2 в 2 раза выше, чем у ресурса 1.

Функции удовлетворенности по загрузке агентов ресурсов Примеры задаваемых в сценариях компоненты удовлетворенности ресурсов. Слева показаны функции удовлетворенности ресурсов 1 и 2, которые максимальны после 50% загрузки. То есть в диапазоне 0 т 0 до 50% агенты ресурсов стремятся перетянуть на себя заказы, а после 50% — становятся безразличными. Функции могут быть заданы кусочно-линейным образом, иметь сложную форму в зависимости от постановки задачи.

Примеры сценариев Начальное состояние: В сцене представлено 2 ресурса: Ресурс № 1 (включен) и Ресурс № 2 (выключен) Прибывающие 4 задачи размещаются наилучшим образом на Ресурсе № 1 и их агенты удовлетворены своим состоянием (зеленая окраска) Средняя удовлетворенность после поступления 4 -х задач (для упрощения — без детализации приростов по каждой задаче в отдельности).

Примеры сценариев Объемная задача № 5 прибывает в момент времени, равный 5. Задача № 5 располагается на доступном ей месте на ресурсе № 1, слева от довольных своим положением задач. Однако агент задачи № 5 не доволен своим положением (красный цвет задачи) Средняя удовлетворенность после поступления 5 -й задачи.

Перестановка № 1. В течение процесса переговоров агент задачи № 5 пытается улучшить свое положение в расписании Агент задачи № 5 имеет достаточно виртуальных средств (“энергии”) для компенсации потерь агентам перемещаемых задач при ухудшении их положения. После такого сдвига агент задачи № 5 полностью удовлетворен своим новым положением в расписании (показан зеленым цветом). В то же время для агентов задач №№ 1, 4 состояние ухудшилось и удовлетворенность уменьшилась (желтый цвет). Примеры сценариев

Примеры сценариев Перестановка № 2. Система обнаруживает перегрузку ресурса 1 и включает ресурс 2. После того, как Ресурс 2 был включен, агенты задач № 1 и 4 в фазе проактивности нашли лучшее место на ресурсе 2. После перепланирования удовлетворенность этих агентов возросла (снова в зеленый цвет) Средняя удовлетворенность возрастает после перехода задач на 2 -й ресурс.

Примеры сценариев Перестановка № 3. Агенты задач № 2 и № 3 в фазе проактивности пытаются улучшить свое положение в расписании. Задача № 2 переходит на ресурс № 2, № 3, 1, 4 улучшают свои положения, затем состояние системы приходит к равновесию. Стабилизация средней удовлетворенности заказов после перепланирования задач на 2 -м ресурсе (укрупненно – без показа каждого шага улучшений).

Сессия переговоров выбранных агентов В процессе переговоров агенты обмениваются различными сообщениями согласно протоколам взаимодействий. Для каждого события может быть свой протокол общения, который выбирается в зависимости от ситуации.

Журнал финансовых транзакций В журнале финансовых транзакций отображается «оборотная ведомость» платежей агентов другу за те или иные операции, которые были осуществлены в процессе поиска решения.

Журнал переговоров агентов В журнале переговоров агентов можно наблюдать параметры всех сообщений, которые были отправлены в процессе нахождения решения: время отправки, тип сообщения, а так же отправителя и получателя.

Интерпретация в терминах сложных адаптивных систем 2016 Мультиагентные технологии для управления ресурсами в реальном времени

Наблюдение феноменов сложных систем В условиях постоянных изменений в реальном времени очень трудно оценить, насколько текущее решение далеко от «оптимального» ; Решение зависит от истории событий (чувствительность ко времени); «Эффект бабочки» : малые изменения на входе системы приводят к неожиданным для наблюдателя большим изменениям на выходе; Реакция системы может непредвиденно замедляться для наблюдателя в случае возникновения длинной цепочки изменений; При повторном запуске, при тех же самых входных данных решение на выходе может оказаться другим (трудно создать «те же самые» входные условия, когда система никогда не останавливается); В силу эволюционного подхода невозможно «откатить» решение назад, поскольку ситуация, как правило, непрерывно меняется; При доработке вручную случаются интересные «казусы» , если оператор не смог правильно оценить сложность ситуации и взаимные зависимости принятых и согласованных между собой агентами решений (оператор хочет отправить груз на конкретном грузовике – но тогда другие грузы «убегают» оттуда); Решение системы по прежнему трудно объяснить пользователю, поскольку оно формируется в процессе сотен и тысяч взаимодействий агентов ( «интерференция» влияний и «потеря каузальности» , т. е. причинно-следственных связей).

Открытость сложных систем Обмен веществом, энергией и информацией с внешней средой Динамическая реконфигурация (расширение или сужение) системы за счет внешних ресурсов в зависимости от ситуации в среде Приобретение новых знаний об окружающем мире Реорганизация внутренних связей на основе приходящих заказов (воздействий) или внутренних результатов анализа Высвобождение запасенной энергии для полномасштабной перестройки внутренней структуры, разрыв и установление новых связей Выход на пользователя или партнеров с встречными предложениями, продиктованными внутренними целями и задачами, предпочтениями и ограничениями

Диссипативность системы Изначально открыта на ячейках Бернара (продольные волны) и в реакции Белоусова-Жаботинского в химии (спиральные волны) Недостаточно успешные структуры разрушаются под действием времени Разрушение структур вновь выводит их членов на виртуальный рынок и заставляет искать новые (или вступать в те же самые!) рекомбинации Оплата налога на степень активности, переговоры, приоритетный статус, состояние в группе и др. Играет роль постоянно действующей провокации, позволяющей избежать жестких «объятий» прежних ситуаций, поскольку среда постоянно изменяется Диссипативные коэффициенты — мощный рычаг управления системой, можно легко менять налоги на разные компоненты или соотношения между ними

ЭИ как интеллектуальный резонатор Global structures change local interactions Local Interactions. Global Structures Local interactions form global structures

Agent of Order 1 Agent of workshop 1 Agent of Equipment 1 Company Agent of workshop 2 Agent of Equipment 3 Agent of Equipment 4 Agent of Equipment 5 Agents of Operations Agents of Operations- Level of Satisfaction: High — Level of Satisfaction: Middle — Level of Satisfaction: Low. Legend: • Lets assume that order 1 is allocated • Part of operations will be in workshop 1 and part in workshop 2 • Agents of Equipments are full of operations • But some of operations are not satisfied • But there is no chance to change positions • But now agent of order 2 is coming … • New allocation is changing situation • One of operations from Equipment 1 for order 1 can jump to workshop 2 • But then situation significantly change to other agents of operations for Equipment 1 • And then 2 other can leave … • Full reconstruction of schedule is started Order 2 is coming … + 0. 1/+0. 3+ 0. 2/+0. 3 + 0. 3/+0. 2 + 0. 3/+0. 7+ 0. 5/+0. 2+ 0. 5/+0. 7 + 0. 2/+0. 3 Пример катастрофы на основе автокаталитической реакции – как основа для развития ЭИ In the process of such “catastrophe” the structure of schedule can be significantly improved

Примеры контрольных сценариев для мира грузовиков Увеличим дистанцию между городами – надо увидеть, как вместо одного грузовика, придется послать два. Увеличим размер грузовика или изменим тип грузовика на более мощный – увидим, как часть заказов убежит, поскольку грузовик станет более дорогим. Добавим новый заказ или отзовем один из уже распределенных заказов – увидим, как другие заказы отреагируют и изменятся маршруты поездок грузовиков. Изменим цену на заправке или предпочтения водителей – увидим, как изменятся маршруты и расписания поездок. Сделаем водителя не доступным – увидим, как изменятся распределение грузов и маршруты движения грузовиков. Изменим период техосмотра – увидим изменения в расписании. Изменим критерии компании и попросим увеличить прибыльность на некоторых заявках или уменьшить риск – увидим, как расписание перестраивается Аналогично для других типов решений.

Эмерджентный интеллект: Ключевые проявления Chaos and Order : как сильно агенты удовлетворены или смотрят возможности переменить связь, в которой состоят; Complexity of problem solving : число взаимосвязанных решений, которые требуется принять для достижения нового равновесия (длина цепочки переговоров); Intelligence : Увеличение ценности решения для клиента в ответ на событие; Lost of causality : Степень влияния нового события на существующие связи между агентами ( «Камера Вильсона» ); Proactivity Level : какое число проактивностей было успешно на фоне реактивных цепочек; Оперативность : Как долго занимает по времени перейти из одного состояния – в другое; Переходный процесс : Время перехода из одного устойчивого равновесия в другое; Чувствительность к событиям : Какое изменение произвело событие; Степень обратимости решения : Зависимость решения от порядка прихода (следования) событий и т. д.

ПВ – сети и термодинамика Systems is open: новые заказы приносят новую энергию (деньги) в заранее не известыне моменты времени; System is dissipative: часть денег идет «на трение» и может возвращаться через инвестиции в трудные участки расписания; System is not-linear: небольшие изменения на входе спонтанно вызывают непропорционально большие изменения на выходе Smart Solutions Ltd, Dr. Petr Skobelev and Igor Mayorov

Not-Linear Thermodynamics of Scheduling Chaos and Order Catastrophes Entropy Flow of Energy Temperature Non-Linear Effects Bifurcations Unstable Equilibriums Open System

Нелинейная термодинамика планирвоания? Smart Solutions Ltd, Dr. Petr Skobelev and Igor Mayorov. Thermodynamics systems Multiagent systems Large quantity of small particles Large network of small simple agents Interactions by chemistry reactions Negotiations and decision making Local temperature Intensity of messages by agent in a region Energy Virtual money Molecular forces Links between agents Thermodynamic potentials Level of satisfaction for agents Chaos De-fragmented schedules with weak links Order Fully structured schedules with strong links Unstable equilibriums Balance of many interests of conflicting players Entropy increasing Taxes of virtual market Non-linearity Small events generate big changes in schedules Catastrophe Total re-construction of schedule Auto catalytic reactions Adaptive intelligence

Управление самоорганизацией: Guided –Self-Organizati on Autonomy of Agents Connectivity of Agents Strength of Agents Links Satisfaction of Agents Energy Level of Agents Tax Focus and Levels Guided self-organization призвана улучшить качество и эффективность планирования

Музыка самоорганизации При достижении консенсуса – выдается звук, отражающий уровень удовлетворенности системы; Используется 7 звуков ( «нот» ), различных по тональности; Удовлетворенность на каждом шаге нормализуется в диапазоне от 0 до 1; Временной интервал между звуками соответствует моментам времени поступления события и достижения консенсуса; Получается почти «мелодия» самоорганизации, которую никто не программировал! Следующий шаг – услышать каждого агента в процессе установления порядка или хаоса.

Примеры промышленных применений Другие применения

Первые промышленные проекты МАС (2000 -2008) Мультиагентная система для управления танкерами для компании Tankers International (UK); Мультиагентная система для управления грузовиками для компании GIST (UK); Мультиагентная система для управления такси для компании Addison Lee (UK); Мультиагентная система для управления сдачи машин в аренду для компании Avis (UK); Мультиагентная ситсема для управления курьерами City. Sprint (UK)

Проекты МАС второго поколения (2009 -2013) Аэрокосмический комплекс 2008 -2010 — Airbus/Университет г. Кёльна, Германии: моделирование процессов управления наземными сервисами аэропорта на основе RFID-чипов 2009 -2012 — РКК «Энергия» : Динамическое планирование программы полетов и грузопотока МКС, управление проектами НИР и ОКР, управление нештатными и аварийными ситуациями 2010 -2012 — РФФИ: Коллективное управление группировкой спутников (живучесть роя спутников) Машиностроение 2009 -2012: ЦСКБ-Прогресс (инициативный проект), Тяжмаш — внутрицеховое планирование, Ижевский мотозавод: полный цикл управления ресурсами в реальном времени в инструментальном цехе № 11 2011 -2012 — ОАО «Кузнецов» – контракт на разработку и поставку системы для сборочного цеха № 18 2012 – Выигран конкурс и заключен контракт с Минобрнауки РФ с ОАО «Кузнецов» , СГАУ и ОАО «ОБОРОНПРОМ» на адаптивную р2 р сеть планеров цехов 2012 – 2014 – EADS, Airbus, университеты Манчестера, Кельна, Праги, Карлсруе и др. : выигран IP грант в FP 7 программе и заключен контракт по теме Smart Factory «Адаптивное управление производством» (ARUM – Adaptive Rump-UP Production Management) 2012 – 2013 — ОАО «Авиа. Агрегат» – контракт на поставку для инструментального цеха № 50 Транспорт / мобильные бригады 2009 -2011: ТЭК «Рус. Глобал» , «Пролоджикс» , EI Tech (USA), Multi-Solutions (Finland), Kelli (China), «Лорри» , «Монополия» : Динамическое адаптивное планирование грузовиков на основе GPS навигации 2011 -2012 – Средне-Волжская газовая компания: управление аварийными бригадами службы газа 004 РЖД 2011 -2012: НИИАС: Возврат Сапсана к расписанию в случае непредвиденных событий 2012 -2013: НИИАС: Динамическое управление грузовыми РЖД перевозками (полигон «Восточный» ) Управление цепочками поставок 2011: LEGO: Управление производством, складами, доставками и продажами в сети магазинов в США 2012: Barlo. World: Моделирование цепочек поставок

Интерфейс пользователя МАС для управления грузовиками

Экран бронирования машины в МАС управления такси

Экран монитора выполнения заказа

МАС управления программой полета и грузопотока МКС Подход к построению МАС цеха Стыковки космических кораблей Внекорабельная деятельность Экспедиции и космонавты Комментарии и детализация Журнал переговоров агентов. Версии программы полетов с фильтром по статусу Порты МКС

Создание плана грузопотока Фильтр полетов Дерево грузопотока с иерархией систем и грузов Суммарные доставки по категориям. Заявки на доставку грузов

Расчет топлива Подход к построению МАС цеха. Доставка топлива Расход топлива Уровни мин. и макс. заполненности МКС

Планирование утилизации отходов Подход к построению МАС цеха Накопление отходов Утилизация (во время отстыковки корабля от МКС)

Баланс воды на МКС Подход к построению МАС цеха

Пример экранов МАС управления цехом

Внедрение в компании. Addison Lee (UK, London) В первые 3 месяца после внедрения были получены результаты: • Количество обработанных заказов увеличилось на 7% при том же флоте • Автоматически стали планироваться 98, 5% всех заказов; • Количество потерь заказов сократилось на 2% до 3, 5%; • Пустой пробег сократился на 22, 5%; • Улучшилась использование ресурсов: в среднем каждый борт стал выполнять по два дополнительных заказа каждую неделю за то же время и с теми же затратами топлива; • Прибыльность возросла на 4, 8%, при этом доходы водителей выросли на 9%, а также появилась возможность расширить флот; • Время реакции на срочный заказ (от заказа до прибытия борта) теперь 9 минут (лучшее время в Лондоне). Полная окупаемость проекта — около 6 месяцев от внедрения в штатную эксплуатацию Сюжет о данном проекте показан Первым каналом в программе «Время» о необходимости скорейшего внедрения ГЛОНАСС с показом интервью русских программистовв офисе Аддисон Ли в Лондоне в 2008 году Компания Аддисон Ли выдвинула разработанное решение на Национальную премию ORANGE ( «Оскар в бизнесе» ) в 2008 году и победила как «зеленое такси» !Примеры внедрений: Smart Taxi

Инструментальный цех «Аксион-Холдинга, ранее представлявший «черную дыру» предприятия, стал полностью прозрачным для руководства, исключены приписки и простои; Экономия от внедрения составляет не менее 1163 нормо-часов в месяц, или 7 чел-месяцев в месяц, что соответствует 84 * 40 т. р. = 3 360 000 руб. в год. (окупаемость за полгода) Принято решение по тиражированию системы в другие цеха. Система была признана «Лучшим программным продуктом 2011 в сфере автоматизированных систем управления» на XXII ежегодной выставке информационных и коммуникационных технологий Soft-tool – 2011 Smart Factory – примеры внедрений

Мультиагентная система «Smart Field Service» на международной выставке «Soft-Tool 2011» получила приз «Продукт года» в номинации «Самый технологичный Стартап года» Smart Services – примеры внедрений Сокращение времени реакции на непредвиденные события Повышение эффективности работы бригад на 40% (12 заказов вместо 7 в день) Поддержка гибкого планирования в реальном времени Сокращение ошибок диспетчеров Сокращение времени обучения новых диспетчеров

Будущее интеллектуальных систем управления ресурсами That Was Then This is Future Batch Optimizers Rules Engines Constraints Real-time Manage Trade-offs Decision-Making Logic Cost/value equation Visualize Learn, Simulate Adapt and Forecast

Перспективы развития Сетецентрический подход – на пути к системам систем: пример адаптивной р2 р сети планировщиков цехов

Будущее: сетецентрические системы на базе сетей планировщиков Сценарий 1: Производственный цех задерживается с производством изделия. Тогда транспорт, который запланирован на перевозку готового изделия клиенту, перепланируется, чтобы не стоять «у ворот» и не ждать производственный цех, и не терять деньги. Сценарий 2: Транспорт, который запланирован на перевозку готового изделия клиенту, опаздывает. Тогда цех перепланирует свою работу, и успевает дополнительно выполнить другой заказ, для которого важно выполниться как можно скорее. Enterprise Service Bus. Адаптивный планировщик производственного цеха Адаптивный планировщик транспортного цеха XML сообщения. Новое событие : задержка на производстве Новое событие : задержка на транспорте

Развитие многоуровневой сети мультиагентных планировщиков цехов Планировщик цеха 1 Планировщик цеха 2 Планировщи к цеха 3 Планировщик цеха 4 Планировщик цеха 5 Общая шина данных предприятия Планировщик группы 3 Планировщик группы 2 Планировщик группы 1 Стратегический планировщик Укрупненный план завода в целом по цехам на большой горизонт времени с учетом реальной загрузки цехов Детализированные точные помесячные планы по ДСЕ по цехам по дням, рабочим, оборудованию и операциям. Межцеховые планы поставок ДСЕ Сменно-суточное задание Пооперационный план на каждый день каждого рабочего Главного диспетчера завода Автоматизированное сменно-суточное задание с выдачей работ по мере исполнения

Обобщение: сетевая архитектура Замена одного планировщика на сеть взаимодействующих малых планировщиков (подразделений) Планировщики могут иметь возможности взаимодействия: • По географии регионов (Лондон-Манчестер) • По подборке систем (производственная и финансовая) • Другие принципы

Результаты решения

Результаты внедрения Решается сложная задача автоматизации производственного планирования, контроля и прогнозирования работы ресурсов; Повышается эффективность работы предприятия; Обеспечивается оперативная реакция на непредвиденные события в реальном времени; Работа становится более эффективной – работы планируются и реализуются на основе детального расчета, анализа и сопоставления вариантов; План работы является гибким и открытым к любым изменениям «на лету» , учитывающим индивидуальные особенности заказов и ресурсов; План гораздо лучше отражает реальность – поскольку корректируется в ходе ежедневного выполнения работ по факту; Обеспечивается полная прозрачность работы; Сокращается трудоемкость планирования, контроля и прогнозирования результата работы предприятий; Повышается дисциплина и ответственность за результат; Уменьшается человеческий фактор (ошибки, искажение данных и т. д. ); Создается платформа для роста бизнеса без увеличения численности персонала.

Опыт промышленных разработок и исследований в области новой теории сложности на основе мультиагентных технологий Книга Почетного профессора Открытого университета (Великобритания) Г. Ржевского и П. Скобелева. Издательство WIT-Press, продается на amazon. com: http: //www. amazon. com/Managing-Complexity-G-Rzevski/dp/184 5649362/ref=sr_1_3? s=books&ie=UTF 8&qid=1396421715&sr=1 -3&keywords=managing +complexity Сборник трудов 6 -й международной конференции по промышленным применениям холонических и мультиагентных систем Holo. MAS 2013 (Прага, Чехия), под редакцией В. Марека, Х. Мартинеса-Ластра и П. Скобелева. Издательство Springer Verlag, серия Lectures Notes in Computer Science, продается по заказам на сайте издательства: http: //link. springer. com/book/10. 1007%2 F 978 -3 -642 -40090 —

Выводы Мультиагентные технологии уже сегодня используются для построения промышленных интеллектуальных систем управления ресурсами предприятий в реальном времени; Разработанные мультиагентные технологии обеспечивают возможность перехода предприятий к экономике реального времени, позволяя поднять эффективность использования ресурсов до 10 -40%; Одновременно, мультиагентные технологии – новое очень большое и интересное поле для научных исследований в области создания самоорганизующихся и эволюционирующих систем «эмерджентного» ( «вспыхивающего» ) интеллекта; Результаты исследований и разработок говорят о перспективах мультиагентной технологии для создания интеллектуальных систем самого широкого круга применений.

Вопросы и ответы СПАСИБО ЗА ВНИМАНИЕ! Скобелев Петр Олегович, д. т. н. Основатель / Генеральный конструктор E-mail: skobelev@smartsolutions-123. ru Моб. : +7 (929) 702– 22 -00 Научно-производственная компания «Разумные решения» / «Smart Solutions» http: //www. smartsolutions-123. ru Адрес: Самара, 443013, Московское шоссе, 17 ТОЦ «Вертикаль» , офис 1201 (12 и 13 этаж) Телефон/факс: + 7 (846) 279 -37 -78 + 7 (846) 279 -37 -79 ПРИГЛАШАЕМ К СОТРУДНИЧЕСТВУ!Подписание партнерского контракта между НПК «Разумные решения» и корпорацией EADS, выступающей от лица консорциума компаний, включающих Airbus, университеты Манчестера, Кельна, Праги и др. , выигравшего IP проект в ФП 7 Программе “Smart Factory”. (IV-й Международный экономичес-кий форум, Самара, июль 2012)