Старший преподаватель ИБМТ БГУ Васильева Ирина Леонидовна Компьютерные

Старший преподаватель ИБМТ БГУ Васильева Ирина Леонидовна Компьютерные информационные технологии Тема 6. Технологии и системы искусственного интеллекта

Тема 6. Технологии и системы искусственного интеллекта Понятие искусственного интеллекта (ИИ) и этапы развития систем ИИ Математические модели и аппаратно-программная реализация систем ИИ Направления использования систем искусственного интеллекта Интеллектуальный анализ данных. Управление знаниями Системы поддержки решений (СППР) Экспертные системы

Основные понятия интеллект (intelligence) происходит от латинского intellectus — что означает ум, рассудок, разум, мыслительные способности человека. искусственный интеллект (artificial intelligence) — ИИ (AI) свойство автоматических систем брать на себя отдельные функции интеллекта человека

Основные понятия ИИ - это область научного знания, объединяющая различные направления, занимающиеся исследованиями принципов и закономерностей мыслительной деятельности и моделированием интеллектуальных задач

Задачи интеллектуальных систем распознавание ситуаций распознавание образов логический анализ планирование поведения игры управление в условиях неопределенности

Структура систем ИИ базы знаний (БЗ) и подсистемы извлечения знаний (ядро СИИ) подсистема формирования цели подсистема вывода на знаниях подсистема диалогового общения подсистема обработки внешней и внутренней информации подсистема обучения и самообучения подсистема контроля и диагностики

Этапы развития СИИ 1 этап. Создание ЭВМ, имитирующей процесс человеческого мышления (машина-персептрон американского физиолога Ф. Розенблатта ) 2 этап. Появление интегральных роботов, которые должны были выполнять определенные операции в технологических процессах, работать в опасных для человека средах 3 этап. Развитие ЭС. Медицинская диагностика, обучение, консультирование, проектирование, автоматическое программирование, проектирование сверхбольших интегральных схем, планирование в различных предметных областях и анализ данных, интерпретация геологических данных и выработка рекомендаций по обнаружению полезных ископаемых 4 этап. Нейронные сети. Нейтронные сети используются в медицинской диагностике, управлении самолетом, налоговых и почтовых службах и др. областях человеческой деятельности

Направления моделирования СИИ

Подходы к моделированию СИИ

Направления развития ИИ Нейрокибернетика Кибернетика «черного ящика» Ориентирована на аппаратное моделирование структур, подобных структуре человеческого мозга (нейронов) сосредоточены на создании элементов, аналогичных нейронам, и их объединении в функционирующие системы - нейронные сети Не имеет значения, как устроено «мыслящее» устройство, главное, чтобы на заданные входные воздействия оно реагировало так же, как человеческий мозг - поиски алгоритмов решения интеллектуальных задач на существующих моделях компьютеров

Понятие искусственной нейронной сети Искусственные нейронные сети (ИНС) – это математические модели и их программные или аппаратные реализации, построенные по принципу организации и функционирования биологических нейронных сетей ИНС используется когда неизвестны виды связей между входами и выходами. Для того чтобы сеть можно было применять в дальнейшем, ее надо «натренировать» на полученных ранее данных, для которых известны и значения входных параметров, и правильные ответы на них

Подходы к созданию ИНС аппаратный, ориентированный на создание специальных компьютеров, плат расширения, наборов микросхем, реализующих все необходимые алгоритмы программный, ориентированный на создание программ и инструментариев, рассчитанных на высокопроизводительные компьютеры. Сети создаются в памяти компьютера, всю работу выполняют его собственные процессоры гибридный - комбинация первых двух. Часть вычислений выполняют специальные платы расширения (сопроцессоры), часть – программные средства

Модели «черного ящика» модель лабиринтного поиска, представляет задачу как некоторый граф, отражающий пространство состояний, и в этом графе проводится поиск оптимального пути от входных данных к результирующим эвристическое программирование, разработка стратегии действий на основе известных, заранее заданных эвристик (правил, теоретически не обоснованных, но позволяющих сократить количество переборов в пространстве поиска)

Направления использования систем ИИ логические игры (шашки, шахматы) доказательство теорем кибернетические игрушки деловые или военные игры, имеющие большое прикладное значение распознавание образов и ситуаций машинный перевод робототехника экспертные и диагностические системы

Основные понятия Информация — совокупность сведений (полезная информация + + информационный мусор) об объекте, процессе или явлении, являющаяся объектом хранения, передачи, преобразования и помогающая решить поставленную задачу Полезная информация – набор сведений, уменьшающих степень неопределенности у их получателя Релевантная информация – полезная информация, полностью устраняющая степень неопределенности у получателя Информационный мусор – данные, не несущие полезной информации и многократно увеличивающие временные и прочие издержки пользователя на извлечение и обработку полезной информации. Данные – информация, характеризующая объекты, процессы, явления предметной области и их свойства, представленная в формализованном виде, предназначенная для хранения, передачи, приема и обработки

Основные понятия Анализ данных - действия, направленные на извлечение из них информации об исследуемом объекте и на получение по имеющимся данным новых данных Интеллектуальный анализ данных (ИАД) – анализ данных с активным использованием математических методов и алгоритмов (методы оптимизации, генетические алгоритмы, распознавание образов, статистические методы, Data Mining и т.д.), использующих результаты применения методов визуального представления данных

Общая схема ИАД

Стадии ИАД выявление закономерностей (свободный поиск) использование выявленных закономерностей для предсказания неизвестных значений (прогнозирование) анализ исключений для выявления и толкования аномалий в найденных закономерностях

Классификация методов ИАД по принципу работы с исходными данными Методы рассуждений на основе анализа прецедентов – исходные данные могут храниться в явном детализированном виде и непосредственно использоваться для прогнозирования и/или анализа исключений. Недостатком этой группы методов является сложность их использования на больших объемах данных Методы выявления и использования формализованных закономерностей, требующие извлечения информации из первичных данных и преобразования ее в некоторые формальные конструкции, вид которых зависит от конкретного метода

Примеры применение методов ИАД в финансах и маркетинге

Примеры применение методов ИАД в финансах и маркетинге

Примеры применение методов ИАД в финансах и маркетинге

Примеры задач, решаемые методами ИАД в банках получение отчетности банка и проверка ее полноты и корректности проведение группировки статей баланса и расчет экономических нормативов и аналитических коэффициентов (например, по методу CAMEL) оценка состояния банка по системе аналитических коэффициентов определение рейтинга банка анализ динамики основных показателей, выявление тенденций и прогнозирование состояния банка анализ степени влияния тех или иных факторов на состояние банка выработка рекомендаций по оптимизации банковского баланса и т.д.

Классификация систем ИАД исследовательские, ориентированные на специалистов и предназначенные для работы с новыми типами проблем прикладные, рассчитанные на аналитиков, менеджеров, технологов и т.д. решающие типовые задачи

Технологии ИАД Data Mining (DM)– это технология обнаружения в «сырых» данных ранее неизвестных нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности

Задачи, решаемые на основе технологии DM Классификация – отнесение объектов (наблюдений, событий) к одному из заранее известных классов Прогнозирование – процесс предсказания будущего состояния объекта или значений его характеристик на основе имеющихся ретроспективных данных Кластеризация – группировка объектов на основе данных, описывающих сущность этих объектов. Объекты внутри кластера должны обладать общими чертами и отличаться от объектов, вошедших в другие кластеры. Чем больше похожи объекты внутри кластера и чем больше отличий между кластерами, тем точнее кластеризация Ассоциация – выявление закономерностей между связанными событиями Последовательные шаблоны – установление закономерностей между связанными во времени событиями Анализ отклонений – выявление наиболее нехарактерных шаблонов

Программное обеспечение для реализации технологий Data Mining Poly Analyst Scenario 4 Thought MineSet и др.

Основные понятия Знание - проверенный общественной практикой логически полный ограниченный набор полезных сведений, который может многократно использоваться людьми для решения тех или иных задач. Такие сведения выражаются в системе понятий, принятой в рамках некоторой науки или производственной деятельности, и имеют стандартное представление

Классификация знаний поверхностные - знания о видимых взаимосвязях между отдельными событиями и фактами в предметной области глубинные - абстракции, аналогии, схемы, отображающие структуру и процессы в предметной области

Формулы понятий информация = данные + смысл знание = информация + сравнение Для хранения данных используются базы данных Для хранения знаний – базы знаний

Модели представления знаний

Основные понятия Управление знаниями (Knowledge Management) – это систематическое приобретение, синтез, обмен и использование опыта для достижения успеха в бизнесе или в управлении компанией Управление знаниями - процесс использования того, что известно людям, на новом уровне, с целью повышения потенциала компании через использование лучших решений, интеллектуального капитала или организационного обучения

Основные типы знаний Явные знания – знания, представленные в компании в виде должностных инструкций, регламентов и положений о деятельности подразделений, корпоративные стандарты и другое Технологии управления такими знаниями: комплексная организация (корпоративные архивы и таксономия[1]) создание систем обеспечения разграниченного доступа персонала компании к необходимым знаниям навигация в системе формальных знаний поиск необходимых формальных знаний [1] Таксономия – (от греч. taxis – строй, порядок, расположение по порядку и nomos – закон), теория классификации и систематизации сложноорганизованных областей действительности, имеющих обычно иерархическое строение

Основные типы знаний Неявные знания: эти знания нельзя увидеть, сложно задокументировать, передать их можно только посредством личного и непосредственного общения (чаще совместной работы). Могут содержаться в корпоративном хранилище данных (понимание конкретного корпоративного процесса, полученное в ходе ИАД скрытых структур, шаблонов или зависимостей) – для извлечения используются технологии ИИ и статистики Технологии извлечения и управления такими знаниями: экспертное интервью, проводимое инженером по знаниям с целью формализации знаний интервью при увольнении сотрудника с целью сохранения знаний обучающее интервью заполнение анкет и форм учета знаний формализация экспертных дискуссий (инженер по знаниям может преобразовать дискуссию, прошедшую на форуме или совещании в обучающую аннотацию или справку) наблюдение

Инструментарий управления знаниями система Portalware (компания Glyphica) Portal-in-a-Box, Content Server и др. (Autonomy) Plumtree Server (Plumtree Software) Hyperknowledge Builder (Hyperknowledge) Intraspect Knowledge Server 2.0 (Intraspect Software) Documentum Enterprise Document Management System – EDMS (Documentum) Livelink (Open Text) и др.

Системы бизнес-интеллекта (Business Intelligence, BI) Системы бизнес-интеллекта (Business Intelligence, BI) – класс ИС, которые позволяют преобразовать разрозненные и необработанные данные операционной деятельности предприятия в структурированную информацию и знания, используемые для принятия управленческих решений. В отличие от стандартных систем отчетности, BI-системы основаны на технологиях моделирования ситуации, поведения объектов и визуализации их деятельности и играют ключевую роль в процессе стратегического планирования деятельности корпорации. ВI-решения являются надстройкой к ERP-системе

Архитектура BI

Сегментация рынка BI OLAP-продукты Инструменты добычи данных Средства построения Хранилищ и Витрин данных (Data Warehousing) Управленческие информационные системы и приложения Инструменты конечного пользователя для выполнения запросов и построения отчетов Лидеры поставщиков корпоративных BI-платформ: MicroStrategy Business Objects Cognos Hyperion Solutions Microsoft Oracle SAP и др.

BI-системы на белорусском рынке Hyperion® System™ 9 (фирма EPAM) - объединяет платформу Business Intelligence с финансовыми приложениями в одну модульную систему. Внедрена на Белорусском металлургическом заводе (г. Жлобин), в концерне «Белнефтехим» Галактика Business Intelligence (фирма ТопСофт) – комплекс приложений для поддержки принятия решений в сбытовой деятельности. Внедрена в компаниях «British-American Tobacco» и «МАВ» (производство красок) Oracle Marketing analyst из Oracle BI Suite - глубокий анализ базы клиентов. Внедрения в телекоммуникационных компаниях, в банках

Определения СППР СППР - это интерактивные автоматизированные системы, помогающие лицу, принимающему решения (ЛПР), использовать данные, знания и модели для анализа и решения слабоструктуризированных проблем СППР - это система, которая обеспечивает пользователям доступ к данным и моделям с целью принятия наилучшего решения

Характеристики СППР СППР использует и данные, и модели поддерживает, а не заменяет, выработку решений может быть адаптирована для группового и индивидуального использования поддерживает 3 фазы процесса принятия решения: интеллектуальную часть, проектирование и выбор проста в использовании и модификации улучшает эффективность процесса принятия решений позволяет использовать накопленные знания и опыт

Архитектура СППР система управления данными (the data management system - DBMS), система управления моделями (the model management system – MBMS), машина знаний (the knowledge engine (KE)), интерфейс пользователя (the user interface) пользователи (the user(s)).

Этапы процесса принятия решения

Классификации СППР на уровне пользователя на концептуальном уровне на техническом уровне в зависимости от данных, с которыми работают системы

Классификация СППР на уровне пользователя Пассивные: помогают процессу принятия решения, но не могут вынести предложение, какое решение принять Активные: могут сделать предложение, какое решение следует выбрать Кооперативные СППР: позволяют ЛПР изменять, пополнять или улучшать решения, предлагаемые системой, посылая затем эти изменения в систему для проверки до тех пор пока не будет принято наилучшее решение

Классификация СППР на концептуальном уровне СППР, управляемые сообщениями: поддерживают группу пользователей, работающих над выполнением общей задачи СППР, управляемые данными: в основном ориентируются на доступ и манипуляции с данными СППР, управляемые документами: управляют, осуществляют поиск и манипулируют неструктурированной информацией, заданной в различных форматах СППР, управляемые знаниями: обеспечивают решение задач в виде фактов, правил, процедур СППР, управляемые моделями: доступ и манипуляции с математическими моделями (статистическими, финансовыми, оптимизационными, имитационными)

Классификация СППР на техническом уровне СППР всего предприятия: подключены к большим хранилищам информации и обслуживает многих менеджеров предприятия настольные СППР: малые системы, обслуживающие лишь один компьютер пользователя

Классификация СППР в зависимости от данных Оперативные: предназначены для немедленного реагирования на изменения текущей ситуации в управлении финансово-хозяйственными процессами компании (информационные системы руководства) Стратегические: ориентированы на анализ значительных объемов разнородной информации, собираемых из различных источников (ОLAP-системы)

Понятие ЭС Экспертные системы (ЭС) - это сложные программные комплексы, аккумулирующие знания специалистов в конкретных предметных областях и тиражирующие этот эмпирический опыт для консультаций менее квалифицированных пользователей ЭС - это система ИИ, которая включает в себя базу знаний с набором правил и механизмом вывода, позволяющую на основании этих правил и предоставляемых пользователем фактов распознавать ситуацию, ставить диагноз, формулировать решение или давать рекомендации для выбора действия

Назначение ЭС ЭС предназначены для решения неформализованных задач, обладающих одной или несколькими из следующих характеристик: не могут быть заданы в числовой форме цели не могут быть выражены в терминах точно определенной целевой функции не существует алгоритмического решения задач алгоритмическое решение существует, но его нельзя использовать из-за ограниченности ресурсов (время, память) Неформализованные задачи характеризуются: ошибочностью, неоднозначностью неполнотой и противоречивостью исходных данных, знаний о проблемной области и решаемой задаче большой размерностью пространства решения, т.е. перебор при поиске решения весьма велик динамически изменяющимися данными и знаниями

Классификация ЭС

Структура статической ЭС

Структура ЭС Интерфейс пользователя – комплекс программ, реализующих диалог пользователя с ЭС как на стадии ввода информации, так и получения результатов База знаний (БЗ) – ядро ЭС, совокупность знаний предметной области, записанная на машинный носитель в форме, понятной эксперту и пользователю (обычно на некотором языке, приближенном к естественному) Решатель (блок логического вывода) – программа, моделирующая ход рассуждений эксперта на основании знаний, имеющихся в БЗ Подсистема объяснений – программа, позволяющая пользователю получить ответы на вопросы; «Как была получена та или иная рекомендация?» и «Почему система приняла такое решение?» Интеллектуальный редактор (алгоритмические методы решения) – программа, представляющая инженеру по знаниям возможность создавать БЗ в диалоговом режиме. Включает в себя систему вложенных меню, шаблонов языка представления знаний, подсказок («help» - режим) и других сервисных средств, облегчающих работу с базой знаний

Коллектив разработчиков и пользователей ЭС - эксперт инженер по знаниям программист пользователь Инженер по знаниям, это ключевая фигура при разработке систем, основанных на знаниях

Коллектив разработчиков и пользователей ЭС Инженер по знаниям (аналитик) – специалист, как правило, знающий правила построения экспертной системы, организует знания, помогает программисту в написании программ Эксперт - это опытный человек, способный ясно выражать свои мысли, пользующийся репутацией специалиста в данной предметной области, умеющий находить правильные решения в конкретной ситуации Пользователь – специалист предметной области, для которого предназначена система, он нуждается в помощи и поддержке своей деятельности со стороны ЭС

Классификация ЭС по типу решаемой задачи

Классификация ЭС по типу решаемой задачи

Примеры крупномасштабных ЭС MICIN — экспертная система для медицинской диагностики. Ставит соответствующий диагноз, исходя из представленных ей симптомов, и рекомендует курс медикаментозного лечения любой из диагностированных инфекций. База данных состоит из 450 правил. PUFF — анализ нарушения дыхания. Данная система представляет собой MICIN, из которой удалили данные по инфекциям и вставили данные о легочных заболеваниях. DENDRAL — распознавание химических структур. Пользователь дает системе DENDRAL некоторую информацию о веществе, а также данные спектрометрии (инфракрасной, ядерного магнитного резонанса и масс-спектрометрии), и та в свою очередь выдает диагноз в виде соответствующей химической структуры PROSPECTOR — экспертная система, созданная для содействия поиску коммерчески оправданных месторождений полезных ископаемых

Продолжение следует  ? Ваши вопросы? Ваши пожелания? Старший преподаватель ИБМТ БГУ Васильева Ирина Леонидовна

Спасибо за внимание!