МНОГОКОМПОНЕНТНЫЕ ПРОГРАММНЫЕ СРЕДСТВА (СИСТЕМЫ

МНОГОКОМПОНЕНТНЫЕ ПРОГРАММНЫЕ СРЕДСТВА (СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА) Лектор: к. т. н. , доцент каф. ВТ Русанова Ольга Александровна

СПИСОК РЕКОМЕНДОВАННОЙ ЛИТЕРАТУРЫ 1. Гаврилова, Т. А. , Хорошевский, В. Ф. Базы знаний интеллектуальных систем. – СПБ. : Питер, 384 стр. 2. Попов, Э. В. Справочник. Искусственный интеллект: в 3 кн. / под ред. Э. В. Попова. – М. : Радио и связь, 1990. – 1063 с. 3. Косарев, Ю. А. Естественная форма диалога с ЭВМ. Ю. А. Косарев, Ленинград, "Машиностроение", 1989, 143 с. 4. http: //speech-soft. ru/ 5. http: //www. speechpro. ru/ 6. Уинстон, П. Искусственный интеллект/ П. Уинстон. – М. : Мир, 1980 г. – 520 с. 7. Залманзан, Л. А. Преобразование Фурье, Уолша, Хаара и их применение в управлении, связи и других областях / Л. А. Залманзан. – М. : Наука, Гл. ред. физ. -мат. лит, 1989 – 496 с. 8. Wahlster, Wolfgang. Германский Исследовательский центр Искусственного интеллекта/ Wolfgang Wahlster – Гамбург, 2004. - режим доступа: http: // www. dfki. de~ wahlster

СПИСОК ЛАБОРАТОРНЫХ РАБОТ 1. Системы распознавания изображения. Декларативные и процедурные знания. Структурная схема системы распознавания изображения. Статистический анализ результатов распознавания. Оценка качества работы системы распознавания изображения. 2. Системы машинного перевода. Создание тестовых наборов перевода. Определение рассматриваемой системы по предложенной классификации. Оценка качества работы системы перевода. 3. Системы голосового управления. Настройка системы голосового управления под свой голос. Структурная схема системы распознавания речевого сигнала. Статистический анализ результатов распознавания. Оценка качества работы системы при распознавании команд и произвольного текста. 4. Синтез речи. Определение частоты основного тона. Синтез гласного, сонорного и шипящего звука. Компилятивный синтез.

ТРЕБОВАНИЯ К СОДЕРЖАНИЮ ОТЧЕТА ПО ЛАБОРАТОРНОЙ РАБОТЕ 1. Теоретические сведения о рассматриваемой области. 2. Структурная схема системы. Декларативные (формат и описание) и процедурные знания (список и описание). Движение информации внутри системы, ее формат. 3. Алгоритм одного из решающих правил. 4. Статистический анализ результатов распознавания. 5. Оценка качества работы системы (по предложенным вами критериям). Обосновать уместность используемых критериев. 6. Выводы по результатам. Предложения по улучшению работы системы. Оформление отчетов согласно стандарту предприятия!!!

СИСТЕМЫ ПЕРЕРАБОТКИ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ Существует Описание 3 этапа задач: анализ синтез v. Анализ v. Синтез обработка Изображение v. Обработка Описание может быть различных уровней общности: от указания номера или имени класса, к которому относится изображение, до характеристики сцены с указанием объектов и отношений между ними ( «понимание» изображения)

Задачи анализа • Распознавание рукописных или печатных знаков • Дешифрация аэрофотоснимков, снимков • Анализ сцен • Имитация визуальной обстановки на тренажерах • Геометрическое моделирование (напр. , САПР) Задачи синтеза • Объемные изображения: üДизайн в автомобиле-, самолетостроении üАрхитектура üПошив одежды • Картография • Интерактивная графика • Анимация СИСТЕМЫ ПЕРЕРАБОТКИ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ

• Результаты дистанционных исследований (геология, с/х, лесное хозяйство, состояние окружающей среды, метеорология, гидрология, океанография, картография и накопление картографических данных, слежение за объектами Задачи обработки на земной поверхности) • Биомедицинские данные (микробиология, цитология, рентгенология, ультразвукоскопия, инфраскопия, идентификация) • Материаловедение (обнаруживание дефектов, анализ и предсказание свойств материалов, структурный анализ) • Сборочные работы (машинное зрение роботов) • Системы ориентации и анализа обстановки в реальном времени СИСТЕМЫ ПЕРЕРАБОТКИ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ

Системы обработки изображений Основанные Интеллекту- Традиционные альные на знаниях малоинтел- спец. класс ЭС лектуальные СИСТЕМЫ ПЕРЕРАБОТКИ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ

АВТОМАТИЧЕСКИЕ СИСТЕМЫ ОБРАБОТКИ ИНФОРМАЦИИ (АСОИ) • Всегда проблемно-ориентированные; • содержат методы и средства обработки данных; • анализируют входную информацию; • позволяют вводить и обрабатывать различного типа данные, знания; • накапливать, хранить и отображать результаты; • организовывают взаимодействие с пользователем и другими системами. Процессор обработки изображений Коммуникационный Системный Система распре- процессор интерфейс деления ресурсов Процессор баз видеоданных Устройства Устройства обработки ввода-вывода (хранения) информации (область общей памяти), Базы видеоданных Blackboard СИСТЕМЫ ПЕРЕРАБОТКИ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ

АВТОМАТИЧЕСКИЕ СИСТЕМЫ ОБРАБОТКИ ИНФОРМАЦИИ (АСОИ) Рассмотренная АСОИ является интеграционной, v фильтрация, так как в ней происходит интеграция средств v вычисление площади обработки - объединение в системе различных объектов, универсальных иили специализированных v вычисление периметра, устройств, имеющих возможность параллельной v выполнение сегментации обработки данных. Процессор обработки численных расчетов внутренних обменов изображений Коммуникационный Системный Система распре- процессор интерфейс деления ресурсов Процессор баз видеоданных Устройства Устройства обработки ввода-вывода (хранения) информации Процессор Базы видеоданных интерфейса СИСТЕМЫ ПЕРЕРАБОТКИ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ

АВТОМАТИЧЕСКИЕ СИСТЕМЫ ОБРАБОТКИ ИНФОРМАЦИИ (АСОИ) Технология быстрого Могут быть снабжены: прототипирования v Полутоновыми, графическими, (Rapid Prototyping)— с стереоскопическими (3 D) ее помощью в устройствами отображения специальных 3 D информации; принтерах создать v Устройствами вывода на образцы любых твердые носители: бумагу, объектов, в том числе фотопленку, графопостроители, макеты зданий, твердые материалы. элементов сложных механизмов и много Развитие: другого. v. Создание библиотек программ, программных систем, предназначенных для решения конкретных задач; v. Создание эффективных систем хранения и поиска видеоданных (базы и банки видеоданных), причем видеоданные могут быть смешанными – содержать изображение и текст; v. Средства ведения БЗ о конкретной предметной области (обнаружение месторождения определенного типа на аэрофотоснимке) СИСТЕМЫ ПЕРЕРАБОТКИ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ

СИСТЕМЫ АНАЛИЗА ИЗОБРАЖЕНИЯ (САИ) 1. Распознавание объектов: локализация определенных объектов в поле изображения, измерение заданных параметров этих объектов, принятие решения по полученным результатам. v Медицинская диагностика – локализация участков изображения, Например: указывающая на отклонения от нормы, определение степени отклонения v Системы контроля за процессом (сгорание топлива в топке) v Системы локализации дефектов печатных плат 2. Содержательная интерпретация изображения (большинство САИ) v Системы управления роботом по входной информации v Интерпретация снимков v Анализ снимков и сопоставление с картой 3. Получение справочной информации в архивах видеоданных: выдача информации пользователю о наличии объекта определенного типа на изображении, его отношении к другим объектам. Запрос может быть текстовым описанием объекта или видеообразом. v Информационно-поисковая система в картографии, метеорологии, криминалистике

ОСНОВНЫЕ ФУНКЦИИ САИ 1. Хранение и поиск формализованных знаний экспертов предметной области, обработка изображений. Эксперты устанавливают факты, закономерности, количественные соотношения, видеоданные (эталоны, прототипы объектов). 2. Выполнение операций обработки изображения. Контрастирование, устранение шума, выделение контурных линий и т. д. 3. Выполнение операций логических выводов на основе формализованных знаний и результатов обработки видеоданных. Построение и проверка гипотез. 4. Анализ промежуточных результатов работы системы и принятие решений о дальнейших действиях, о невозможности решения задачи, необходимости дополнительной информации и т. д. 5. Анализ запросов пользователя, поддержка диалога, документирование действий системы и формирование пояснений пользователю. 6. Пополнение баз знаний и видеоданных системы новыми сведениями, данными. СИСТЕМЫ ПЕРЕРАБОТКИ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ

ОСНОВНЫЕ ФУНКЦИИ САИ часто реализуют на основе экспертных систем, и называют их Экспертные системы обработки изображения (ЭСАИ) ЭСАИ – комплекс технических и программных средств, обеспечивающий решение проблемно-ориентированных задач, требующих проведения и обработки и анализа видеоинформации, подобно экспертам в этой проблемной области. Предполагает активное использование формализованных знаний, проведение обработки и анализа изображений на основе 1 или нескольких моделей, адекватно отображающих процессы и взаимоотношения между реальными объектами предметной области. СИСТЕМЫ ПЕРЕРАБОТКИ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ

СТРУКТУРНАЯ СХЕМА ЭСАИ пользователь Блок управления и принятия решений Декларативные База знаний Подсистема знания Область хранения и общей обработки памяти изображений Процедурные знания Экспертная система Внешние данные СИСТЕМЫ ПЕРЕРАБОТКИ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ

СТРУКТУРНАЯ СХЕМА ЭСАИ Подсистема хранения и обработки изображения Содержит • Программные и аппаратные модули для выполнения операций над видеоданными, поиска изображений по текстовому или видеозапросу • Архив изображений Задача выделения контурных линий: v Подавление шума Например v Контрастирование v Применение градиентного оперетора для выделения границ v Отслеживание контурных линий, величина перепада яркости которых превышает заданный порог СИСТЕМЫ ПЕРЕРАБОТКИ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ

СТРУКТУРНАЯ СХЕМА ЭСАИ Декларативные знания Сведения об объектах, их составе, взаиморасположении, характере появления, описывает отношения между объектами Описание объектов: v Контекстное v Пространственные отношения v Визуальное объектов v Характеризующее повторяемость v Отношения сравнения объекта на сцене Маркировочная линия: v Дверь ниже дома Например На шоссе, v Разброс значений изображения Светлее фона, неба не превышает Повторяется 1 раз определенного порога СИСТЕМЫ ПЕРЕРАБОТКИ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ

СТРУКТУРНАЯ СХЕМА ЭСАИ Процедурные знания Действия и их последовательность, которую необходимо предпринять системе при выполнении определенных условий. Процедурные знания используются для двух функций: v Построение гипотез и выбор v Пополнение описания конкретных действий по сложившейся ситуации новыми преобразованию полученных фактами из БЗ результатов и переходу к другому состоянию решения задачи Процедурные знания представляются в виде правил: Условие: действие (последовательность действий) СИСТЕМЫ ПЕРЕРАБОТКИ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ

СТРУКТУРНАЯ СХЕМА ЭСАИ Область общей памяти (Blackboard) Реляционная БД, в которую записываются: v Промежуточные интерпретации участков изображения; v Установленные факты; v Количественные отношения и пр. ; v Пояснения действий пользователю, чтобы он мог оценить рациональность действий системы, выявить причину принятия именно такого решения. Блок управления и принятия решений Центр системы, выполняет функции: v Определяет состоятельность полученной интерпретации; v Генерирует гипотезы (о принадлежности к классам, возможности обнаружения объекта); v Раздает задания другим модулям системы; v Принимает окончательное решение. СИСТЕМЫ ПЕРЕРАБОТКИ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ

ПРОЦЕСС РЕШЕНИЯ ЗАДАЧИ СОДЕРЖАТЕЛЬНОЙ ИНТЕРПРЕТАЦИИ ИЗОБРАЖЕНИЯ 1. Предварительная сегментация изображения Консервативная (без использования Целенаправленная, то есть каких-либо знаний) используются знания, основанные Разбиение изображения на на моделях объектов однородные по яркости участки путем слияния областей 2. Получение интерпретации результатов v Измерение определенных параметров (например, площадь объектов с одинаковой яркостью); v Генерация гипотез(сопоставление результатов и информации из БЗ). 3. Запись в область общей памяти Когда изменений в области общей памяти нет – процесс интерпретации завершен СИСТЕМЫ ПЕРЕРАБОТКИ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ

ОТНОШЕНИЯ «ОБОБЩЕНИЕ-СПЕЦИФИКАЦИЯ» Это переход от примитивов (перепад яркости, однородные участки) к абстрактным понятиям (здание, дорога). Переход – иерархичный, его построение – ключевой момент восприятия. В ЭАСОИ используется 2 стратегии решения задачи содержательной интерпретации изображения: Управление сверху вниз, Управление снизу вверх, или управление целью, Объект или управление данными, или обратный вывод или прямой вывод Изображение СИСТЕМЫ ПЕРЕРАБОТКИ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ

МЕТОДЫ СЕГМЕНТАЦИИ ИЗОБРАЖЕНИЯ 1. Пороговые методы В область объединяются все элементы, значения критерия для которых превышает установленный для данной области порог 2. Методы наращивания областей Сначала выбираются некоторые точки-эталоны, затем к ним присоединяются наиболее похожие (по заданному критерию) соседние элементы 3. Методы аппроксимации На основе априорной информации Точки контурного перепада проверяется допустимость объединения аппроксимируются некоторой кривой элементов изображения в одну группу Для прямых линий – Для кривых линий – преобразование Хока, при котором коэффициенты разложения в ряд контурная входная псевдограница Фурье функции кривизны границы преобразуется в выходные области. Описывает углы, дуги, координаты уравнения прямых. прямые, разветвления, пересечения. СИСТЕМЫ ПЕРЕРАБОТКИ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ