Ин. яз. им. М. Тореза Новые информационные технологии

Ин. яз. им. М. Тореза Новые информационные технологии Харламов Александрович © 2012 МГЛУ

Лекция № 2. 1. Основные классы естественно-языковых систем. Классификация естественноязыковых систем

Новые информационные технологии 1. 2. 3. 4. Обработка знаний человеком Основные классы естественно-языковых систем Лингвистический процессор Демонстрация систем 3

Основные классы естественноязыковых систем Основные классы систем общения с ЭВМ, включающие в свой состав естественно-языковые системы 4

Основные классы естественноязыковых систем 2. 1. Основные классы естественноязыковых систем 2. 2. Функциональные компоненты естественно-языковых систем 2. 3. Сравнительная характеристика основных классов естественноязыковых систем 4

Основные классы естественноязыковых систем - Наряду с реальным миром компьютеры и Сеть составляют виртуальный мир человека - Необходимо преодолеть языковой барьер в общении человека с машиной - Обучение ЭВМ естественному языку – задача, связанная с проникновением в законы мышления и языка 5

Основные классы естественноязыковых систем - В первую очередь это связано с моделированием языкового поведения человека, т. е. с построением функциональной модели естественного языка и выяснением условий ее функционирования - Естественный язык служит человеку для выражения своих мыслей и для понимания мыслей других людей - Первому виду языковой деятельности соответствует синтез ЕЯ текстов, второму – понимание ЕЯ текстов 6

Основные классы естественноязыковых систем - В исследованиях по искусственному интеллекту сформировалось направление, получившее название «обработка естественного языка» - Задачей этого направления является исследование методов и разработка систем, обеспечивающих реализацию процесса общения с компьютерными системами на естественном языке 7

Основные классы естественноязыковых систем - Сложность создания средств естественноязыкового общения, предназначенных для общения пользователей с ЭВМ, обусловлена в значительной степени отсутствием единой теории языкового общения, охватывающей все аспекты взаимодействия коммуникантов 8

Основные классы естественноязыковых систем - Проблематика естественно-языкового общения, находится на стыке многих наук: лингвистики, психологии, нейрофизиологии, логики и философии - Эти науки исследуют отдельные аспекты процесса общения - Научное направление «Искусственный интеллект» и в рамках этого направления дисциплина нейроинформатика, моделирует все или, по крайней мере, основные аспекты естественно-языкового общения 9

Основные классы естественноязыковых систем: - средства, обеспечивающие ЕЯ интерфейс к базам данных - средства ЕЯ поиска в текстах и обработки текстовой информации - средства распознавания речи - средства голосового ввода, управления и сбора данных - средства понимания речи и текстов - средства синтеза речи и текстов - компоненты искусственноинтеллектуальных систем - онтологии и тезаурусы - речевые базы и базы текстов 10

Основные классы естественноязыковых систем Средства, обеспечивающие ЕЯ интерфейс к базам данных (имеющих четкую заранее известную структуру) преобразуют естественно-языковые запросы пользователя в запросы к базам данных 11

Основные классы естественноязыковых систем Средства естественно-языкового поиска в текстах и обработки текстовой информации (информационно-поисковые системы) осуществляют по запросам пользователей поиск и фильтрацию текстовой информации в неструктурированных текстах, оформленных в соответствии с правилами грамматики естественного языка 12

Основные классы естественноязыковых систем Средства распознавания речи распознают голосовую (речевую) информацию и преобразуют ее в последовательность символов 13

Основные классы естественноязыковых систем Средства голосового ввода, управления и сбора данных предназначены для ввода голосовых команд, управляющих работой некоторой системы (например бытовой техникой) 14

Основные классы естественноязыковых систем Системы типа «Речь-текст» предназначены для распознавания слитной речи (например для диктовки деловой корреспонденции) 14

Основные классы естественноязыковых систем Средства понимания речи и текстов восстанавливают смысловую структуру текста, или речевого сообщения его содержащего 15

Основные классы естественноязыковых систем Средства синтеза речи и текстов осуществляют формирование корректного текста по его смысловой структуре, и синтез речи по тексту. Сюда же можно отнести средства клонирования голоса 16

Основные классы естественноязыковых систем Компоненты искусственноинтеллектуальных систем предназначены для использования в искусственно-интеллектуальных приложениях, в которые необходимо добавить возможности распознавания и синтеза речи, а также – анализа текстов 17

Основные классы естественноязыковых систем Онтологии и тезаурусы используются в качестве источников знаний верхних уровней в системах распознавания речи и анализа текстов 18

Основные классы естественноязыковых систем Речевые базы и базы текстов служат для обучения систем распознавания речи и анализа текстов, соответственно 19

Основные классы систем общения с ЭВМ, включающие в свой состав ЕЯсистемы - Интеллектуальные вопросноответные системы, в том числе: - Информационно-поисковые системы - Системы общения с базами данных - Экспертные системы - Диалоговые системы решения задач - Интеллектуальные хранилища и цифровые библиотеки 20

Основные классы систем общения с ЭВМ, включающие в свой состав ЕЯсистемы - Системы обработки связных текстов (речи), в том числе: - Системы реферирования ЕЯ информации - Системы сравнения (классификации) ЕЯ информации - Системы кластеризаци ЕЯ информации 21

Основные классы систем общения с ЭВМ, включающие в свой состав ЕЯсистемы - Системы распознавания речи, в том числе: - Средства голосового ввода, управления - Системы распознавания слитной речи 22

Основные классы систем общения с ЭВМ, включающие в свой состав ЕЯсистемы - Системы синтеза речи, текста - Средства синтеза видеоряда по тексту - Системы понимания речи (текстов) - Системы машинного перевода - Интегральные роботы 23

Основные классы систем общения с ЭВМ, включающие в свой состав ЕЯсистемы (по степени их интеллектуализации) Интеллектуальность приложений на основе ЕЯ-систем определяется функциональными возможностями включенных в них ЕЯ-систем, и в первую очередь, использованием верхних уровней представления лингвистической информации – семантики и прагматики 24

Основные классы систем общения с ЭВМ, включающие в свой состав ЕЯсистемы Интеллектуальные вопросноответные системы - ЕЯ-системы происходят от информационно-поисковых систем и систем машинного перевода - Они осуществляют перевод ЕЯвысказываний, относящихся к узким и заранее фиксированным предметным областям, в формальное представление, а также обратный перевод 25

Основные классы систем общения с ЭВМ, включающие в свой состав ЕЯсистемы Системы общения с базами данных - Обеспечение доступа к информации, хранящейся в БД, широкому классу неподготовленных пользователей - Выполнение перевода запросов конечных пользователей с ЕЯ на формализованные языки запросов к БД 26

Основные классы систем общения с ЭВМ, включающие в свой состав ЕЯсистемы Диалоговые системы решения задач - Функции интеллектуального монитора, обеспечивающего решение заранее определенных классов задач - Основным направлением практического использования диалоговых систем является реализация ЕЯ-общения с экспертными системами, call-центры 27

Основные классы систем общения с ЭВМ, включающие в свой состав ЕЯсистемы Интеллектуальные хранилища и цифровые библиотеки - Специальные средства адаптации к пользователю - Аналитические средства для увеличения возможностей пользователя: автоматическое реферирование текста, автоматическое сравнение и классификация текстов 28

Основные классы систем общения с ЭВМ, включающие в свой состав ЕЯсистемы Системы обработки связных текстов - Возрастание объема хранимой в ЭВМ текстовой информации - Необходимость извлечения из нее разнообразных сведений 29

Основные классы систем общения с ЭВМ, включающие в свой состав ЕЯсистемы Системы контекстного машинного перевода - Понимание смысла всего текста в целом (в отличие от анализа семантики отдельного предложения в системах фразового перевода) - Синтезируется текст на выходном языке на основе смысловой схемы, полученной в результате анализа текста на входном языке 30

Основные классы систем общения с ЭВМ, включающие в свой состав ЕЯсистемы Интегральные роботы - Включают средства ЕЯ-общения (в том числе - диалога) - Содержат подсистемы распознавания образов, навигации и управления движением - Используют модель мира 31

Функциональные компоненты естественно-языковых систем 34

Функциональные компоненты естественно-языковых систем: - Ведение диалога – прагматика постановки задачи - Модель мира – семантика постановки задачи – внутреннее представление знаний о мире - Понимание - преобразование поступающих от пользователя высказываний на естественном языке в высказывания на языке внутреннего представления 32

Функциональные компоненты естественно-языковых систем: - Обработка высказываний формирование или определение заданий на решение задач на данном шаге диалога - Генерация - формирование выходных высказываний на естественном языке 33

Диалог человека и машины Существует два типа таких систем Системы первого типа ведут человека, следуя четкому порядку заполнения определенных форм. Примером такой системы может стать заказ билетов. В каждом из состояний система настраивается на распознавание заранее приготовленных атрибутов, допуская варианты возврата к предыдущему шагу или выходу из системы В системах второго типа человеку отводится роль собеседника, который может сам проявлять интерес к разным аспектам информации, задавая любые вопросы. 4

Диалог человека и машины Общая блок-схема ориентированной на задачу системы речевого диалога 3

Уровни представления лингвистической и экстралингвистической информации (снизу вверх) прагматический семантический синтаксический лексический морфологический акустико-фонетический 35

Сравнительная характеристика основных классов естественноязыковых систем Уровни представления информации (функции) Классы ЕЯ систем Синтаксический Акустикофонетический Морфологический Модель мира Прагматический Сравнение (классификация) Лексический 36

ИВНД и НФ РАН Системы общения с базами данных Уровни представления информации (функции) Классы ЕЯ систем Синтаксический Акустикофонетический Морфологический + Прагматический - + - Сравнение (классификация) Лексический + Модель мира Вопросно-ответные системы - + Интеллектуальные хранилища 49

Сравнительная характеристика основных классов естественноязыковых систем - Интеллектуальные вопросноответные системы, в том числе: - Информационно-поисковые системы - Системы общения с базами данных - Экспертные системы - Диалоговые системы решения задач - Интеллектуальные хранилища и цифровые библиотеки 36

Основные классы естественноязыковых системы - Системы распознавания речи, в том числе: - Системы распознавания изолированно произносимых команд - Системы распознавания ключевых слов в потоке слитной речи - Подход «анализ-через-синтез» - Системы распознавания слитной речи - Системы чтения по губам 37

Основные классы естественноязыковых системы - Системы обработки связных текстов (речи), в том числе: - Системы реферирования ЕЯинформации - Системы сравнения (классификации) ЕЯ-информации - Системы кластеризаци ЕЯинформации 38

Основные классы естественноязыковых системы - Системы синтеза, в том числе: - Системы синтеза речи - Системы синтеза текста - Системы клонирования голоса - Средства синтеза видеоряда по тексту 39

Основные классы естественноязыковых системы - Системы понимания речи - Системы понимания текстов - Системы машинного перевода - Речевые и текстовые базы - Онтологии и тезаурусы 40