Friendly software should listen and speak Вопросно-ответные

Friendly software should listen and speak … Вопросно-ответные системы Анатолий Никитин гр. 3539 Павел Райков гр. 3539 1

План l l l Введение QA-система Start Статистические техники для анализа естественного языка Восстановление смысловых связей Ссылки 2

Введение 3

Вопросно-ответные системы Определение l Вопросно-ответная система: l l информационная система l Поисковая l Справочная l Интеллектуальная использует естественно-языковой интерфейс 4

Источники информации l Сеть Интернет l l Проблема доступа к внешним ресурсам Локальное хранилище l Необходимость хранения локальной копии информации 5

История и области применения QA-систем l l 1960 -е гг. – первые QA-системы l Использовались как естественно-языковые оболочки для экспертных систем Современные QA-системы: l Узкоспециализированные (closed-domain) l Области применения: § § § l l l Медицина Автомобили Справочная информация Японцы … Требования к точности ответов Составление онтологий для предметных областей Общие (open-domain) l l Универсальность Наиболее известная система – Start (1993 г. ) 6

Архитектура QA-системы Вопрос Анализатор вопросов Методы обработки естественных языков (NLP) Поиск документов Фильтрация Генератор ответов Ответ 7

Проблемы l l l Типы вопросов Обработка вопросов Контекстные вопросы Источники знаний для QA-систем Выделение ответов Формулировка ответа Ответы на вопросы в реальном времени Многоязыковые запросы Интерактивность Механизм рассуждений (вывода) Профили пользователей QA-систем 8

Вопросно-ответная система Start 9

QA-система Start. l l l http: //start. csail. mit. edu Создана в MIT Artificial Intelligence Laboratory в 1993 году под руководством Boris Katz Универсальная Использует английский язык Источники знаний: l l l локальное хранилище (База Знаний) сеть Интернет Основания системы Start: l l Применение особых методов NLP, разработанных специально для системы Start Идея создания аннотаций на естественных языках к блокам информации 10

Start. Виды вопросов l Вопросы об определениях: l l Вопросы о фактах: l l What country is bigger, Russia or USA? Списковые запросы: l l Who invented the telegraph? Вопросы об отношениях: l l What is a fractal? Show me some poems by Alexander Pushkin … 11

Start. Примеры вопросов География 1. • • • Give me the states that border Colorado. What's the largest city in Florida? Show me a map of Denmark List some large cities in Argentina Which is deeper, the Baltic Sea or the North Sea? Show the capital of the 2 nd largest country in Asia Искусство 2. • • • When was Beethoven born? Who composed the opera Semiramide? What movies has Dustin Hoffman been in? 12

Start. Примеры вопросов Наука и справочная информация 3. • • • What is Jupiter's atmosphere made of? Why is the sky blue? Convert 100 dollars into Euros How is the weather in Boston today? How far is Neptune from the sun? Show me a metro map of Moscow. История и культура 4. • • What countries speak Spanish? Who was the fifth president of the United States? What languages are spoken in the most populous country in Africa? How many people live on Earth? 13

Start. База знаний doc 1 doc 2 doc 3 Parser База Знаний Generator text doc 4 14

Start. База знаний l Состоит из 3 -х частей: l l l Тернарные выражения (T-выражения) Синтаксические/семантические правила вывода (S-правила) Каталог слов (Лексикон) 15

Start. Тернарные выражения l l T-выражения – это выражения вида <объект отношение субъект> В качестве объекта/субъекта одного T-выражения могут выступать другие T-выражения Прилагательные, притяжательные местоимения, предлоги и другие части предложения используются для создания дополнительных T-выражений Остальные атрибуты предложения (артикли, времена глаголов, наречия, вспомогательные глаголы, знаки препинания и т. д. ) хранятся в специальной структуре History, связанной с T-выражением. 16

Start. Пример T-выражения “Bill surprised Hillary with his answer” Parser < with answer> 17

Start. Обработка запросов с помощью T-выражений “Whom did Bill surprise with his answer? ” Анализатор вопросов “Bill surprised whom with his answer? ” Parser < with answer> База Знаний Whom = Hillary < with answer> Генератор “Bill surprised Hillary with his answer” 18

Start. Обработка запросов с помощью T-выражений “Did Bill surprise with his answer? ” Анализатор вопросов “Bill surprised Hillary with his answer? ” Parser < with answer> База Знаний Yes! Генератор “Yes, Bill surprised Hillary with his answer” 19

Т-выражения vs. ключевые слова l l l The bird ate the young snake The snake ate the young bird The meaning of life A meaningful life The bank of the river The bank near the river 20

Т-выражения vs. ключевые слова l Ключевые слова: l l l Утрачивается информация о смысловых связях между словами Тексты сравниваются не со семантическим признакам, а по статистическим характеристикам ключевых слов T-выражения: l l l Отражают порядок слов в предложении и смысловые связи между ними Выразительной силы T-выражений достаточно для составления аннотаций на естественных языках Эффективны при индексировании 21

What do frogs eat? l Поиск, основанный на T-выражениях выдал 6 ответов, из которых 3 правильных: l l Adult frogs eat mainly insects and other small animals, including earthworms, minnows, and spiders One group of South American frogs feeds mainly on other frogs Frogs eat many other animals, including spiders, flies, and worms … 22

What do frogs eat? l Поиск, основанный на ключевых словах, выдал 33 результата, в которых также встречались ответы на вопрос “What eats frog? ” и просто совпадения слов “eat” и “frog”: l l l Bowfins eat mainly other fish, frogs, and crayfish Cranes eat a variety of foods, including frogs, fishes, birds, and various small mammals. … 23

Start. S-правила Проблема: “Bill’s answer surprised Hillary” = “Bill surprised Hillary with his answer” Parser = < with answer> Решение: S-правило Surprise < with n 3> Where ni € Nouns 24

Start. S-правила l l l S-правила описывают лингвистические вариации: Лексические l Синонимы Морфологические l Однокоренные слова Синтаксические l Инверсии l Активный/пассивный залог l Притяжательные прилагательные Также используются для описания логических импликаций 25

Start. S-правила. Примеры S-правило Sell-Buy < to n 3> < from n 1> Where ni € Nouns S-правило Kill-Die Where ni € Nouns 26

Start. S-правила l Некоторые S-правила могут использоваться в 2 -х направлениях: l в прямом l l при пополнении базы знаний новыми Tвыражениями в обратном l при обработке запроса пользователя 27

Start. Лексикон l l Некоторые S-правила применимы к группам слов В Лексиконе содержатся перечень слов языка, причем для каждого слова указан список групп, к которым оно относится S-правило ERV < with n 3> Where ni € Nouns and v € emotional-reaction-verbs 28

Word. Net l l l Семантический лексикон английского языка Состоит из синсетов (смыслов) Синсет: l l несколько синонимичных слов описание значения Одно слово – несколько синсетов (значений) 150 000 слов, 115 000 синсетов, 207 000 пар «слово – синсет» 29

Word. Net. Семантические отношения между синсетами l Существительные l l l Гиперонимы: Y – гипероним X, если X – разновидность Y Гипонимы: Y – гипоним X, если Y – разновидность X Равные по рангу: X и Y равны по рангу, если у них общий гипероним Голонимы: Y – голоним X, если X – часть Y Меронимы: Y – мероним X, если Y – часть X 30

Word. Net. Семантические отношения между синсетами l Глаголы l l Двигаться – гипероним Бегать Шептать – гипоним Говорить Спать – следование Храпеть Ходить – равный по рангу Бегать 31

Start. Word. Net l Word. Net используется в системе Start при поиске совпадения с T-выражениями l l l Пусть в базе есть T-выражение Canary – гипоним Bird На вопрос: “Can canary fly? ” Start ответит “Yes” 32

Start. Omnibase l l «Универсальная база» Используется для выполнения запросов о фактах Модель «объект-свойство-значение» Пример: “Federico Fellini is a director of La Strada” l l Объект: La Strada Свойство: director Значение: Federico Fellini Каждому объекту сопоставлен источник данных (data source): l Star Wars imdb-movie 33

Start. Omnibase. Примеры Вопрос Объект Свойство Значение Who wrote the music for Star Wars? Star Wars Composer John Williams Who invented dynamite? Dynamite Inventor Alfred Nobel How big is Costa Rica? Costa Rica Area 51, 100 sq. km How many people live in Kiribati? Kiribati Population 94, 149 What languages are Guernsey spoken in Guernsey? Languages English, French Show me paintings by Monet Works [images] Monet 34

Start. Omnibase. Пример запроса “Who directed gone with the wind? ” Start Анализ вопроса “Who directed X? ”, X = “Gone with the wind” Omnibase Генерация запроса “Gone with the wind” Каталог объектов imdb-movie (get “imdb-movie” “Gone with the Wind” “Director”) Выполнение запроса «обертка» imdb-movie “Victor Fleming” Генерация ответа “Victor Fleming directed Gone with the wind” 35

Start. Omnibase l Преимущества: l l l Единый формат запросов к базе Естественность использования модели «объект-свойство-значение» Недостатки: l Необходимость написания «обертки» для каждого источника данных 36

Start. Список внешних источников данных l l l l Wikipedia The World Factbook 2006 Google Yahoo The Internet Movie Database Internet Public Library The Poetry Archives Biography. com Merriam-Webster Dictionary World. Book Infoplease. com Metropla. net Weather. com 37

Семантическая паутина l l l Новая концепция развития сети Интернет Проблема машинного анализа информации, размещенной в Сети Вся информация в Сети должна размещаться на двух языках: l l l Человеческом Компьютерном Для создания компьютерного описания ресурса используется формат RDF (Resource Description Framework), основанный на: l l Формат XML Триплеты «Объект – Отношение – Субъект» 38

Start. Natural Language Annotations l l l Предлагается к каждому информационному блоку составлять аннотацию на естественном языке Компромисс между машинно-читаемым и естественным описанием информации В базе знаний хранятся только аннотации с прикрепленными ссылками на источники Эффективная организация доступа к информации произвольного типа: l Тексты l Изображения l Мультимедиа l Базы данных l Процедуры Аннотации могут быть параметризованы 39

Start. Natural Language Annotations l Внедрение аннотаций: l l l Добавление аннотаций в RDF описания документов Использование параметризованных аннотаций (схем доступа к информации) Использование схем поиска ответов 40

Start. Добавление аннотаций l l l How many people live in Kiribati? What is the population of the Bahamas? Tell me Guam’s population. 41

Start. Добавление аннотаций 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. A Country in the CIA Factbook 42

Start. Параметризованные аннотации l l What is the country in Africa with the largest area? Tell me what Asian country has the highest population density. What country in Europe has the lowest infant mortality rate? What is the most populated South American country? 43

Start. Параметризованные аннотации 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. what country in $region has the largest $attribute ? x a : Country ? x map($attribute) ? val ? x : location $region display(boundto(? x, max(? val))) : population : area. . . 44

Start. Параметризованные аннотации l l l Is Canada’s coastline longer than Russia’s coastline? Which country has the larger population, Germany or Japan? Is Nigeria’s population bigger than that of South Africa? 45

Start. Параметризованные аннотации 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. $country-1’s $att is larger than $country-2’s $att ? x a : Country ? x map($att) ? val-1 ? y a : Country ? y map($att) ? val-2 display(gt(? val-1, ? val-2))) : population : area. . . 46

Start. Схема поиска ответа l l What is the distance from Japan to South Korea? How far is the United States from Russia? What’s the distance between Germany and England? План ответа на такой вопрос: l l l Найти столицу одной страны Найти столицу другой страны Вычислить расстояние между ними 47

Start. Схема поиска ответа 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. distance between $country 1 and $country 2 what is the capital of $country 1 : = ? capital 1 what is the capital of $country 1 : = ? capital 2 what is the distance between ? capital 1 and ? capital 2 : = ? distance display(? distance) 48

Start. Natural Language Annotations l Преимущества: l l l Описание информации на универсальном, естественном языке Одна параметризованная аннотация может обрабатывать сотни вопросов Автоматизация процесса составления аннотаций Запросы к Omnibase также описываются с помощью аннотаций Недостатки: l сложность внедрения 49

Start. Схема работы вопрос анализатор вопросов шаблон ответа База знаний Word. Net ответ аннотация 1 Parser T-выражение … аннотация 2 Omnibase Запрос к Omnibase ссылка doc 2 doc 1 passage 1 doc 3 doc. N WWW Фильтр passage 2 генератор ответов passage. M ответ 50

Start. Текущие разработки l l l Обработка составных запросов и их автоматическая декомпозиция Наращивание баз с целью повышения избыточности информации Автоматизация анализа семантических связей в документах Внедрение аннотаций Особые стратегии поиска ответов для различных предметных областей 51

Статистические техники для анализа естественного языка 52

Пример l The dog ate. s np vp det noun verb the dog ate 53

Проблема s s np noun np verb sold Salespeople np det noun vp noun verb vp np sold det noun the dog biscuits Salespeople l np noun dog biscuits Salespeople sold the dog biscuits. 54

Определение части речи Sentence The det can will rust modal verb noun verb 55

Принцип выбора части речи l l • t – таг (det, noun, …) • w – слово в тексте (can, will…) • p(t | w) – вероятность того, что таг t соответствует слову w • p(w | t) – вероятность того, что слово w соответствует тагу t • p(t 1 | t 2) – вероятность того, что t 1 идёт после t 2 56

Эффективность l l l Тупой – 90% Современные – 97% Человек – 98% 57

Скрытые модели Маркова adj 0. 218 0. 0016 large 0. 004 0. 45 small 0. 005 det a 0. 245 the 0. 586 noun 0. 475 house 0. 001 stock 0. 001 58

Другой подход (transformational tagging) l l Применяем тупой алгоритм. Есть набор правил: l l Поменять у слова таг X на таг Y, если таг предыдущего слова – Z. Применяем эти правила сколько-то раз. Работают быстрее Тренировка HMM vs. Тренировка TT (Отсутствие начальной базы) 59

Treebank l l Строим на основе предложения деревья, пользуясь существующими грамматическими правилами. Пример: (s (np (det The) (noun stranger)) (vp (verb ate) (np (det the) (noun doughnut) (pp (prep with) (np (det a) (noun fork))))) 60

Собственный Statistical Parser l Проверка l l l Есть готовые примеры из Pen treebank Сравниваем с ними Нахождение правил для применения Назначение вероятностей правилам Нахождение наиболее вероятного 61

PCFG (Probabilistic contextfree grammars) l l l l sp → np vp vp → verb np np np → det noun np → np np (1. 0) (0. 8) (0. 2) (0. 5) (0. 3) (0. 15) (0. 05) 62

Считаем вероятность построенного дерева l l s – начальное предложение – полученное нами дерево с – пробегает внутренние вершины дерева r(c) – вероятность применения r для с 63

Построение собственной PCFG. Простой вариант. l l l Берём готовый Pen treebank Считываем из него все деревья Читаем по каждому дереву l l Добавляем каждое новое правило P(правило) = количество его вхождений, делённое на общее количество 64

Two state-of-the-art statistical parsers. Markov grammars l l Решают проблему существования очень редких правил Идея – вместо хранения правил, считаем вероятности того, что, например np = prep +… l l p(t 1 | f, t 2) – вероятность появления тага t 2 после тага t 1 внутри формы f. 65

Lexicalized parsing l l l Каждой вершине дерева припишем слово (head), характеризующее её. p(r | h) – вероятность того, что будет применено правило r для узла с заданным h. p(h | m, t) – вероятность того, что такой h является ребёнком вершины с head = m и имеет таг t. 66

Lexicalized parsing l Пример (S (NP The (ADJP most troublesome) report) (VP may (VP be (NP the August merchandise trade deficit) (ADJP due (ADVP out) (NP tomorrow))))) p(h | m, t) = p(be | may, vp) l p(r | h) = p(posvp → aux np | be) l 67

Lexicalized parsing l l “the August merchandise trade deficit” rule = np → det propernoun Conditioning events p(“August”) p(rule) Nothing 2. 7*10^(-4) 3. 8*10^(-5) Part of speech 2. 8*10^(-3) 9. 4*10^(-5) h(c) = “deficit” 1. 9*10^(-1) 6. 3*10^(-3) 68

Восстановление смысловых связей (Causal Reconstruction) 69

Пример l Одна из нескольких парных дугообразных плоских костей, идущих от позвоночника к грудной кости и составляющих грудную клетку. 70

Пример l Ребро. Одна из нескольких парных дугообразных плоских костей, идущих от позвоночника к грудной кости и составляющих грудную клетку. l Существует ли для каждого ребра пара? Из чего состоит грудная клетка? Кратно ли количество рёбер 2? l l 71

Задача CR (Causal Reconstruction) l Имея такое описание предмета из энциклопедии, программа должна уметь отвечать на содержательные вопросы. 72

Пространство переходов (Transition space) l Рассматриваем процессы, как цепочки переходов l l The perception of causality Качественные изменения l l Пример Удобно генерировать из словесных докладов 73

Смысловое моделирование (Causal modeling) l Нефильтрованный ввод 74

Задачи человека, делающего входные данные для CR l l Количество Качество Связность Стиль 75

Проверка созданной модели 76

Проверка созданной модели l Количество l l Качество l l l Согласованность Выполнимость Связность l l Добавляются ли новые объекты? Создание смыслового отношения на множестве объектов Стиль l Можно ли “ужать” созданную модель? 77

Упрощения. 3 типа предложений l l l Событийные Задающие статические связи между объектами Связывающие 78

Дополнительный ввод l l l Добавление новых статических связей и утверждений Определение событий Предшествующие события Правила вывода Правила подтверждения 79

2 уровня понимания созданной модели l l События Объекты 80

3 типа допустимых вопросов. Уровень объекта l Вопросы связанные с изменением атрибутов объекта с течением времени l Что происходит с позицией курсора во время завершения работы Windows? 81

3 типа допустимых вопросов. Уровень события l Отношение событий между собой l l Как изменение длины волны света влияет на изменение ширины интерфереционной полосы в опыте Фраунгофера? Возможные отношения между событиями, описанными в вопросе, и уже созданной моделью l Как изменение влажности может повлиять на настроение? 82

Пространство переходов l l Представление мира человеком с помощью событий и объектов Восприятие времени как последовательность breakpoint’ов Качественное восприятие Соединение изменений 83

Состояния против изменений (States vs. Changes) l l Пример Changes используются в речи 84

Пример l l l The contact between the steam and the metal plate appears. The concentration of the solution increases. The appearance of the film changes. The pin becomes a part of the structure. The water remains inside the tank. 85

Пример l l l The contact between the steam and the metal plate appears. The concentration of the solution increases. The appearance of the film changes. The pin becomes a part of the structure. The water remains inside the tank. 86

Классификация изменений Общая l l APPEAR DISAPPEAR l l NOT-APPEAR NOT-DISAPPEAR 87

Специализация для NOT-DISAPPEAR Качественные атрибуты CHANGE NOT-CHANGE Количественные атрибуты INCREASE DECREASE NOT-INCREASE NOT-DECREASE 88

Предикатная нотация l l Название изменения Атрибут Объекты-участники Точки времени 89

Пример l l l APPEAR(contact, , t 1, t 2) INCREASE(concentration, the-solution, t 3, t 4) CHANGE(appearance, the-film, t 5, t 6) APPEAR(a-part-of, , t 7, t 8) NOT-DISAPPEAR(inside, , t 9, t 10) 90

Грамматики. Первая форма l l : : = : : = the { { | and } }* : : = CHANGE | APPEAR и т. д. The concentration of the solution increases. 91

Грамматики. Вторая форма l l : : =