Скачать презентацию АВТОМАТИЧНИЙ СИНТАКСИЧНИЙ АНАЛІЗ АЛГОРИТМИ АНАЛІЗУ АЛГОРИТМ ЕРЛІ ЛЕКЦІЯ Скачать презентацию АВТОМАТИЧНИЙ СИНТАКСИЧНИЙ АНАЛІЗ АЛГОРИТМИ АНАЛІЗУ АЛГОРИТМ ЕРЛІ ЛЕКЦІЯ

KL-Lec11.ppt

  • Количество слайдов: 25

АВТОМАТИЧНИЙ СИНТАКСИЧНИЙ АНАЛІЗ АЛГОРИТМИ АНАЛІЗУ АЛГОРИТМ ЕРЛІ ЛЕКЦІЯ № 11 АВТОМАТИЧНИЙ СИНТАКСИЧНИЙ АНАЛІЗ АЛГОРИТМИ АНАЛІЗУ АЛГОРИТМ ЕРЛІ ЛЕКЦІЯ № 11

АЛГОРИТМ ЕРЛІ ДОЗВОЛЯЄ ВИКОРИСТОВУВАТИ ЗВИЧАЙНУ КОНТЕКСТНО-ВІЛЬНУ ГРАМАТИКУ СТРАТЕГІЯ ЗВЕРХУ-ВНИЗ ЗА ОДИН ПРОХІД ЗЛІВА-НАПРАВО ПО АЛГОРИТМ ЕРЛІ ДОЗВОЛЯЄ ВИКОРИСТОВУВАТИ ЗВИЧАЙНУ КОНТЕКСТНО-ВІЛЬНУ ГРАМАТИКУ СТРАТЕГІЯ ЗВЕРХУ-ВНИЗ ЗА ОДИН ПРОХІД ЗЛІВА-НАПРАВО ПО ВХІДНИХ ДАНИХ ЗАПОВНЮЄТЬСЯ МАСИВ СПИСКІВ РОЗБОРУ (CHARTS) ◦ МАСИВ МІСТИТЬ N+1 ЕЛЕМЕНТІВ; N – КІЛЬКІСТЬ СЛІВ У РЕЧЕННІ ◦ ЕЛЕМЕНТАМИ СПИСКІВ РОЗБОРУ Є СТАНИ В ЯКИХ ЗБЕРІГАЄТЬСЯ ІНФОРМАЦІЯ ТРЬОХ ТИПІВ ПРО СФОРМОВАНІ СКЛАДНИКИ ТА ЇХ МІСЦЕЗНАХОДЖЕННЯ СКЛАДНИКИ В ПРОЦЕСІ ФОРМУВАННЯ СКЛАДНИКИ, ФОРМУВАННЯ ЯКИХ ОЧІКУЄТЬСЯ Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 2

ПОНЯТТЯ СТАНУ СТАНИ ОПИСУЮТЬСЯ ЗА ДОПОМОГОЮ ПРАВИЛ ГРАМАТИКИ ТА ДОДАВАННЯМ КРАПКИ “. ”, ЯКА ПОНЯТТЯ СТАНУ СТАНИ ОПИСУЮТЬСЯ ЗА ДОПОМОГОЮ ПРАВИЛ ГРАМАТИКИ ТА ДОДАВАННЯМ КРАПКИ “. ”, ЯКА Є ІНДИКАТОРОМ ФОРМУВАННЯ ПІДДЕРЕВА dotted-rules. S VP VP ОЧІКУЄТЬСЯ NP Det Nominal NP В ПРОЦЕСІ VP V NP ФОРМУВАННЯ VP ПОБУДОВАНО Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 3

ПОНЯТТЯ СТАНУ ТА ПОЗИЦІЇ S VP [0, 0] NP Det Nominal [1, 2] VP ПОНЯТТЯ СТАНУ ТА ПОЗИЦІЇ S VP [0, 0] NP Det Nominal [1, 2] VP V NP [0, 3] VP ОЧІКУЄТЬСЯ НА ПОЧАТКУ РЕЧЕННЯ NP В ПРОЦЕСІ ФОРМУВАННЯ Det ОБРОБЛЕНО В ПОЗИЦІЇ [1 , 2] VP ПОБУДОВАНО ДЛЯ ПОЗИЦІЙ ВХІДНИХ ДАНИХ ВІД 0 ДО 3 Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 4

АЛГОРИТМ ЕРЛІ АЛГОРИТМ ДИНАМІЧНОГО ПРОГРАМУВАННЯ РЕЗУЛЬТАТИ ЗБЕРІГАЮТЬСЯ В ТАБЛИЦІ ПРИСУТНІСТЬ СТАНУ ◦ S α АЛГОРИТМ ЕРЛІ АЛГОРИТМ ДИНАМІЧНОГО ПРОГРАМУВАННЯ РЕЗУЛЬТАТИ ЗБЕРІГАЮТЬСЯ В ТАБЛИЦІ ПРИСУТНІСТЬ СТАНУ ◦ S α [0, N] ВКАЗУЄ НА УСПІШНИЙ АНАЛІЗ (РОЗБІР) РЕЧЕННЯ Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 5

АЛГОРИТМ ЕРЛІ ДЛЯ РОБОТИ ЗІ СТАНАМИ В CHARTS (СПИСКИ РОЗБОРУ) ВИКОРИСТОВУЮТЬСЯ ОПЕРАЦІЇ: PREDICTOR COMPLETER АЛГОРИТМ ЕРЛІ ДЛЯ РОБОТИ ЗІ СТАНАМИ В CHARTS (СПИСКИ РОЗБОРУ) ВИКОРИСТОВУЮТЬСЯ ОПЕРАЦІЇ: PREDICTOR COMPLETER SCANNER КОЖНА ОПЕРАЦІЯ ОТРИМУЄ НА ВХОДІ ОДИН СТАН І БУДУЄ НОВИЙ СТАНИ ДОДАЮТЬСЯ ДО СПИСКІВ РОЗБОРУ Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 6

АЛГОРИТМ ЕРЛІ - PREDICTOR – ДОДАЄ СТАНИ ДО ПОТОЧНОГО СПИСКУ РОЗБОРУ ЗАСТОСОВУЄТЬСЯ ДО СТАНІВ АЛГОРИТМ ЕРЛІ - PREDICTOR – ДОДАЄ СТАНИ ДО ПОТОЧНОГО СПИСКУ РОЗБОРУ ЗАСТОСОВУЄТЬСЯ ДО СТАНІВ ДЕ ПІСЛЯ КРАПКИ ЙДЕ НЕТЕРМІНАЛЬНИЙ СИМВОЛ , АЛЕ НЕ РОS ТЕГ Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 7

АЛГОРИТМ ЕРЛІ - COMPLETER - ДОДАЄ СТАНИ ДО ПОТОЧНОГО СПИСКУ РОЗБОРУ ЗАСТОСОВУЄТЬСЯ ДО СТАНІВ АЛГОРИТМ ЕРЛІ - COMPLETER - ДОДАЄ СТАНИ ДО ПОТОЧНОГО СПИСКУ РОЗБОРУ ЗАСТОСОВУЄТЬСЯ ДО СТАНІВ З КРАПКОЮ В КІНЦІ ПРАВИЛА Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 8

АЛГОРИТМ ЕРЛІ - SCANNER - ДОДАЄ СТАНИ ДО НОВОГО СПИСКУ РОЗБОРУ ЗАСТОСОВУЄТЬСЯ ДО СТАНІВ АЛГОРИТМ ЕРЛІ - SCANNER - ДОДАЄ СТАНИ ДО НОВОГО СПИСКУ РОЗБОРУ ЗАСТОСОВУЄТЬСЯ ДО СТАНІВ ДЕ ПІСЛЯ КРАПКИ ЙДЕ НЕТЕРМІНАЛЬНИЙ СИМВОЛ РОS ТЕГ Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 9

АЛГОРИТМ ЕРЛІ. ТЕКСТ ПРОГРАМИ Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 10 АЛГОРИТМ ЕРЛІ. ТЕКСТ ПРОГРАМИ Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 10

АЛГОРИТМ ЕРЛІ. ТЕКСТ ПРОГРАМИ Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 11 АЛГОРИТМ ЕРЛІ. ТЕКСТ ПРОГРАМИ Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 11

ПРИКЛАД Book that flight ПОТРІБНО ЗНАЙТИ ДЕРЕВА, ЯКІ ВІДПОВІДАЮТЬ ПОЗИЦІЯМ ВІД 0 ДО 3 ПРИКЛАД Book that flight ПОТРІБНО ЗНАЙТИ ДЕРЕВА, ЯКІ ВІДПОВІДАЮТЬ ПОЗИЦІЯМ ВІД 0 ДО 3 ВИКОРИСТОВУЄТЬСЯ КОНТЕКСТНО – ВІЛЬНА ГРАМАТИКА З ПОПЕРЕДНЬОЇ ЛЕКЦІЇ Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 12

Chart[0] Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 13 Chart[0] Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 13

Chart[1] Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 14 Chart[1] Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 14

Charts[2] and [3] Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 15 Charts[2] and [3] Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 15

ВІДТВОРЕННЯ ДЕРЕВА ПОБУДОВА CHARTS ТА СТАНІВ НЕ ДОЗВОЛЯЄ ЗДІЙСНИТИ АНАЛІЗ РЕЧЕННЯ CHARTS ТА СТАНИ ВІДТВОРЕННЯ ДЕРЕВА ПОБУДОВА CHARTS ТА СТАНІВ НЕ ДОЗВОЛЯЄ ЗДІЙСНИТИ АНАЛІЗ РЕЧЕННЯ CHARTS ТА СТАНИ МІСТЯТЬ ІНФОРМАЦІЮ ТІЛЬКИ ПРО МОЖЛИВІ ПІДДЕРЕВА ДЛЯ ВІДТВОРЕННЯ ДЕРЕВА ПОТРІБНО ДОПОВНИТИ КОЖЕН СТАН ІНФОРМАЦІЄЮ ПРО ЗАВЕРШЕНІ СТАНИ ЗГЕНЕРОВАНІ СКЛАДНИКОМ ДО СТАНІВ, ЯКІ БУДУЮТЬСЯ COMPLETER ДОДАЄТЬСЯ ВКАЗІВНИК НА ПОПЕРЕДНІ СТАНИ , ЯКІ ВІДПОВІДАЮТЬ СКЛАДНИКАМ ЦЬОГО СТАНУ Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 16

ВІДТВОРЕННЯ ДЕРЕВА Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 17 ВІДТВОРЕННЯ ДЕРЕВА Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 17

ЕФЕКТИВНІСТЬ АЛГОРИТМУ ДЛЯ РЕЧЕННЯ З ТРЬОХ СЛІВ ПОБУДОВАНО ЧОТИРИ CHARTS ТА 36 СТАНІВ КОРИСНА ЕФЕКТИВНІСТЬ АЛГОРИТМУ ДЛЯ РЕЧЕННЯ З ТРЬОХ СЛІВ ПОБУДОВАНО ЧОТИРИ CHARTS ТА 36 СТАНІВ КОРИСНА ІНФОРМАЦІЯ МІСТИТЬСЯ ТІЛЬКИ В 7 СТАНАХ БАГАТО СТАНІВ БУДУЮТЬСЯ ДЛЯ ДАНИХ, ЯКІ НЕ Є У ВХІДНІЙ ПОСЛІДОВНОСТІ Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 18

НЕОДНОЗНАЧНОСТІ ПРОБЛЕМУ НЕОДНОЗНАЧНОСТІ СИНТАКСИЧНОГО АНАЛІЗУ АЛГОРИТМИ НЕ ВИРІШУЮТЬ ◦ АЛГОРИТМИ ДОЗВОЛЯЮТЬ ПОБУДУВАТИ НАБОРИ ДЕРЕВ НЕОДНОЗНАЧНОСТІ ПРОБЛЕМУ НЕОДНОЗНАЧНОСТІ СИНТАКСИЧНОГО АНАЛІЗУ АЛГОРИТМИ НЕ ВИРІШУЮТЬ ◦ АЛГОРИТМИ ДОЗВОЛЯЮТЬ ПОБУДУВАТИ НАБОРИ ДЕРЕВ ДЛЯ ЕЛЕМЕНТІВ [0, N] ◦ АЛГОРИТМИ ЕФЕКТИВНО ЗБЕРІГАЮТЬ ПІДДЕРЕВА, ЯКІ СПІЛЬНО ВИКОРИСТОВУЮТЬСЯ ПРИ АНАЛІЗІ ◦ ПІДДЕРЕВА ВИВОДЯТЬСЯ ТІЛЬКИ ОДИН РАЗ ◦ АЛЕ ВІДПОВІДІ ЧИ ПРАВИЛЬНУ СИНТАКСИЧНУ СТРУКТУРУ МИ ОТРМУЄМО ОТРИМАТИ НЕ МОЖЕМО. Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 19

Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 20 Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 20

Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 21 Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 21

Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 22 Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 22

◦ I -> Inside ◦ O -> Outside ◦ B -> Begin Balcor NNP ◦ I -> Inside ◦ O -> Outside ◦ B -> Begin Balcor NNP B-NP , , Owhich WDT B-NP has VBZ B-VP interests NNS B-NP in IN B-PP real JJ B-NP estate NN I-NP , , Osaid VBD B-VP the DT B-NP position NN I-NP is VBZ B-VP newly RB I-VP created VBN I-VP. . O Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 23

Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 24 Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 24

НЕОБХІДНО ПРОЧИТАТИ Daniel Jurafsky, James H. Martin Speech and Language Processing: an Introduction to НЕОБХІДНО ПРОЧИТАТИ Daniel Jurafsky, James H. Martin Speech and Language Processing: an Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition - Second Edition Prentice Hall, 2008 -988. – Розділ, 13 ст. 427 -458. Комп'ютерна лінгвістика (2009) Романюк А. Б. 22. 12. 2009 25