Автоматический анализ текста Курс Основы информационных технологий Урок-презентация

Автоматический анализ текста Курс: «Основы информационных технологий» Урок-презентация 6. Составила М. А. Александрова, студентка 2 курса, кафедры русской филологии, БГУ

Оглавление. 1. Процедуры анализа и синтеза текста. 2. Этапы анализа текста. 2. 1. Морфологический анализ. 2. 2. Синтаксический анализ. 2. 3. Семантический анализ. 2. 4. Завершение процесса анализа текста. 3. Проблема машинного понимания текстов. 3. 1. Проблема машинного понимания текстов. 4. Подходы к решению задачи понимания. 5. Уровни понимания микротекста. 6. Модель машинного понимания текста.

1. Процедуры анализа и синтеза текста, реализованные в обрабатывающих алгоритмах и программах, представляют собой следующее: Ø морфологический, синтаксический и семантический анализ; Ø семантическую интерпретацию и формирование ответа; Ø семантический, синтаксический и морфологический синтез; Ø доступ к словарю, семантической сети и базе данных.

2. Этапы анализа текста. Ø Морфологический анализ (МА); Ø синтаксический анализ (Си. А); Ø семантический анализ (Се. А); Ø сопоставление семантического графа с моделью предметной области.

2. 1. Морфологический анализ. МА выполняет распознающую роль на входе системы. Функцией морфологического анализа являются выделение основы слова и определение морфологической информации, приписываемой этой основе по таблицам аффиксов и словарю. Морфологический анализ, отсекая аффиксы (заключенные в скобки), приписывает полученным основам морфологическую информацию, соответствующую этому аффиксу. Далее производится обращение с полученной основой к словарю для определения, существует ли такая основа.

2. 2. Синтаксический анализ. Си. А осуществляет перебор возможных с точки зрения синтаксиса омонимичных спо собов разбиения всех вариантов разбора синтаксических отношений. Си. А служит для установления синтаксической взаимосвязи между сло вами входного предложения (запроса). Алгоритм синтаксического анализа использует модели управления. По морфологической информации подбираются слова, имеющие такую же морфологическую информацию в словах предложения, строятся синтаксические отношения. По правилам русского языка реализуются синтаксические отношения. Полученная синтаксическая структура обрабатывается алгоритмом семантического анализа.

2. 3. Семантический анализ. Се. А осуществляет построение интенсионального выражения смысла обрабатываемого предложения в виде семантического графа. Здесь же осуществляется разрешение неявных языковых ссылок (эллипсис). Семантический анализ служит для построения семантического графа запроса, т. е. установления смысловой связи между основами слов синтаксической структуры. Замена синтаксических отношений семантическими осуществляется по модели управления (МУ) и по абстрактной семантической сети.

2. 4. Завершение процесса анализа текста. Завершается процесс анализа сопоставлением семантического графа с моделью предметной области. При такой семантической интерпретации происходят сопоставление семантического графа с конкретной семантической сетью, получение содержательной информации на конкретной сети, выбор числовой информации из базы данных и обработка этой информации (суммирование, сравнение, вычисление процента и т. д. ).

3. Проблема машинного понимания текстов является междисциплинарной. Над ней работают помимо специалистов в области информатики и вычислительной техники лингвисты, психологи, физики и учёные других специальностей. Принципы анализа понимания, разработанные в этих науках, находят конкретное воплощение в создаваемых компьютерных понимающих системах (ПС).

3. 1. Проблема машинного понимания текстов. Понимание трактуется как процесс соотнесения языкового описания с внеязыковой действительностью. Основная научная проблема, с которой сталкиваются разработчики при создании блока знаний о предметной области это проблема характера представления (репрезентации) знаний о понимаемом мире в памяти ПС.

4. Подходы к решению задачи понимания. Существует два подхода к решению задачи понимания: Ø моделирование человеческих механизмов понимания естественно языковых текстов; Ø создание технических систем, реализующих функцию понимания отличным от человека способом при сравнимости результатов понимания системы и человека для заданной цели понимания. В качестве рабочего выбран второй подход.

5. Уровни понимания микротекста. знания о языке + знания о ПО + ІІІ – модели Знаний и Целей пользователя ІІ – І– знания о языке + знания о ПО ; Теория концептуальных зависимостей знания о языке

6. Модель машинного понимания текста основана на реализации следующих процедур: Ø формирование базиса понимания (образца) путем вычленения из знаний о предметной области фрагмента с учетом текущей цели понимания; Ø выделение словарных выражений (слов, словосочетаний, предложений), обозначающих выделенные элементы предметной области; Ø соотнесение выделенных словарных выражений с именами элементов предметной области. (Результат понимания может быть представлен или в виде фрагмента текста, содержащего информацию, соответствующую цели конечного пользователя, или в виде пар: имя элемента предметной области словарное выражение).