Автоматическая обработка текста Лекция 5 Автоматический морфологический анализ Часть 1
Автматический морфологический анализ Введение n Примеры n Проблемы и задачи n Основные этапы и модули n Основные методы n
Морфологическая разметка: проблемы и задачи Запрос: Ø Анализ новостного потока Ответ поисковой системы: Анализметодов кластеризации новостного потока© Кондратьев Михаил Е. Санкт-Петербургский Государственный Университет Mikhail. Kondratyev@sun. com. Аннотация В работе анализируется алгоритмов кластеризации новостной ряд коллекции и приводится. . Эффективный анализ новостных информационных потоков в Интернет Программа интернет-трейдинга для работы на FOREX. Включает систему торговли, технический анализ и новостной поток агентства Dow Jones. Запрос: Съемки фотографий в условиях города. Фотография, съемка, фотографическая, съемок Даже простой поиск в Интернете не может обойтись без морфологического анализа, тем более, поиск в корпусе:
Морфологическая разметка n Введение n Проблемы и задачи n Основные этапы n Основные методы
Морфологическая разметка: проблемы и задачи n Аннотация: каждой единице соответствующего лингвистического уровня приписывается тег (набор характеристик) Ø Бывают ли единицы без тэгов? Пример 1. Поезд ИР-276 движется со скоростью 180 км/ч по 3 -ему пути
Морфологическая разметка: проблемы и задачи n Морфологическая разметка: каждому словоупотрблению – морфологический тег Ø что считать одним словоупотрбелнием? Пример 2. Найти предложения, которые начинаются с конструкции ‘глагол + сущ. в им. п. типа Посадил дед репку Пример в выдаче: Т. е. письмо отправлено накануне
Морфологическая разметка: проблемы и задачи Поиск по корпусу. Пример 3. Как употребляется в русском языке глагол стать? 1) ПРИЧЕМ, что важно, доходы стали больше у всех. 2) Поэтому 5% бедных сумели преодолеть черту бедности и перешли в разряд низкообеспеченных, которых теперь стало 29%. 3) Он стал "толще" на 3%. А всего середняков — 22%. 4) Завод должен будет производить до 4, 4 млн тонн стали в год. 5) Он будет состоять из двух доменных печей, сталелитейного завода с двумя конверторами и двумя установками непрерывной разливки стали.
Морфологическая разметка: проблемы и задачи Пример 4. Поиск по корпусу кратких прилагательных Первые результаты, выданные по запросу, из корпуса с неснятой омонимией: 1) Подлесова Ирина. [Ирина Подлесова. Рабочих удерживали на буровой насильно // 2) 3) 4) "Известия", 2002. 07. 14] В воскресенье рабочие, которых несколько суток безуспешно разыскивали спасатели МЧС, самостоятельно вышли к одному из населенных пунктов на севере Омской области. [Ирина Подлесова. Рабочих удерживали на буровой насильно // "Известия", 2002. 07. 14] Рабочие-вахтовики Анатолий Кисин Азот Сариснудян и исчезли со своей буровой еще 9 июля. [Ирина Подлесова. Рабочих удерживали на буровой насильно // "Известия", 2002. 07. 14] — Об исчезновении людей стало известно сразу, — рассказал "Известиям" оперативный дежурный управления по ГО и ЧС по Омской области Павел Горобец. — На поиски были направлены 6 спасателей из Омской поисково -спасательной службы, подключили местных жителей.
Морфологическая разметка: проблемы и задачи Поиск по корпусу. Пример 5. Как употребляется в русском языке вопросительное местоимение что? 1) Он мне ничего не ответил, потому что не знал 2) Что он ничего не отвечает 3) Откуда я знаю , что он говорит? 4) Я с детства знаю, что жалость унижает человека, но сейчас я с этим не согласен.
Морфологическая разметка: проблемы и задачи Поиск по корпусу. Пример 6. Выяснить, различается ли семантика глагола знать в разных временах? 1) Он об этом не будет знать 2) Будем знать
Основные типы морфологической обработки n n нормализация словоформ (лемматизация т. е. сведение различных ), словоформ к некоторому единому представлению - к исходной форме, или лемме ); стемминг другой вид нормализации, когда разные словоформы приводятся к одной основе, точнее "псевдооснове" (для некоторых задач, включая поиск в интернете, достаточно приведения к одной основе различных дериватов; например, прилагательное фотографический и существительное фотография могут быть приведены к одной основе, так как пользовательскому запросу будут удовлетворять и документы, содержащие словосочетание фотографический портрет, и документы, содержащие словосочетание портретная фотография)
n частеречная аннотация (pos-tagging), т. е. указание части речи для каждой словоформы в тексте) n n полный морфологический анализ - приписывание грамматических характеристик словоформе (например, в цепочке словоформ по берегу реки словоформе берегу будут приписаны следующие грамматические характеристики: сущ. , неодушевленное, мужского р. , единственного числа, дательного падежа) дизамбигуация - разрешение морфологической омонимии Основные проблемы, связанные с любым типом морфологического анализа - это морфологическая омонимия (ср. предложение Эти типы стали есть в цехе, где стали может быть формой глагола стать и формой существительного сталь) «предсказатель» : анализ новых, редких слов или окказионализмов.
Морфологическая разметка: проблемы и задачи Для точности и полноты поиска необходима лемматизация (нормализация) Ø морфологическая разметка Ø снятие лексической омонимии (ср. уж – Уж свернулся кольцом – Уж небо осенью дышало) Ø снятие морфологической омонимии (бившим в лицо ) Ø Сложные конструкции и аналитические формы (потому что, будет писать, не только …, но и) Ø
Морфологическая разметка: проблемы и задачи n Задача: Ø дать возможность пользователю работать с корпусом со снятой морфологической омонимией n Проблемы: Ø ручная разметка очень трудоемка (на снятие омонимии в корпусе объемом 5 млн словоупотреблений ушло несколько лет), а объем корпуса больше 100 млн Ø при автоматическом алгоритмическом снятии омонимии относительно высокий процент ошибок неизбежен
Морфологическая разметка n Введение n Примеры n Проблемы и задачи n Основные этапы n Основные методы
Морфологическая разметка: основные шаги токени зация с помощью дисперсионного анализа ( ANOVA) Фридмана помощью с словарь Лемматизация с_ Первич н морф анализ Снятие омон. Идиома тизация ANOVA дисперсионного анализа ПРЕД помощь С, жр, но= Ед, тв ПРЕД С, жр, но= Ед, тв дисперси онный П=мр, ед, рд| П=ср, ед, рд анализ С, мр, но= ед, рд П=мр, ед, рд| {? ? |anova? Програм С=мр/жр/ср? , мн, ма ед, им, рд, дт, вн, т в, пр, од/но? С, мр, но= ед, рд <ob>c помощью{с_помощью=ПРЕД}</ob> Разме тчик
Результат морфологической разметки <gr type="ПГ" mw="4"><ob> с помощью{с_помощью=ПРЕД}</ob> <gr type="П+С"mw="8"> рангового{ранговый=П=мр, ед, рд} дисперсионного{дисперсионный=П=мр, ед, рд} анализа{анализ=С, мр, но=ед, рд} </gr> (ANOVA) Фридмана{Фридман=С, фам, мр, од=ед, рд}
Морфологическая разметка: предварительный анализ примера n Пример: Следующий его пример основан на данных, представленных Siegel (1956, стр. 233), и анализируется также с помощью предварительного тэгинга.
Морфологическая разметка: проблемы и задачи Токенизация ØСлова с дефисом: 1) по-моему, по-пушкински, 2) Петербургу-Петрограду-Ленинграду, 3) бело-желтым, штабс-капитана, удовлетворенносмущенное, штабс-капитан ØЧисла, "шаблоны": 1945 г. , тел. 555 -33 -22 Øсокращения: г. , вв. и т. п. ст. Øособенности расстановки стилей: §разрядка: Д О Л Г О §дополнительные "внутрисловные" знаки: м-е-е-е-дленно, о'key, he's Øзнаки препинания Øвкрапления другого алфавита
Проблемы морфологической разметки Лемматизация Запрос: Организации, выдающие документы Ответы: Предприятия, учреждения и организации выдавать могут копии имеющихся у них документов , исходящих от других предприятий, учреждений и организаций Давайте посмотрим, какие документы должны быть выданы подотчетному лицу, оплачивающему товары (работы, услуги) от имени организации-покупателя по доверенности. Документы выдаются организациями, …
Проблемы морфологической разметки Лемматизация n Какая лемма у следующих словоформ: n вице-президента n Моряки-подводники n начлага n данные n Управляемого n Давайте-ка n Тыс. n Прибывали n Строю n Скока (разг. от сколько)
Проблемы морфологической разметки Лемматизация n n n Морфонологические чередования (внутренняя флексия): лечь / лягу; лев / льва Супплетивизм я - мне; хороший - лучше; быть - есть К какой исходной основе мы будем приводить данную словоформу Например: пары глаголов исходная форма и страдательный залог на –ся (строить – строиться), подписать - подписывать причастия – как отдельная лемма или вместе с глаголом отглагольные прилагательные
Проблемы морфологической разметки Незнакомые слова имена собственные (Лаврушинском нас Ай, из Петри, а кто Чатыр-Даг, Кыргызстан ) ü сложные слова (авиабомбами, многочленистая) ü Сокращения (ДДТ, ПО) ü построение гипотез: {? ? |anova? =мр/жр/ср? , мн, ед, им, рд, дт, вн, тв, пр, од/но} n
Морфологическая разметка: проблемы и задачи Омонимия Я сидел барском сиденье горячим на , дышал ветром, бившим лицо ощущая то же время истребимую в , в не никакими сквозняками и легкий пыль запах духов. … (Ю. Трифонов) На 25 см. словоформ – 15 омонимичны, из них только 5 имеют по 2 возможных аннотации, у остальных больше 2 -х
Проблемы морфологической разметки Омонимия Я сидел на барском сиденье, дышал горячим ветром, бившим в лицо, ощущая в то же время не истребимую никакими сквозняками пыль и легкий запах духов -- катафалк с хорошей скоростью мчался по шоссе на юг. (Ю. Трифонов) {s}Я{я=S, сред, неод=им, ед|я=S, сред, неод=им, мн|я=S, сред, неод=род, ед|я=S, сред, неод=род, мн|я=S, сред, неод=дат, ед|я=S, сред, неод=дат, мн|я=S, сред, неод=вин, е д|я=S, сред, неод=вин, мн|я=S, сред, неод=твор, ед|я=S, сред, неод=твор, мн|я=S, ср ед, неод=пр, ед|я=S, сред, неод=пр, мн|я=S, ед, од=им, жен|я=S, ед, од=им, муж} сидел{сидеть=V, несов=прош, ед, изъяв, муж} на{на=PART=|на=PR=} барском{барский=A=пр, ед, муж|барский=A=пр, ед, сред} сиденье{сиденье=S, сред, неод=им, ед|сиденье=S, сред, неод=вин, ед|сиденье=S, с ред, неод=пр, ед}, дышал{дышать=V, несов=прош, ед, изъяв, муж} горячим{горячий=A=дат, мн|горячий=A=твор, ед, муж|горячий=A=твор, ед, сре д|горячее=S, ед, сред, неод=твор|горячить=V, несов=непрош, ед, прич, кр, муж, стра д|горячить=V, несов=непрош, мн, изъяв, 1 -л} ветром{ветер=S, муж, неод=твор, ед}, бившим{бить=V, несов=прош, дат, мн, прич|бить=V, несов=прош, твор, ед, прич, муж|бить=V, несов=прош, твор, ед, прич, сред} в{в=PR=} лицо{лицо=S, сред, неод=им, ед|лицо=S, сред, неод=вин, ед|лицо=S, сред, од=им, е д|лицо=S, сред, од=вин, ед},
ощущая{ощущать=V=непрош, деепр, несов} в{в=PR=} то{то=CONJ=|тот=A=им, ед, сред|тот=A=вин, ед, сред|то=S, ед, сред, неод=им|т о=S, ед, сред, неод=вин} же{же=PART=|же=S, сред, неод=им, ед|же=S, сред, неод=им, мн|же=S, сред, неод =род, ед|же=S, сред, неод=род, мн|же=S, сред, неод=дат, ед|же=S, сред, неод=дат, м н|же=S, сред, неод=вин, ед|же=S, сред, неод=вин, мн|же=S, сред, неод=твор, ед|же =S, сред, неод=твор, мн|же=S, сред, неод=пр, ед|же=S, сред, неод=пр, мн|же=CONJ =} время{время=S, сред, неод=им, ед|время=S, сред, неод=вин, ед} не{не=PART=} истребимую{истребимый=A=вин, ед, жен} никакими{никакой=A=твор, мн} сквозняками{сквозняк=S, муж, неод=твор, мн} пыль{пыль=S, ед, жен, неод=им|пыль=S, ед, жен, неод=вин} и{и=PART=|и=S, сред, неод=им, ед|и=S, сред, неод=им, мн|и=S, сред, неод=род, е д|и=S, сред, неод=род, мн|и=S, сред, неод=дат, ед|и=S, сред, неод=дат, мн|и=S, сред, неод=вин, ед|и=S, сред, неод=вин, мн|и=S, сред, неод=твор, ед|и=S, сред, неод=тво р, мн|и=S, сред, неод=пр, ед|и=S, сред, неод=пр, мн|и=INTJ=|и=CONJ=} легкий{легкий=A=им, ед, муж|легкий=A=вин, ед, муж, неод} запах{запах=S, муж, неод=им, ед|запах=S, муж, неод=вин, ед|запах=S, муж, неод=и м, ед|запах=S, муж, неод=вин, ед|запахнуть=V, сов=прош, ед, изъяв, муж} духов{духов=A=им, ед, муж|духов=A=вин, ед, муж, неод|дух=S, муж, неод=род, мн |дух=S, муж, од=род, мн|дух=S, муж, од=вин, мн|духи=S, мн, муж, неод=род}
Проблемы морфологической разметки Системная омонимия: омоформы n стандартные «утомляющие» типы омонимии, не снимаемые без синтаксического анализа, но очень легко снимаемые вручную, например, ü ü ü n им. и вин. сущ. , прилагательные глаг. и прилаг, неизменяемые сущ. Более сложные случаи омонимии ü наречия (местоимения) vs. союзы n n случаи неразрешимой омонимии: род и вин. м. р. при отрицании «сложные случаи» : наречия vs. частицы, наречия vs. вводные слова
Проблемы морфологической разметки Идиоматизация (сборка оборотов) n n n Аналитические формы буду писать Сложные союзы, предлоги и т. п. как бы, потому что, в случае, с помощью, по крайней мере сокращения и т. п. Терминологические словосочетания железная дорога Разрывные союзы не только, но и
Основные этапы морфологической разметки в BNC A. B. C. D. E. F. Tokenization Initial tag assignment Tag selection (disambiguation) Idiomtagging Template Tagger Postprocessing: including Ambiguity tagging
Краткий обзор основных методов разметки
SUPERVISED UNSUPERVISED selection of tagset/tagged corpus induction of tagset using untagged training data creation of dictionaries using tagged corpus induction of dictionary using training data calculation of disambiguation tools. may include: induction of disambiguation tools. may include: word frequencies affix frequencies tag sequence probabilities "formulaic" expressions tagging of test data using dictionary information tagging of test data using induced dictionaries disambiguation using statistical, hybrid or rule based approaches calculation of tagger accuracy
Морфологическая разметка n Введение n Примеры n Проблемы и задачи n Основные этапы n Основные методы
Морфологическая разметка Пример 1. Spoken English Corpus Perdita&NN 1 -NP 0; , &PUN; covering&VVG; the&AT 0; bottom&NN 1; of&PRF; the&AT 0; lorries&NN 2; with&PRP; straw&NN 1; to&TO 0; protect&VVI; the&AT 0; ponies&NN 2; '&POS; feet&NN 2; , &PUN; suddenly&AV 0; heard&VVD-VVN; Alejandro&NN 1 NP 0; shouting&VVG; that&CJT; she&PNP; better&AV 0; dig&VVB; out&AVP; a&AT 0; pair&NN 0; of&PRF; clean&AJ 0; breeches&NN 2; and&CJC; polish&VVB; her&DPS; boots&NN 2; , &PUN; as*CJS; she&PNP; 'd&VM 0; be&VBI; playing&VVG; in&PRP; the&AT 0; match&NN 1; that&DT 0; afternoon&NN
Список используемых морфологических тэгов AJ 0: general adjective AT 0: article, neutral for number AV 0: general adverb AVP: prepositional adverb CJC: co-ordinating conjunction CJS: subordinating conjunction CJT: that conjunction DPS: possessive determiner DT 0: singular determiner NN 0: common noun, neutral for number NN 1: singular common noun NN 2: plural common noun NP 0: proper noun POS: genitive marker PNP: pronoun PRF: of PRP: prepostition PUN: punctuation TO 0: infintive to VBI: be VM 0: modal auxiliary VVB: base form of lexical verb VVD: past tense form of lexical verb VVG: -ing form of lexical verb VVI: infinitive form of lexical verb VVN: past participle form of lexical verb
Морфологическая разметка Пример 2. Тюбингенский корпус русского языка шофер/substantiv_masc_sg_nom_bel бегал/verb_finit_prt_0_sg_masc_nref_ipf куда-то/adverb ремонтировать/verb_infinitiv_nref_ipf тягу/substantiv_fem_sg_akk_unb , /satzzeichen_komma а/konj_koor чекист/substantiv_masc_sg_nom_bel
Морфологическая разметка Пример 3. Национальный корпус русского языка <s>Я{я=S, ед, од=им} сидел{сидеть=V, несов=изъяв, прош, ед, муж} на{на=PR} барском{барский=A=ед, сред, пр} сиденье{сиденье=S, сред, неод=ед, пр}, дышал{дышать=V, несов=изъяв, прош, ед, муж} горячим{горячий=A=ед, муж, твор} ветром{ветер=S, муж, неод=ед, твор}, бившим{бить=V, несов=прич, прош, ед, муж, твор} в{в=PR} лицо{лицо=S, сред, неод=ед, вин}, ощущая{ощущать=V=несов, деепр, непрош} в{в=PR} то{тот=A=ед, сред, вин} же{же=PART} время{время=S, сред, неод=ед, вин} не{не=PART} истребимую{истребимый=A=ед, жен, вин} никакими{никакой=A=мн, твор} сквозняками{сквозняк=S, муж, неод=мн, твор} пыль{пыль=S, жен, неод, ед=вин} и{и=CONJ} легкий{легкий=A=ед, муж, вин, неод} запах{запах=S, муж, неод=ед, вин} духов{духи=S, муж, неод, мн=род}
Морфологическая разметка Пример 3. Национальный корпус русского языка <w><ana lex="по" gr="PR"/>По</w> <w><ana lex="сад" gr="S m inan sg at"/>с`аду</w> <w><ana lex="можно” gr="PRAEDIC"/> м`ожно</w> <w><ana lex="гулять" gr="V ipf intr act inf act"/>гул`ять</w> <w><ana lex="час" gr="S m inan pl ins"/>час`ами</w>
Скачать презентацию Автоматическая обработка текста Лекция 5 Автоматический морфологический анализ
e384aaa36636fbf6171519f340fe00d2.ppt