АВТОМАТИЧНИЙ МОРФОЛОГІЧНИЙ АНАЛІЗ ІМОВІРНІСНИЙ ПІДХІД ЛЕКЦІЯ 5

АВТОМАТИЧНИЙ МОРФОЛОГІЧНИЙ АНАЛІЗ. ІМОВІРНІСНИЙ ПІДХІД ЛЕКЦІЯ № 5

ВІДКРИТІ ТА ЗАКРИТІ КЛАСИ СЛІВ • ЗАКРИТІ КЛАСИ: МАЛИЙ ОБ’ЄМ, ПОСТІЙНЕ ЧЛЕНСТВО – АНГЛІЙСЬКА – ФУНКЦІОНАЛЬНІ СЛОВА (МАЮТЬ ЗНАЧЕННЯ ДЛЯ ГРАМАТИКИ) – УКРАЇНСЬКА- СЛУЖБОВІ ЧАСТИНИ МОВИ • ВІДКРИТІ КЛАСИ: ПОСТІЙНО ПОПОВНЮЄТЬСЯ – АНГЛІЙСЬКА: 4 КЛАСИ Nouns, Verbs, Adjectives, Adverbs • Many languages have these 4, but not all! – УКРАЇНСЬКА: ~ 6 КЛАСІВ ІМЕННИК, ПРИКМЕТНИК, ЧИСЛІВНИК, ЗАЙМЕННИК, ДІЄСЛОВО, ПРИСЛІВНИК, ВИГУК Комп'ютерна лінгвістика (2009) Романюк А. Б.

ВІДКРИТІ КЛАСИ (АНГЛІЙСЬКА) • Nouns – Proper nouns (Boulder, Granby, Santonio Holmes) • English capitalizes these. – Common nouns (the rest). – Count nouns and mass nouns • Count: have plurals, get counted: goat/goats, one goat, two goats • Mass: don’t get counted (snow, salt, communism) (*two snows) • Adverbs: tend to modify things – Unfortunately, John walked home extremely slowly yesterday – Directional/locative adverbs (here, home, downhill) – Degree adverbs (extremely, very, somewhat) – Manner adverbs (slowly, slinkily, delicately) • Verbs – In English, have morphological affixes (eat/eats/eaten) Комп'ютерна лінгвістика (2009) Романюк А. Б.

ВІДКРИТІ КЛАСИ (УКРАЇНСЬКА) • ІМЕННИК ВЛАСНІ, ЗАГАЛЬНІ; КОНКРЕТНІ Й АБСТРАКТНІ; НАЗВИ ІСТОТ І НЕІСТОТ; ЗБІРНІ ТА ОДИНИЧНІ • ПРИКМЕТНИК ЯКІСНІ. ВІДНОСНІ, ПРИСВІЙНІ (ВІДНОСНО-ЯКІСНІ, ПРИСВІЙНО-ВІДНОСНІ, ПРИСВІЙНО-ЯКІСНІ) • ЧИСЛІВНИК КІЛЬКІСНІ (КІЛЬКІСНІ, НЕОЗНАЧЕНО КІЛЬКІСНІ, ЗБІРНІ, ДРОБОВІ), ПОРЯДКОВІ • ЗАЙМЕННИК ОСОБОВІ, ЗВОРОТНІ, ПИТАЛЬНО-ВІДНОСНІ, ОЗНАЧАЛЬНІ, ВКАЗІВНІ, ПРИСВІЙНІ, НЕОЗНАЧЕНІ, ЗАПЕРЕЧНІ • ДІЄСЛОВО ДІЄПРИКМЕТНИК, ДІЄПРИСЛІВНИК • ПРИСЛІВНИК ЯКІСНО-ОЗНАЧАЛЬНІ, ОБСТАВИННІ Комп'ютерна лінгвістика (2009) Романюк А. Б.

ЗАКРИТІ КЛАСИ СЛІВ (АНГЛІЙСЬКА) Examples: – prepositions: on, under, over, … – particles: up, down, off, … – determiners: a, an, the, … – pronouns: she, who, I, . . – conjunctions: and, but, or, … – auxiliary verbs: can, may should, … – numerals: one, two, three, third, … Комп'ютерна лінгвістика (2009) Романюк А. Б.

Prepositions from CELEX Комп'ютерна лінгвістика (2009) Романюк А. Б.

English Particles Комп'ютерна лінгвістика (2009) Романюк А. Б.

Conjunctions Комп'ютерна лінгвістика (2009) Романюк А. Б.

ЗАКРИТІ КЛАСИ СЛІВ (УКРАЇНСЬКА) • ПРИЙМЕННИК – ПЕРВИННІ (ПРОСТІ ТА СКЛАДНІ) (БЕЗ, БІЛЯ, ЗАДЛЯ) – ВТОРИННІ (ПРОСТІ ТА СКЛАДНІ) (БЛИЗЬКО, З НАГОДИ) • СПОЛУЧНИК – СУРЯДНОСТІ (І, ТА, НЕ ТІЛЬКИ …. А Й, ПРОТЕ, ОДНАК) – ПІДРЯДНОСТІ (БО, ЛЕДВЕ, ХОЧ, АЖ, ТАК ЩО, НАЧЕ) • ЧАСТКА – ФРАЗОВІ (ТАК, АВЖЕЖ, НЕ, НІ, НЕВЖЕ, ЦЕ, ОЦЕ, ЯК) – МОДАЛЬНІ (ТІЛЬКИ, ЛИШЕ, МОВ, НІБИТО) Комп'ютерна лінгвістика (2009) Романюк А. Б.

ВИБІР НАБОРУ СИМВОЛІВ (Tagset) ДЛЯ МАРКУВАННЯ МОРФОЛОГІЧНИХ ХАРАКТЕРИСТИК • ІСНУЮТЬ РІЗНІ НАБОРИ СИМВОЛІ. ПОТЕНЦІЙНО МОЖНА ВИКОРИСТОВУВАТИ ДУЖЕ ВЕЛИКІ НАБОРИ; • ДЛЯ МОРФОЛОГІЧНОГО АНАЛІЗУ ПОТРІБНО ВИКОРИСТОВУВАТИ ПЕВНИЙ СТАНДАРТИЗОВАНИЙ НАБІР СИМВОЛІВ; • НАЙБІЛЬШ ЗАГАЛЬНИЙ (ГРУБИЙ) НАБІР – N, V, Adj, Adv, noun…. . • ЗВИЧАЙНО ВИКОРИСТОВУЄТЬСЯ БІЛЬШ ДЕТАЛЬНИЙ НАБІР , – “Penn Tree. Bank tagset”, 45 ТЕГІВ (PRP$, WRB, WP$, VBG) • БІЛЬШ ДЕТАЛЬНИЙ НАБІР СИМВОЛІВ – УКРАЇНСЬКИЙ НАЦІОНАЛЬНИЙ КОРПУС , ~300 ТЕГІВ (VA, VB, MA) Комп'ютерна лінгвістика (2009) Романюк А. Б.

Penn Tree. Bank НАБІР СИМВОЛІВ Комп'ютерна лінгвістика (2009) Романюк А. Б.

НАЦІОНАЛЬНИЙ КОРПУС Комп'ютерна лінгвістика (2009) Романюк А. Б.

ВИКОРИСТАННЯ Penn Tagset • The/DT grand/JJ jury/NN commmented/VBD on/IN a/DT number/NN of/IN other/JJ topics/NNS. /. • ПРИЙМЕННИКИ ТА СПОЛУЧНИКИ СУРЯДНОСТІ ПІДРЯДНОСТІ МАРКУЮТЬСЯ IN (“although/IN I/PRP. . ”) • ВИНЯТОК preposition/complementizer “to” МАРКУЄТЬСЯ “TO”. Комп'ютерна лінгвістика (2009) Романюк А. Б.

ПРОБЛЕМА НЕОДНОЗНАЧНОСТІ МА • СЛОВА МОЖУТЬ МАРКУВАТИСЯ БІЛЬШ НІЖ ОДНИМ СИМВОЛОМ: back – The back door = JJ – On my back = NN – Win the voters back = RB – Promised to back the bill = VB • ЗНЯТТЯ НЕОДНОЗНАЧНОСТІ МА – ВИЗНАЧИТИ МОРФОЛОГІЧНІ ХАРАКТЕРИСТИКИ ДЛЯ ДАНОГО ВИПАДКУ ВЖИВАННЯ СЛОВА. Комп'ютерна лінгвістика (2009) Романюк А. Б.

НЕОДНОЗНАЧНІСТЬ МА АНГЛІЙСЬКОЇ МОВИ Комп'ютерна лінгвістика (2009) Романюк А. Б.

ДВА МЕТОДИ МА 1. НА ОСНОВІ ПРАВИЛ – (ENGTWOL) – (PC-KIMMO) 2. СТОХАСТИЧНІ (ІМОВІРНІСНІ МОДЕЛІ ПОСЛІДОВНОСТЕЙ) • HMM (ПРИХОВАНА МОДЕЛЬ МАРКОВА) • MEMMs (МАКСИМАЛЬНОЇ ЕНТРОПІЇ МОДЕЛЬ МАРКОВА) Комп'ютерна лінгвістика (2009) Романюк А. Б.

НЕОБХІДНО ПРОЧИТАТИ • Daniel Jurafsky, James H. Martin Speech and Language Processing: an Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition - Second Edition Prentice Hall, 2008 -988. – Розділ, 5 ст. 123 -173. • Корпусна лінгвістика /Широков В. А. та ін. Київ: Довіра 2005. – 471 с. ст. 420 -434, 449453. Комп'ютерна лінгвістика (2009) Романюк А. Б.