Поиск в коллекциях текстовых документов на основе методов

Поиск в коллекциях текстовых документов на основе методов семантического анализа, использующих универсальные гипертекстовые энциклопедии Александр Болдаков Институт системного программирования РАН boldakov@ispras. ru Московская секция ACM SIGMOD, 27 ноября 2008 г.

План доклада n n Необходимость применения методов семантического анализа при поиске Wikipedia как основа для построения универсальной базы знаний Обзор методов семантического анализа текстов, основанных на использовании Wikipedia Применения знаний о семантике текста для решения задачи поиска и автоматического извлечения полезных категорий для навигации по результатам поиска

Задача поиска в текстовых коллекциях n n n Information retrieval & Semantic Web Актуальность (Web 2. 0 – очередной всплеск) Разные типы документов в коллекциях n n Блоги (мало связанные, актуальные, …) Новости (мало связанные, очень актуальные, …) Научные статьи (строгая терминология, мало именованных сущностей, …) Web (большое количество “мусора”, сильная связанность, …)

Проблемы лексического поиска по ключевым словам n Лексическая многозначность терминов n n Учет синонимов n n n Многозначность терминов в запросе Многозначность терминов в тексте документа Результат: ухудшение точности результатов Синонимы, аббревиатуры, сленг, прозвища и т. д. Результат: ухудшение полноты результатов Оценка релевантности n n Основана на композиции статистических значений Результат: ухудшение сортировки результатов

Проблемы лексического поиска по ключевым словам (2) n Сложность подбора ключевых слов n n Неопределенность предмета поиска Недостаточная осведомленность о предметной области Результат: ухудшение полноты результатов Интерфейс n n Система – “черный ящик” Модель поиска – несвязанная последовательность запросов Нет механизмов уточнения поиска Результат: снижение эффективности поиска и “ощущение потерянности” в данных

Методы семантического анализа текстов, основанные на использовании Wikipedia n n Устранение лексической многозначности Нахождение терминов, семантически близких к данному Ранжирование терминов в документе Выделение ключевых слов в тексте

Wikipedia - основа для построения универсальной базы знаний n n Универсальность (более 3 х миллионов статей) Актуальность Структурированность информации Доступность для пополнения пользователями (в отличии от многих формальных языков описания знаний)

Построение универсальной базы знаний на основе Wikipedia n n Словарь из концепций База данных возможных значений для многозначных слов База данных возможных синонимов для концепций Взвешенный граф из концепций с расстояниями, отражающими семантическую близость между концепциями

Структура Wikipedia n Статьи различных типов: n n Концепции Статьи, содержащие возможные варианты значений для многозначных терминов Статьи – переадресации на другие статьи (синонимы, аббревиатуры, …) Гипертекстовые ссылки между статьями различных типов n n n Ссылки … в тексте статьи в разделе “см. также” на даты на категории

Измерение семантической близости концепций Википедии n n Концепции вместе со ссылками образуют граф ссылок Википедии Меры семантической близости в графах n n Коэффициент Дайса (нормированное количество общих соседей) Учет весов ссылок

Нахождение концепций, семантически близких к данной n n n Задача: получить N наиболее близких по смыслу концепций к заданной Проблема: подход в “лоб” неэффективен (статья “United Kingdom” содержит более 1 млн статей с ненулевым значением близости) Решение: использование набора эвристик, понижающих точность, но повышающих эффективность вычисления меры близости

Устранение лексической многозначности терминов n n n Задача: связать многозначный термин в тексте с одним из возможных значений Возможные значения для многозначных терминов определены в базе знаний Критерий выбора: максимизация суммы мер семантической близости между значением и терминами, входящими в контекст многозначного термина

Устранение лексической многозначности терминов: пример n Текст: “Jigsaw is W 3 C's open-source project that started in May 1996. It is a web server platform that provides a sample HTTP 1. 1 implementation and …”

Ранжирование терминов в документе n n Задача: отсортировать термины в документе по их семантической важности Термины в документе образуют взвешенный граф Критерий важности термина: центральность вершины в графе (вершина в графе важна, если она находится в окружении сильно связанных с ней вершин) Для определения веса используется алгоритм Page. Rank на взвешенном графе

Выделение ключевых слов n n Ключевое слово — слово в тексте, способное в совокупности с другими ключевыми словами дать представление о содержимом документа Метод основан на ранжировании терминов в документе и специальном критерии выбора граничного значения для отнесения термина к ключевым

Семантический инструментарий n База знаний на основе Wikipedia n n n Словарь концепций Синонимы для концепций Варианты значений для многозначных слов Мера близости между концепциями Методы извлечения семантики из текстов

Применение семантических методов для улучшения поиска n Устранение лексической многозначности n n n Учет синонимов n n Учёт семантической важности концепции в документе Помощь в подборе поисковых терминов n n Синонимы и в запросе, и в документе связаны с основной концепцией Ранжирование результатов n n Использование словаря для формирования поисковых запросов Устранение лексической многозначности терминов в документах Расширение запроса семантически близкими концепциями, с учетом степени близости Поисковый интерфейс n n Поиск как многошаговая комбинация поиска и навигации Автоматическое извлечение и рекомендация уточняющих категорий

Необходимость интеграции с традиционным лексическим поиском n n Не все концепции есть в Wikipedia (как и в любом другом источнике) Виды поиска n Навигационный n n Пример: Болдаков доклад SIGMOD 2006 Исследовательский n Пример: Electric Car

Терминология n n Концепция – некоторая однозначноидентифицируемая сущность, которой соответствует статья Wikipedia Термин – слово на естественном языке

Что может быть поисковым запросом? n n Концепция Термин Произвольная комбинация концепций и терминов Пример: - Electric Car; General Motors; Electric Car; “fastest speed”

Извлечение семантики из документа n n n Документ D состоит из последовательности лексем L(D)=l 1, l 2, …, lk C(D) = {ci} – концепции, выделенные в документе G(D) = (V, E) – взвешенный граф концепций: V=C(D), E=Vx. V. Вес каждого ребра – семантическая близость концепций

Лексическое представление концепций n Norm. Name(c) = title(c) без выражения в скобках в конце строки n n n c = sedna (database) Norm. Name(c) = “sedna” Lex. Name(c) = if (title(c) = Norm. Name(c)) then title(c)+”_(concept)” else replace(title(c), ” “, ”_”) n Пример: n n c = IBM, Lex. Name(c) = “IBM_(concept)” с = sedna (database), Lex. Name(c) = “sedna_(database)”

Модель представления документов и запросов n n Документ (запрос) представлен вектором концепций и терминов. Размерность вектора |C|+|W| Если концепция или термин присутствуют в документе (запросе) они получают ненулевой вес в соответствующей компоненте вектора

Критерии значимости терминов и концепций n n Значимость терминов: значимость определяется статистическими величинами Значимость концепций: концепция в документе тем более значима, чем больше в документе сильно связанных с ней концепций n n Sedna (database) в окружении не связанных концепций Sedna (database) в окружении XML, XQuery, XML database

Соотношение лексических и семантических весов n n Если концепция встречается в документе без связанных с ней концепций, то её вклад в релевантность такой же, как у лексического термина Если концепция встречается в документе в окружении связанных с ней концепций, то её вклад должен асимптотически приближаться к вкладу еще одного слова из запроса

Определение весов для терминов n Измерение косинуса между векторами fd, t – частота встречаемости термина в документе ft – число документов в которых встречается термин N – общее число документов в коллекции

Определение весов для концепций n Если нет связанных вершин, то вес совпадает с лексическим весом концепции

Индексация документов n Для каждой концепций сi из C(D) в индекс добавляется запись Lex. Name(сi) → (id. D, wсi) n Для каждого термина li из L(D) в индекс добавляется запись li → (id. D, wli)

Семантика поиска по концепции n n Наиболее релевантными должны быть документы, в которых присутствует искомая концепция (семантически) Необходимо учитывать ошибки алгоритмов устранения лексической многозначности и ошибок при выделении терминов в тексте

Учет ошибок устранения многозначности и ошибок при выделении терминов n n n L – последовательность слов Repr(c) = {Li} – множество возможных текстовых представлений концепции Пример: c = IBM Repr(c) = IBM, International Business Machines, Big Blue, …

Выполнение запросов: поиск по концепции n n n Поиск по концепции с Repr(c) = {Li} Интерпретация запроса: Lex. Name(сi), L 1*w, L 2*w, …, LN*w w - вес понижающий вклад n Li в релевантность Li – улучшают полноту выборки и не влияют на порядок документов, содержащих распознанную концепцию

Выполнение запросов: поиск по терминам n Поиск по терминам l 1, l 2, …, lk n Интерпретация запроса: l 1, l 2, …, lk n Ранжирование результатов происходит по статистическим принципам

Выполнение запросов: смешанный поиск n n Поиск по концепции с и лексеме l Repr(c) = {Li} Интерпретация запроса: Lex. Name(сi), L 1*w, …, LN*w, l w - вес понижающий вклад Li в релевантность Li – улучшают полноту выборки и не влияют на порядок документов, содержащих распознанную концепцию с и/или термин l

Расширение запроса концепциями, семантически близкими к искомой Существующие подходы: n n Расширение запроса терминами из внешних источников: словарей, онтологий, … Расширение запроса терминами из документов, релевантных оригинальному запросу

Расширение запроса концепциями, семантически близкими к искомой (2) n n n Exp(c)={c 1, …, ck} – множество концепций: Sim(c 1, c 2)!=0 Expp(c)={c 1, …, ck} – множество концепций: Sim(c 1, c 2)>p Расширение запроса по концепции с Qorig = c Qexpanded = c; c 1*w 1; …; ck*wk wi = Sim(c, ci)

Построение фасетного поискового интерфейса n n Комбинация навигационного и поискового интерфейсов В ответ на поисковый запрос фасетная поисковая система формирует: n n Список релевантных результатов на текущий запрос Набор фасетов – терминов, предназначенных для: n n n Уточнения поискового запроса Навигации по коллекции документов Методы извлечения фасетных терминов: n n Использование созданной вручную метаинформации о документах Автоматическое извлечение фасетных терминов

Автоматическое извлечение фасетных терминов Подзадачи n n Идентификация терминов-кандидатов Рекомендация конкретных фасетов на текущем шаге поиска n n Учет текущего запроса Учет текущего множества результатов

Построение фасетного поиска на основе методов семантического анализа текстов n Идентификация фасетов: хорошие претенденты – ключевые n Рекомендация фасетов: слова в документах n n n Объединение ключевых слов для всех документов из текущего множества результатов – множество возможных фасетов Термины, семантически близкие к запросу, описывают текущий домен интересов пользователя Решение:

Спасибо за внимание Александр Болдаков Институт системного программирования РАН boldakov@ispras. ru