Разработка и эксплуатация АИС Информационно – поисковые языки 1
Информационные системы: ¤ Фактографические § ориентированы на работу со структурированными данными § единичным элементом данных, имеющим отдельное смысловое значение, является запись, образуемая конечной совокупностью полей атрибутов ¤ Документальные § ориентированы на накопление и обработку неструктурированной или слабоструктурированной информации § единичным элементом данных является неструктурированный документ 2
¤ Основная задача документальных информационных систем § накопление и предоставление пользователю документов, содержание, тематика, реквизиты и т. п. которых адекватны его информационным потребностям ¤ Документальная информационная система (информационно поисковая система ИПС) § единое хранилище документов с инструментарием поиска и отбора необходимых документов 3
¤ Пертинентность § соответствие найденных документов информационным потребностям пользователя Пример: В какое время, согласно примете, не принято начинать партию в спортивной игре, принадлежности для которой взял с собой на Луну Анлан Шепард? 4
¤ В зависимости от особенностей реализации хранилища документов и механизмов поиска документальные ИПС делят на две группы: § семантически навигационные системы § системы на основе индексирования 5
Семантически-навигационные системы ¤ ¤ ¤ Документы, помещаемые в хранилище (в базу) документов, оснащаются специальными навигационными конструкциями Конструкции соответствуют смысловым связям (отсылкам) между различными документами или отдельными фрагментами одного документа Конструкции реализуют семантическую (смысловую) сеть в базе документов Способ и механизм выражения информационных потребностей заключаются в явной навигации пользователя по смысловым отсылкам между документами В настоящее время такой подход реализуется в гипертекстовых ИПС 6
Системы на основе индексирования Исходные документы помещаются в базу без какого либо дополнительного преобразования ¤ Смысловое содержание каждого документа отображается в некоторое поисковое пространство ¤ Процесс отображения документа в поисковое пространство индексирование ¤ § заключается в присвоении каждому документу некоторого индекса координаты в поисковом пространстве Формализованное представление (описание) индекса документа поисковый образом документа (ПОД) ¤ Пользователь выражает свои информационные потребности средствами и языком поискового пространства, формируя поисковый образ запроса (ПОЗ) к базе документов ¤ Система на основе определенных критериев и способов ищет документы, ПОДы которых соответствуют или близки ПОЗам пользователя ¤ Соответствие найденных документов запросу пользователя называется релевантностью ¤ 7
Функция ИПС информационное оповещение пользователей по всем новым поступающим в систему документам, соответствующим заранее определенным информационным потребностям пользователя ¤ Принцип решения задачи в ИПС на основе индексирования основан на отображении в поисковое пространство информационных потребностей пользователя в виде поисковых профилей пользователей (ППП) ¤ ИПС при поступлении и индексировании новых документов сравнивает их ПОДы с ППП и принимает решение о соответствующем оповещении ¤ 8
¤ Поисковое пространство, отображающее ПОДы и реализующее механизмы информационного поиска документов строится на основе языков документальных баз данных информационно поисковых языков (ИПЯ) ¤ Информационно поисковый язык представляет собой некоторую формализованную семантическую систему, предназначенную для выражения содержания документа и запросов по поиску необходимых документов 9
Информационно-поисковые языки Естественный язык предоставляет собой универсальную знаковую систему, которая выполняет следующие основные функции: § сообщение информации (функция передачи или коммуникативная функция) § установление контакта со слушающим (функция связи или § фактическая функция) § побуждение говорящего к слушанию (апеллятивная функция) § выражение эмоций говорящего (эмотивная функция) ¤ На естественном языке записываются первичные и вторичные документы, служебная документация и т. д. ¤ 10
¤ Внутренняя структура естественного языка 11
¤ ¤ ¤ ¤ Фонетика совокупность звуков и звуковых явлений языка Лексика (или словарный состав языка) все множество слов этого языка Грамматика аппарат, с помощью которого образуется лексика языка, а также создаются фразы и предложения на этом языке Грамматика состоит из морфологии и синтаксиса Морфология система способов и средств построения и изменения слов Синтаксис система способов и средств построения предложений языка Словообразование совокупность способов и средств построения новых слов на основе существующей лексики 12
Отношения между словами естественного языка ¤ Для обозначения предметов и явлений в естественном языке выработаны понятия, выражаемые либо отдельными осмысленными единицами языка словами, либо их комбинациями – словосочетаниями ¤ Между предметами и явлениями объективной действительности существуют определенные предметно логические связи или отношения ¤ Такие же связи существуют и между понятиями (словами и словосочетаниями) 13
Родовидовые отношения – отношения рода и его видов ¤ Родовым (подчиняющим) называется понятие, выражающее существенные признаки класса предметов, в состав которого входят другие классы предметов, являющиеся видами этого рода ¤ Видовым (подчиненным) понятием называется такое, которое выражает существенные признаки класса предметов, являющегося видом какого либо другого класса предметов и входящего в состав этого класса ¤ Родовое понятие имеет больший объем, т. е. отображает больший круг предметов материального мира ¤ ¤ Примеры: § военнослужащий (род) генерал (вид) офицер (вид) рядовой (вид) § военные самолеты (род) истребители (вид) бомбардировщики (вид) транспортные военные самолеты (вид) 14
Ассоциативные отношения – § связи, возникающие в сознании человека, когда представление об одном предмете (процессе, явлении) вызывает у него представление о предметах (процессах, явлениях), связанных с первым по какому нибудь существенному признаку § основой такого представления служат временные, но достаточно прочные связи, которые образуются у человека под влиянием объективных связей, существующих между разными предметами (процес § сами, явлениями) ¤ Данные связи носят название ассоциаций ¤ 15
Виды ассоциаций: простые и сложные ¤ Простые ассоциации включают: ¤ § ассоциация по смежности (временные и пространственные) § отражают пространственные и временные связи между предметами § Пример пространственных ассоциаций: стол - стул, перо – ручка § Пример временных ассоциаций: листопад - осень, високосный год - олимпийские игры § ассоциация по сходству § возникают в результате обобщения условных связей между предметами на основе наличия у них общих признаков § Пример: озеро - море, буря - шторм § ассоциации по контрасту § возникают вследствие наличия у предметов противоположных свойств § Пример: белый - черный, капитализм - социализм 16
¤ Сложные ассоциации являются смысловыми ассоциациями, возникающими на основе постоянно существующих связей между предметами (явлениями, процессами) объективной действительности ¤ Сложные ассоциации включают: § ассоциации "часть целое" (солдат армия, двигатель автомобиль) § ассоциации "причина следствие" (война разруха, болезнь смерть) § родовидовые связи 17
¤ Перечисленные связи или отношения являются предметно логическими связями, объективно существующими во внешнем мире ¤ Предметно логические отношения парадигматические ¤ Парадигматические отношения относятся к внеязыковым отношениям между словами естественного языка 18
¤ Языковые связи § возникают между словами в пределах конкретного сообщения § не являются постоянными § принадлежат к временным § обуславливаются правилами соединения слов в предложения, учитывающих сочетаемость отдельных слов в соответствии с их смыслом § носят название синтагматических связей § относятся к семантическим (семантика смысл или значение слова, фразы, предложения и т. д. ), с помощью которых передается смысл сообщений из совокупности слов 19
Характеристики языка ¤ Характеристики естественных и искусственных языков можно использовать для оценки качества эффективности языков системы ¤ Характеристики естественного языка: § семантическая сила § многозначность § компактность § стоимость 20
¤ Семантическая сила § наилучшая мера для оценки качества языка § способность языка полно и точно передавать смысл любого сообщения системы § наибольшей семантической силой обладает естественный язык § необходимым требованием к искусственному языку является максимальное приближение величины его семантической силы к семантической силе естественного языка 21
¤ Многозначность § возможность неоднозначного толкования слов, а также представления одного предмета или явления несколькими словами § естественный язык обладает большой многозначностью § многозначность искусственных языков является пре пятствием для понимания смысла сообщений, передаваемых с их помощью § необходимо уменьшить многозначность искусственных языков 22
¤ Виды многозначности: § синонимия § полисемия § омонимия ¤ Синонимия наличие у одного предмета нескольких различных наименований § Пример: § опыт эксперимент § квадрат равносторонний прямоугольник 23
¤ Равноименноеть § употребление одного названия для обозначения не одного, а нескольких разных предметов § Равноименность имеет две разновидности: § полисемия § омонимию 24
¤ Полисемия перенос названия одного предмета на другие предметы, имеющие с ним какие то общие свойства или признаки ¤ Обычно перенос осуществляется на основании сходства (форма, цвет и т. д. ), смежности (временная, пространственная и т. д. ) или по функциональному признаку ¤ Пример: § крыло (птицы) крыло (самолета) крыло (здания) § звезда (небесное тело) звезда (геометрическая фигура) звезда (морское животное) 25
¤ Омонимия совпадение названий различных предметов, не имеющих ничего общего по какому либо признаку § Пример: ключ (родник) ключ (замка), лук (оружие) лук (растение) ¤ Омографы одинаково изображаемые на письме, но разных по значению и звучанию слова § Пример: замок (дворец) замок (дверной) 26
¤ Компактность § физический размер (в символах языка) или длина высказывания, требуемая для передачи определённого количества информации § для целей физической записи информации наилучшими являются те языки, которые обладают наибольшей компактностью 27
Стоимость суммарная характеристика, включающая следующие составные элементы: § 1) стоимость разработки и модификации языка § 2) стоимость обучения пользованию языком § 3) стоимость процесса записи сообщения на языке § 4) стоимость коррекции ошибок, допущенных при записи сообщения ¤ Эталон естественный язык, как обладающий наименьшей стоимостью (о отсутствует первый элемент) ¤ При сравнении искусственных языков по данной характеристике лучшими считаются те, стоимость которых меньше ¤ 28
Лекция Информационно-поисковые языки (часть 2) 29
Информационно-поисковый язык ¤ Для обработки и передачи данных в информационных системах необходимо представление информации на каком либо языке ¤ Возникает проблема выбора языка для использования в системе ¤ Любой тип языка является по своей природе информационным, поскольку предназначен для передачи информации 30
¤ Преимущества естественных языков: § отсутствует необходимость разработки и создания самого языка § отпадает обязательность перевода на данный язык, поскольку обычно смысловое содержание всех сообщений любой системы выражается на естественном языке § исключаются потери информации как при записи, так и при интерпретации содержания документов (подразумеваются потери, связанные с процедурой перевода с одного языка на другой) § нет ограничений на структуру и содержание документа и запросов 31
¤ Условия использования естественного языка: § обработка всех сообщений полностью проводится только человеком § человек владеет языком § человек является специалистом в той области практической деятельности, к которой относятся обрабатываемые сообщения § знание всех понятий и смысловых связей между ними § проведение логического анализа § не все сведения в сообщениях выражены в явном виде, а лишь заложены или подразумеваются в контексте § малые объемы данных в условиях отсутствия временных ограничений 32
Недостатки естественного языка (ЕЯ): ¤ ¤ ¤ большой объем лексики языка (словарь русского языка около 200 000 слов) отсутствие четкой логической схемы языка наличие всевозможных исключений из правил значительное количество форм, выражающих грамматические конструкции (в русском языке 157 различных глагольных окончаний) наличие значительного процента в лексике неоднозначных слов возможность выражения одного и того же смысла различными словами и словосочетаниями за счет изменения синтаксических конструкций фраз и равноценной замены отдельных слов эквивалентными по смыслу Следствия: § отсутствие адекватных моделей грамматической и семантической структур ЕЯ § невозможность использования ЕЯ в качестве основного средства для записи и передачи сообщений с целью их эффективной обработки § использование ЕЯ ограничено: запись вспомогательной и служебной информации и смыслового содержания первичных и вторичных документов ИС, которые непосредственно не используются в процессе проведения информационного поиска 33
В ИС нужны языки, у которых должна быть оптимальной только функция передачи информации (коммуникативная) § аппеллятивная, фактическая и эмотивная функции для нужд хранения и обработки данных практически не нужны Информационно поисковым языком (ИПЯ) называется ¤ специализированный искусственный язык, предназначенный для выражения основного смыслового содержания поступающих в систему сообщений (документов об объектах ИС и информационных запросов) Основные цели разработки и использования ИПЯ: ¤ накопление, логическая обработка, поиск и выдача документов об объектах (или отдельных фактов из них) в ответ на информационные запросы пользователей ИС 34
Отличия ИПЯ от ЕЯ: симметричность знаков благодаря отсутствию неоднозначности (синонимии, полисемии и омонимии) § каждому смыслу соответствует одна последовательность символов языка и наоборот ¤ представление в явном виде парадигматических (родовидовых и ассоциативных) отношений между словами с помощью специальных средств § позволяет повышать семантическую силу ИПЯ ¤ 35
Отличия ИПЯ от ЕЯ (продолжение): ¤ ограничение возможностей перефразирования за счет устранения синонимии и использования строгих правил синтаксиса, определяющих расположение знаков в записи на ИПЯ § способствует достижению однозначной записи смысла средствами языка и позволяет ускорять поиск информации за счет снижения до минимума количества вариантов записи одного смысла и, как следствие, уменьшения числа перебираемых вариантов 36
Отличия ИПЯ от ЕЯ (продолжение): ¤ необязательность фонетического выражения знаков ИПЯ вследствие ориентации на письменную форму выражения в виде последовательности букв, цифр и специальных знаков ¤ значительно большая роль имен по сравнению с глаголами § в первую очередь в ИС ставится задача передачи существенных сведений о предметах и явлениях объективной действительности, во вторую очередь об отношениях между ними 37
Отличия ИПЯ от ЕЯ (продолжение): ¤ отсутствие специального аппарата для выражения эмоций, установления контакта со слушающим ¤ существенное ограничение избыточности – § величины, на которое удлиняется сообщение по сравнению с минимальной длиной необходимой для передачи смысла 38
¤ Структура ИПЯ упрощена по сравнению с ЕЯ 39
Алфавит ИПЯ Используется определенная конечная совокупность знаков (букв, цифр, некоторых специальных символов) или алфавит, с помощью которого создается лексика и реализуется грамматика ¤ В разных ИПЯ употребляются различные алфавиты ¤ Закономерность использования знаков ¤ § лексика ИПЯ использует буквенные и цифровые символы § специальные символы (+ : = ) употребляются в качестве грамматических средств для построения слов и предложений ¤ Обычно алфавит ИПЯ выбирается на основании практических соображений удобства использования с учетом ряда факторов: внутренней структуры, средств технической реализации информационных систем и т. д. 40
Лексика (словарный состав ) ИПЯ Как правило, словарный состав ИПЯ базируется на лексике ЕЯ ¤ Проводится отбор терминов для ИПЯ в целях их дальнейшего использования для записи и передачи сообщений в системе § имена существительные (агент, разведчик, отдел) § имена прилагательные (доверенное лицо) § имена числительные (первый отдел) § глаголы (отсутствует контакт) § словосочетания (2 и более слов естественного языка рассматриваются в ИПЯ как его отдельные слова) ¤ § секретный сотрудник, доверенное лицо, старший оперуполномоченный § имена собственные (Латинская Америка, Англия) § хронологические даты и другие цифровые характеристики § 1974 год, 35 - возраст в годах § устойчивые условные сокращения слов (аббревиатуры) § ИПС - информационно-поисковые системы § УФСБ - управление Федеральной Службы Безопасности 41
¤ В качестве основных лексических единиц могут использоваться индексы § цифровые § буквенные § смешанные (буквенно цифровые) ¤ Индексы являются условными обозначениями понятий, используемых в языках для описания объектов информацион ных систем 42
¤ Пример использования индексов УДК (Универсальная Десятичная Классификация знаний): § § § § § 5 Математика. Естественные науки 51 Математика. 52 Астрономия. Геодезия. 53 Физика. 54 Химия. 55 Геология, Геологические и геофизические науки. 56 Палеонтология. 57 Бислогические науки. 58 Ботаника. 59 Зоология. 43
Правила образования (построения) ¤ Для построения слов и предложений в ИПЯ используются определенные правила образования (построения), совокупность которых образует грамматику ¤ Правила классифицируются на § морфологические обеспечивают процедуру образования слов § синтаксические – для формирования фраз и предложений 44
Если ИПЯ обладают лексикой, которая представляет собой фрагмент словаря естественного языка, то у таких ИПЯ отсутствует собственная морфология, а следовательно, и правила построения слов ¤ Синтаксические правила элемент большинства ИПЯ ¤ Средства построения предложений из слов в ИПЯ: ¤ § специальные символы (для ИПЯ с ярко выраженным синтаксисом) § Синтаксис ИПЯ использует парадигматические (иерархические и ассоциативные) и синтагматические (текстуальные) отношения, существующие между элементами лексики § координация слов за счет жесткой структуры (анкетная; для ИПЯ со слабым синтаксисом) § Для построения предложений употребляются лишь иерархические и ассоциативные связи между словами 45
Правила интерпретации ИПЯ ¤ Правила интерпретации – правила перевода слов и предложений (фраз) ИПЯ на соответствующий ЕЯ ¤ Задаются в виде двуязычных словарей, в которых каждой лексической единице ИПЯ ставится в однозначное соответствие определенное слово или выражение естественного языка, и наоборот 46
Требования к ИПЯ ¤ Следующие факторы определяют требования к ИПЯ: § необходимость получения большой семантической силы языка для адекватного описания смыслового содержания поступающих в систему документов § требования оперативной обработки больших массивов данных, накапливаемых в ИС 47
Требования к ИПЯ ¤ Для устранения трудностей перевода между ИПЯ и ЕЯ необходимо, чтобы лексика и грамматика ИПЯ была близка к ЕЯ § В противном случае перевод с ЕЯ на ИПЯ будет сопровождаться большими затратами времени и значительны количеством ошибок ¤ Лексика ИПЯ должна охватывать область применения информационной системы с доста точной степенью полноты § В целях увеличения эффективности информационного обеспечения потребителей ¤ В лексике ИПЯ необходимо полностью устранить семантическую неоднозначность (синонимию, полисемию, омонимию) § Каждое понятие должно выражаться только одним словом (одной строго определенной последовательностью символов алфавита ИПЯ) § Каждое слово должно выражать только одно понятие 48
Требования к ИПЯ (продолжение) ¤ Синтаксис информационно поискового языка должен быть строго формализован в целях однозначного семантического истолкования предложений (фраз) ИПЯ § необходимо устранение возможностей перефразирования Лексика и грамматика ИПЯ должна исключать все элементы, определенным образом связывающие сообщения с источниками и потребителями информационной системы ¤ ИПЯ должен обладать возможностями модификации или совершенствования, т. е. обладать свойством адаптации (приспособления) к непрерывно изменяющимся внешним и внутренним условиям функционирования ИС ¤ § ИПЯ обязан оперативно реагировать на изменения § в содержании и формах сообщений, поступающих в систему § информационных потребностей потребителей 49
Классификация информационно поисковых языков ИПЯ Классификационные (предкоординатные) Дескрипторные (посткоординатные) иерархические Со слабым синтаксисом фасетные С сильным синтаксисом алфавитно-предметные 50
Классификационные языки ¤ В лексический состав включены § слова, выражающие простые понятия § словосочетания и фразы, выражающие сложные понятия ¤ Для записи смыслового содержания сообщений используются только отдельные элементы из этого набора (в том числе и готовые сложные понятия) § Фактически построение сложных синтаксических конструкций заменяется выбором соответствующего сложного понятия (в виде словосочетания или фразы) из готового набора § С помощью таких ИПЯ производится классификация сообщений, т. е. отнесение их к классам, обозначенными лексическими единицами ИПЯ 51
Классификационные языки Предкоординируемые: § сложные понятия задаются заранее, до начала процедуры записи сообщений с помощью ИПЯ § образующие сложные понятия слова также заранее связаны (скоординированы) определенными связями ¤ Семантическая сила данных ИПЯ фактически зависит от степени детализации лексики языка ¤ Недостаточность словарного состава классификационных ИПЯ ведет к малой семантической силе 52
Дескрипторные языки ¤ Лексические единицы заранее не связаны текстуальными отношениями § Сложные синтаксические конструкции (предложения или фразы) создаются в этих языках путем объединения (координации) лексических единиц во время процедуры представления смыслового содержания документов системы 53
Дескрипторные языки Посткоординируемые: ¤ Готовых предложений или фраз в ИПЯ нет ¤ Отсутствуют ограничения на составление сложных понятий § Небольшое число лексических единиц § Возможность построения предложений, выражающих практически любой смысл ¤ Координация между словами предложения возникает во время записи ¤ Обладают большой семантической силой 54
ИПЯ классификационного типа. Общие принципы ¤ Принцип классификаций § распределение предметов или отношений по группам (классам) на основании общего признака, присущего предметам данного рода и отличающего их от предметов других родов § каждый полученный класс предметов или отношений должен занимать во всей системе созданных классов определенное и строго фиксированное положение § классификация осуществляется путем деления понятия по определенному признаку 55
ИПЯ классификационного типа. Общие принципы ¤ Основание деления § признак деления ¤ При классификации основание деления не является постоянным ¤ Для каждого полученного класса в качестве основания деления берется новый специфичный признак, позволяющий проводить дальнейшее деление этого класса 56
ИПЯ классификационного типа. Общие принципы Должны выполняться формально логические требования: ¤ деление понятия должно проводиться только по одному основанию (признаку) ¤ деление должно быть обоснованным § в качестве основания деления необходимо выбирать наиболее существенный признак получаемые в результате деления подклассы должны исключать друга ¤ подклассы должны быть соразмерны по объему ¤ деление на подклассы должно осуществляться непрерывно и без скачков ¤ § деление понятия проводится последовательно сверху вниз от высшего класса к низшему 57
ИПЯ классификационного типа ¤ Пример: деление понятия "Самолеты гражданской авиации" § признак А "Тип самолета": § пассажирские § транспортные § специальные § признак В "Число моторов": § одномоторные § двухмоторные § четырехмоторные § признак С "Геометрия расположения крыла": § низкое расположение крыла § среднее расположение крыла § высокое расположение крыла 58
Первый этап деления: ¤ в качестве основания деления использован признак А "Тип самолета" В результате получены 3 новых класса: § 11"Самолёты гражданские пассажирские" § 12 "Самолеты гражданские транспортные" § 13 "Самолеты гражданские специальные" 59
¤ Второй этап деления: § в качестве основания деления использован признак В "Число моторов" ¤ Деление класса 11 на 3 класса: § 111 "Самолеты гражданские пассажирские одномоторные" § 112 "Самолеты гражданские пассажирские двухмоторные" § 113 "Самолеты гражданские пассажирские четырехмоторные" 60
¤ Третий этап деления: § в качестве основания деления использован признак С "Геометрия расположения крыла" ¤ Деление класса 111 на 3 класса: § 1111 "Самолеты гражданские пассажирские одномоторные с низким расположением крыла" § 1112 "Самолеты гражданские пассажирские одномоторные со средним расположением крыла" § 1113 "Самолеты гражданские пассажирские одномоторные с высоким расположением крыла" 61
¤ ¤ ¤ ¤ ¤ 1 Самолеты гражданские 11 Самолеты гражданские пассажирские 111 Самолеты гражданские пассажирские одномоторные 1111 Самолеты гражданские пассажирские одномоторные с низким расположением крыла 1112 … 1113 Самолеты гражданские пассажирские одномоторные с высоким расположением крыла 112 Самолеты гражданские пассажирские двухмоторные 1121 … 1122 … 1123 … 113 Самолеты гражданские пассажирские четырехмоторные … 12 Самолеты гражданские транспортные … 13 Самолеты гражданские специальные … 1333 Самолеты гражданские специальные четырехмоторные с высоким расположением крыла 62
¤ Полученные классы связаны друг с другом определенными отношениями: § иерархией (подчинением) § соподчинением Иерархия § отношение, при котором один класс является подклассом другого класса, по объему значительно превосходящего первый ¤ Соподчинением § отношение между подклассами одного класса ¤ Пример отношения типа иерархии (подчинения): ¤ § отношение между классом 11 и подклассами 111, 112 и 113 ¤ Пример отношения типа соподчинения: § отношения между подклассами 111, 112 и 113 63
Представление классификации в графическом и табличном видах ¤ Граф иерархической классификации 64
¤ Представление иерархической классификации кругами Эйлера 65
¤ Иерархическая классификация в виде таблицы 66
Библиотечно-библиографические классификации (ББК) предназначены для систематизации книг и других документов ¤ являются информационно поисковыми языками классификационного типа ¤ Запись смыслового содержания документов осуществляется в виде наименования (индекса) класса, которому это содержание соответствует ¤ Решаются задачи: ¤ § размещение документа (книга, реферат и т. д. ) в определенном месте классификационной схемы § быстрый поиск документа на основании знания места, закрепленного за ним в схеме классификации § группировка документов, которые с точки зрения потребителя должны находиться в одном месте ¤ Библиотечно библиографические классификации подразделяются на 3 основных вида: § иерархические (перечислительные) классификаций § фасетные классификации § алфавитно предметные классификации 67
Иерархические классификации ¤ Дата рождения современных ИПЯ этого типа 1876 год § появление Десятичной классификации Дьюи ¤ Разновидности иерархических классификаций: § Универсальная Десятичная Классификация (1905 1907 г. г. ) § Классификация Библиотеки Конгресса США (1901 г. ) § Библиографическая классификация Блисса (1935 г. ) 68
¤ Основа всех иерархических классификаций принцип перечисления § перечислительные классификации ¤ заключается в том, что в ИПЯ данного типа пытаются создать отдельные исчерпывающие классы для всех возможных предметов путем перечисления этих классов 69
База для использования принципа перечисления: ¤ предметную область, представляющую интерес, можно разбить на ряд классов ¤ процесс разбиения можно осуществлять последовательно в отношении получаемых подразделений (классов) классификации ¤ предел создание полной системы классов, охватывающей всю предметную область Пример: схема деления понятие "Самолеты гражданской авиации" 70
¤ Фрагмент Универсальной Десятичной Классификации: § 6. Прикладные знания. Медицина. Техника. § 62. Инженерное дело. Техника § 621. Общее машиностроение и машиноведение. Электротехника § 621. 3. Электротехника. 71
¤ Каждому классу иерархической классификации присваивается определенный код индекс § "индексирование" проставление документу индекса (класса), соответствующего смысловому содержанию этого документа § Индексы: § цифровые § буквенные § смешанные 72
¤ Лексика иерархических классификаций совокупность различных индексов § Цифровые индексы § более очевидна порядковая последовательность цифр, чем алфавитная последовательность букв в буквенных индексах ¤ Иерархические классификации – ИПЯ с ярко выраженной грамматикой (четко выделяются морфология и синтаксис) 73
¤ Особенность морфологии иерархических классификаций: § большая часть слов из морфологического состава данных языков, представленного индексами, содержат в себе в качестве составных частей другие слова (индексы), являющиеся родовыми по отношению к составным Пример: индекс (слово) 1132 ("самолеты гражданские пассажирские четырехмоторные со средним расположением крыла") ¤ Включает индексы: ¤ § 1 самолеты гражданские § 11 самолеты гражданские пассажирские § 113 самолеты гражданские пассажирские четырехмоторные. 74
Недостатки иерархической классификации: § Строя класс для какого нибудь понятия, необходимо пользоваться в строгой последовательности всеми классами, являющимися более общими по отношению к данному § Пример: § С помощью трех признаков А, В и С можно получить различные, обладающие следующими соотношениями признаков, классы А, В, С, АВ, АС, ВС, АВС § В иерархической классификации получены классы только для трех сочетаний: А, АВ и АВС § Для отыскания документов по остальным сочетаниям признаков требуется проведение информационного поиска в нескольких классах § Документы о гражданских самолетах со средним расположением крыла надо находить одновременно в 9 классах: 1112, 1122, 1132, 1212, 1222, 1232, 1312, 1322 и 1332 § Принцип перечисления вызывает необходимость использования только лимитированного набора готовых индексов для записи смыслового содержания сообщений, поступающих в систему § Отсутствует возможность многоаспектного индексирования документов 75
Фасетные классификации ¤ Цель создание ИПЯ, которые устраняют недостатки иерархических классификаций ¤ 1933 год индийский ученый Ранганатан предложил принципы фасетных (или аналитико синтетических) классификаций ¤ Основа комбинационный принцип ("фасетный анализ") Вместо перебора всех классов предметов составляется перечень основных категорий (классов) предметов, применяемых в данной области ¤ Из основных категорий (фасетов) можно составлять практически неограниченное число сложных классов ¤ 76
Фасет (по Ранганатану) определенный аспект рассмотрения предмета внутри конкретной отрасли науки и знания ¤ Этапы проведения фасетного анализа: ¤ выделяются фасеты, с помощью которых возможно деление на классы ¤ § получение фасетов представляет собой классификацию с одновременным использованием в качестве основания деления не одного признака, а сразу нескольких ¤ сбор терминологии, используемой в данной конкретной области, и ее распределение по классам § термин фасета носит название фокуса ¤ фасетам и фокусам присваиваются индексы (сочетание латинских букв и арабских цифр) 77
§ А 1 С 2 Е 2 (гражданские пассажирские двухмоторные самолеты с средним расположением крыла) § А 1 Е 2 (гражданские пассажирские самолеты с средним расположением крыла) Возможность пропуска отдельных фасетов, а также использование их различных комбинаций делают фасетные классификации более гибкими по сравнению с иерархическими ¤ Фасетные классификации позволяют охватывать все классы, на которые разбиваются иерархические ИПЯ ¤ 78
Проблема фасетных языков ¤ класс "Самолеты гражданские пассажирские двухмоторные с средним расположением крыла" можно представить в виде 6 комбинаций фокусов: § А 1 С 2 Е 2 А 1 Е 2 С 2 С 2 А 1 Е 2 С 2 Е 2 А 1 С 2 Е 2 С 2 А 1 ¤ для успешного поиска документа необходимо иметь 6 его поисковых образов 79
¤ Идея записи поискового образа документа в единственном экземпляре (предложена Ранганатаном) ¤ Устанавливается жесткий порядок перечисления (последовательность) фасетов в их комбинациях на основании приоритета фасетная формула ¤ Приоритетный порядок использования фасетов устанавливается на основании специфики информационной системы § для ИС аэропорта фасетная формула АСЕ § для информационной системы конструкторского бюро по проектированию авиационных двигателей САЕ 80
В целях успешного поиска поисковый образ любого документа вводится в информационный массив по первому (главному) фасету в его индексе ¤ Информационный поиск проводится сначала по первому фасету запроса ¤ Далее в соответствующем подмассиве по второму индексу и т. д. ¤ Если фасетная формула поискового предписания (запроса) содержит не все фасеты (А 1 Е 2), то поиск проводится фактически по нескольким предписаниям с недостающими фасетами (А 1 С 1 Е 2, А 1 С 2 Е 2 и А 1 С 3 Е 2) ¤ 81
¤ Достоинства ИПЯ фасетного типа: § возможность проведения многоаспектного индексирования сообщений за счет комбинаций фокусов различных фасетов § концентрация в одном месте всех аспектов какого либо предмета § лучшая приспособленность для расширения лексики (ввод новых терминов значительно облегчен по сравнению с иерархическими языками) § узкоспециализированная направленность 82
¤ Недостатки ИПЯ фасетного типа: § сложность разработки таких ИПЯ, § значительные затраты средств на их создание § невозможность использования любых характеристик для индексирования документов и проведения информационного поиска § ограниченность числа фасетов и фокусов 83
Алфавитно-предметные классификации (АПК) ¤ ¤ ¤ Языки предметных заголовков 1876 г. Ч. А. Кеттер – предложена система основных правил составления и применения языков данного типа Основной словарный состав представляет упорядоченное по алфавиту множество слов, словосочетаний и фраз естественного языка, обозначающих понятия (предметы) определенной области деятельности человеческого общества Особенность АПК отсутствие индексов для обозначения терминов лексики Лексика данного типа ИПЯ является наиболее читабельной из лексик классификационных языков 84
¤ К предметным заголовкам относятся слова, обозначающие опреде ленные понятия ¤ Предметные заголовки являются главными средствами записи смыслового содержания сообщений ¤ Совокупность всех предметных заголовков АПК, упорядоченная по алфавиту, называется предметным словником, § является основным нормативным пособием алфавитно предметных классификаций 85
¤ В предметный словник включаются предметные подзаголовки § слова, словосочетания и фразы естественного языка, обозначающие определенные аспекты рассмотрения понятий, указанных с помощью предметных заголовков ¤ Для уточнения и конкретизации самих предметных подзаголовков используются предметные записи § отдельные слова, словосочетания или фразы естественного языка § Как правило, предметные записи в словник АПК не включается 86
¤ Пример словника фрагмент АПК Ассоциации вычислительной техники США: § § § § Обработка деловых данных Общие вопросы Бухгалтерский учет Опись. . . Языки программирования Образование и вычислительные машины Общие вопросы Методика машинного обучения. . . Цифровые машины Применения в управлении Общие вопросы Математические методы Моделирование процессов управления и теория игр 87
Основные типы предметных заголовков, используемых в АПК: ¤ 1. Простые существительные (для многозначных слов дается пометка, определяющая значение, в котором они используются) § Опись. § Цифры. § Ключи (шифровальные). ¤ 2. Двучленные и многочленные словосочетания следующих теп § а) словосочетания вида АS и ААS , где А прилагательное, а S существительное: § Общие вопросы. Математические методы. Цифровые вычислительные машины § б) беспредложные словосочетания вида SS, S(АS) S и т. д; § Языки программирования. Методика машинного обучения § в) предложные словосочетания Sр. S, Sр. АS, (AS)р. S и т. д. , § где р предлоги "в", "из", "для", "как", выражающие обстоятельственные отношения: § Моделирование в оперативной деятельности ¤ 3. Грамматически не связанные комбинации слов вида § S-S, S-АS, АS-АS и т. д. : § Двигатели конструкция. § Автомобили производство использование. § Стрелковое оружие убойная сила. 88
¤ Устранение синонимии как отдельных слов, так и словосочетаний и фраз достигается путем введения отсылок "см" от каждого из синонимичных элементов к тому, который назначен предметным заголовком: § § ¤ Язык информационный см. : Язык информационно поисковый. Лицо доверенное см. : Агент. С помощью отсылки "см. " в словнике обозначаются парадигматические отношения "вид род": § Система информационно поисковая § см. : Система информационная. 89
¤ Для обозначения отношений "род вид", ассоциативных связей типа "часть целое" используется отсылка "см. также": § § § Язык дескрипторный. см. также: Язык информационно поисковый см. также: Язык информационный Подсистема поиска см. также: Система информационно поисковая. 90
Важная задача при разработке алфавитно предметных классификаций выделение ведущих слов в словосочетаниях и фразах, используемых в качестве предметных заголовков ¤ Для указания или выделения ведущих слов в предметных заголовках используется инверсная (обратная) форма записи словосочетаний: § предусматривает запись на первом месте ведущих слов предметных заголовков (как правило, имен существительных): § Сотрудник секретный § Система управления автоматизированная ¤ 91
¤ Явных грамматических средств в АПК нет, поэтому данные языки относятся к информационным языкам без грамматики. § Отсылки "см. ", "см. также" и выделение ведущих слов в словосочетаниях являются неявным грамматическим инструментом в алфавитно предметных классификациях 92
Достоинства алфавитно предметных классификаций: ¤ простой ввод новых лексических единиц предметных заголовков § требует проведения строгого контроля за словами, словосочетаниями и системой смысловых связей между самими заголовками алфавитный порядок расположения названий предметов, являющийся общеизвестным (используется в словарях, справочниках, энциклопедиях и т. д. ) ¤ простота изучения языка и правил пользования им ¤ возможность ручного поиска с использованием АПК (по одному признаку) ¤ принципиальная возможность использования для записи смыслового содержания неограниченного числа документов ¤ 93
Недостатки АПК: ¤ невозможность проведения поиска по многим признакам (предметным заголовкам) и по любым их сочетаниям ¤ использование многочисленных перекрестных ссылок (отсылок) значительно усложняет структуру АПК § в значительной степени напоминает структуру иерархических классификаций большой лексикографический контроль за словарным составом, связанный с отсутствием кодирования (индексов, шифров) ¤ невозможность применения АПК в качестве международных ¤ § используют определенный национальный естественный язык ¤ сложность разработки АПК § нет возможности выражения смыслового содержания документов информационных систем практически одной лексической единицы предметного заголовка Как правило, областью применения алфавитно предметных классификаций является индексирование книг, периодических изданий, статей 94
Метод координатного индексирования ¤ Общий недостаток классификационных информационно поисковых языков § невозможностью обеспечения поиска документов информационных систем по любому сочетанию признаков или характеристик, которые заранее не заданы ¤ 50 е г. г. ХХ века разработан метод координатного индексирования, который лег в основу дескрипторных языков 95
¤ Отличительные особенности: § возможность использования заранее неопределенных ( фиксированных) понятий § употребление большого числа терминов для записи смыслового содержания сообщений с учетом как можно большего числа их аспектов (признаков) § наличие словарного состава, позволяющего практически полностью охватывать предметную область использования информационных систем 96
¤ База метода координатного индексирования § представление о том, что основное смысловое содержание любого сообщения можно с большой степенью полноты и точности выразить определенным списком соответствующих (ключевых) § слов § Ключевые слова явно содержатся в сообщении или присутствуют в нем косвенно, в скрытом виде § Ключевые слова § обладают назывной функцией (способностью самостоятельного выделения объектов) § служат для выражения смыслового содержания документов об объектах системы и информационных запросов 97
¤ Слова, обладающие назывной функцией: § § § § имена существительные имена прилагательные имена числительные глаголы наречия (не используются в КИ) местоимения (не используются в КИ) имена собственные 98
Ключевые слова отдельные слова, словосочетания ¤ Ключевые слова используются в качестве основных элементов для выражения смысла документов (запросов) ¤ Выполняют две функции: § информационную (при описании соответствующих признаков документа об объекте системы в его поисковом образе) § поисковую (при использовании в качестве поисковых признаков информационного запроса в поисковом предписании) ¤ Метода координатного индексирования метод ключевых слов ¤ 99
Пример: ¤ сообщение : § "Сегодня около военного объекта в г. Пскове замечена легковая автомашина марки "Фиат". Полностью номер увидеть не удалось, но по косвенным признакам можно предполагать, что она принадлежит французской дипломатической миссии". 25 августа 2013 года. ¤ Ключевые слова, адекватно выражающие смысловое содержание сообщения: § § § 1. Военный объект. 2. Дипломат. 3. Псков. 4. Фиат. 5. Франция. 6. 25. 08. 2013. 100
Вместо текста документа из 33 слов получен его поисковый образ, состоящий из 6 ключевых слов (выполняющих информационную функцию) ¤ Запрос: ¤ § «Дать информацию о всех дипломатах, интересующихся военными объектами города Пскова» ¤ Поисковое требование (поисковый образ запроса) представляется ключевыми словами (выполняют поисковую функцию как основную: § 1. Военный объект. § 2. Дипломат. § 3. Псков. 101
¤ Документ, поисковый образ сформулирован в виде 6 слов: § § § 1. Военный объект. 2. Дипломат. 3. Псков. 4. Фиат. 5. Франция. 6. 25. 08. 2013. ¤ Три ключевых слова присутствуют в поисковом предписании: § 1. Военный объект. § 2. Дипломат. § 3. Псков. 102
Метод координатного индексирования § способ выражения основного смыслового содержания сообщений в виде определенной со ¤ Ключевые слова заранее не скоординированы для выражения определенных понятий (классов) ¤ Ключевые слова не связаны до индексирования друг с другом ¤ Ключевые слова не влияют друг на друга, а функционируют самостоятельно Координация ключей слов для обозначения всевозможных понятий проводится в процессе выражения с их помощью основного смыслового содержания сообщений систем ¤ 103
¤ СТАНДАРТИЗАЦИЯ ИНФОРМАЦИОННО ПОИСКОВЫХ ЯЗЫКОВ ПО ГОСТ 7. 74 96 § Постановлением Государственного комитета Российской Федерации по стандартизации, метрологии и сертификации от 27 ноября 1996 г. № 651 межгосударственный стандарт ГОСТ 7. 74– 96 «Информационно поисковые языки. Термины и определения» введен в действие непосредственно в качестве государственного стандарт Российской Федерации с 1 июля 1997 г. ¤ 104
¤ Данный стандарт состоит из следующих частей: § § § Область применения. Информационно поисковые языки. Основные элементы ИПЯ. Классификационные системы. Языки предметных рубрик. Предметизационные ИПЯ. § Дескрипторные ИПЯ 105
Классические схемы функционирования документальных АИПС ¤ Ретроспективный поиск. В АИПС режима РП могут быть выделены три функциональных блока: контура обработки документов, контур обработки запросов, блок поиска и выдачи документов 106
¤ Избирательное распределение информации. В АИПС режима ИРИ поток не сохраняющихся ПОД взаимодействует с массивом постоянно действующих запросов (профилей ИРИ, поисковых образов абонентов — ПОА) 107
Скачать презентацию Разработка и эксплуатация АИС Информационно поисковые
яЛекция 7 ИПЯ (4 часа).ppt