Поиск информации в WWW Поисковые каталоги Поисковые указатели

Поиск информации в WWW Поисковые каталоги Поисковые указатели Рейтинговые службы Поисковые системы

Рост Web-пространства Веб мониторинговая компания Netcraft 08 февраля этого года опубликовала отчет о количестве работающих в интернете сайтов и персональных блогов к 1 февраля. Согласно данным Netcraft, к февралю в сети работали 612 843 429 сайтов и блогов, что на 5, 2% или 30 млн больше, чем месяцем ранее.

Поисковые службы Для поиска информации в Сети используются специальные поисковые службы. Обычно поисковая служба — это компания, имеющая свой сервер, на котором работает некая поисковая система.

Рождение новых гигантов Услуги абсолютного большинства поисковых служб бесплатны, но, тем не менее, по темпам роста сегодня это самый эффективный бизнес в мире. Всего за несколько лет такие службы как Yahoo!, Alta Vista, Inktomi и другие развились от лабораторных проектов с бюджетом в десятки тысяч долларов до компаний, стоимость которых составляет 10 15 миллиардов долларов.

Основы поисковых служб Сегодня пользователь World Wide Web оказывается в той же ситуации, что и читатель крупной библиотеки. Чем больше фонды библиотеки, тем труднее найти именно ту книгу, которая сейчас нужна. Для упрощения поиска в библиотеке существуют каталоги: систематический, алфавитный, предметный и другие. Существуют и специализированные каталоги, например каталоги новых поступлений.

Поиск в Интернет Умение пользоваться поисковыми службами составляет умение пользоваться Интернетом.

Поисковый запрос Все поисковые системы WWW основаны на гиперссылках. Обращаясь к поисковой службе, мы формулируем запрос, в котором формально описываем то, что хотим найти. Проведя нужные операции, служба формирует Web документ, состоящий из гиперссылок, ведущих к ресурсам WWW, соответствующим нашему запросу. Какой из этих гиперссылок мы воспользуемся — дело наше.

Рекомендованные гиперссылки Несмотря на то, что результат всегда един (клиент получает список рекомендованных гиперссылок) Принцип действия у разных поисковых служб может быть различным.

Типы поисковых служб Поисковые каталоги Поисковые указатели Рейтинговые службы

Поисковые каталоги похожи на предметные каталоги общественных библиотек. На начальной странице поискового каталога мы выбираем тему, которая нас интересует, затем в рамках темы выбираем категорию, потом подкатегорию, и так далее, пока не получим конкретный список Web ресурсов, рекомендованных для просмотра

Yahoo! Крупнейшим поисковым каталогом мира сегодня считается поисковая система Yahoo! (www. yahoo. com) Она предоставляет примерно 1 млн. ссылок к ресурсам WWW, то есть охватывает чуть более тысячной доли всего Web пространства

Недостаток поисковых каталогов Основным недостатком и, в то же время, достоинством поисковых каталогов является «человеческий фактор» . Данные, которые заносятся в каталог, проходят «ручную обработку»

Yahoo! Сегодня на Yahoo! работают до 150 редакторов, ежедневно просматривающих Web пространство в поисках наиболее ценных ресурсов по темам, вызывающим общественный интерес. Тщательность в подборе информации обеспечивает высокую репутацию Yahoo!, несмотря на то, что совокупный объем ее ресурсов крайне мал.

Yahoo! Также теоретически любой владелец Web страницы может самостоятельно заполнить положенную анкету и направить ее в адрес службы. Правда, гарантии, что страница будет включена в каталог Yahoo!, это не дает, поскольку служба не замусоривает свои каталоги ссылками на страницы однодневки

Open Directory Другой подход к формированию каталога демонстрирует поисковая служба Open Directory (dmoz. org) В качестве источника для своих ресурсов она привлекает пользователей WWW, которые на добровольной основе могут обозревать понравившиеся им Web страницы, каталогизировать их и размещать ссылки на них на центральном сервере службы

Open Directory Поскольку число добровольных помощников может быть очень большим, у этой службы есть все шансы перекрыть успех Yahoo!. Но принцип добровольности не гарантирует качественности работы, поэтому каталоги, равные Yahoo по качеству, по видимому, появятся еще не скоро

Поисковые указатели (индексы) Большинство поисковых служб мира — поисковые указатели. Они ставят перед собой задачу как можно лучше охватить информационное пространство WWW и представить его пользователям в удобном виде. Для каталогов и рейтинговых систем эта задача неразрешима в принципе, а поисковые указатели имеют для этого специальные средства.

Принцип действия поискового указателя похож на принцип действия предметного каталога библиотеки. Пользователь формирует запрос с помощью ключевых слов, выражающих объект его поиска, а поисковая система выдает ему список ссылок на Web страницы, содержащие данные ключевые слова

Принцип действия поискового указателя Поисковая система находит по своим базам данных (они называются индексами или указателями) адреса Web ресурсов, в которых присутствуют ключевые слова, и выдает клиенту Web страницу со ссылками на эти ресурсы: такая Web страница называется результирующей.

Пример поиска Если мы хотим найти информацию, посвященную взаимоотношениям А. Вольта с Н. Бонапартом, можно задать поиск документов, в которых одновременно встречаются слова Вольта и Бонапарт, например, так: +Вольта +Бонапарт или так: Вольта AND Бонапарт

Отличие поисковых указателей от каталогов Основное отличие поисковых указателей от поисковых каталогов состоит в полной автоматизации всех этапов работы. Здесь отсутствует «человеческий фактор» , и потому количество Web страниц, по которым ведет поисковый указатель, намного больше.

Старейшие поисковые указатели К старейшим и известнейшим мировым поисковым указателям относятся Alta. Vista, Hot Bot, Lycos, Metacrawler. Самой мощной сегодня считается система Inktomi

Оптимальные поисковые указатели Самым большим указателем, приближающимся к 300 млн Web документов, обладает поисковая система Fast Search, а самый удобный для научных исследований указатель имеет система Northern Light

Отечественные поисковые системы В России поисковые указатели развиты очень хорошо. Мы можем назвать три крупнейших системы: Апорт, Яндекс и Рэмблер. Объем проиндексированного Web пространства в России немал (10 20 млн. Web страниц). Хотя он заметно уступает общемировому, но развивается ускоренными темпами

Несамостоятельные поисковые системы Многие поисковые системы на самом деле не ведут собственные базы данных, а направляют наши запросы к ней и возвращают нам полученные результаты от своего имени.

Сравнение поисковых каталогов и указателей У каждого из двух основных типов поисковых служб есть достоинства и недостатки

Достоинства поисковых каталогов Ответственные редакторы поискового каталога, имеющие солидное образование в большинстве областей науки, техники и культуры формирует каталоги так, что найденный по ним ресурс не будет случайным. Его можно считать рекомендованным, так как он гарантированно попадает в первую 20 ку по вашей теме

Достоинства поисковых каталогов Поисковые каталоги удобнее и тем, что там не бывает десятков ссылок на один и тот же ресурс, размещенный в разных местах или проиндексированный в разное время.

Достоинства поисковых каталогов Таким образом поисковые катологи наилучшим образом подходят для быстрого тематического поиска

Недостотаток поисковых катологов Относительный показатель обработанных ресурсов к общему числу ресурсов Интернет падает с каждым годом Крупнейший поисковый каталог Yahoo! за шесть лет своей работы довел количество обработанных ресурсов до миллиона, в то время как каждый год появляются сотни миллионов новых Web страниц

Достоинство поисковых указателей Поисковые указатели черпают свою исходную информацию от поисковых роботов, день и ночь ползающих по просторам WWW. Процесс сбора информации полностью автоматизирован, поэтому объем проиндексированного пространства намного больше, чем у поисковых каталогов. Сегодня этот показатель превышает 25% общего пространства Сети

Недостаток поисковых указателей С другой стороны, отсутствие человеческого фактора сказывается на качестве того, что можно найти через поисковые указатели. Для робота совершенно все равно, написана ли статья по физике академиком или школьником. При рейтинговании робот может даже поставить страницу школьника выше.

Рекомендации по использованию поисковых каталогов Поисковые каталоги лучше использовать для ознакомительного поиска, когда тема известна, а предпочтений нет. Например, при подготовке школьного реферата на тему «Теория относительности» достаточно воспользоваться общеизвестными Web ресурсами

Рекомендации по использованию поисковых указателей Поисковые указатели стоит использовать для более глубоких или экзотических розысков. Например, поисковый указатель, проиндексировавший 300 миллионов Web страниц, может предложить какой то уникальный отчет о семинаре, проведенном в университете штата Айдахо или в Новосибирске.

От чего зависит качество поиска? Основных параметров, с помощью которых оценивают качество поисковых систем, всего два: коэффициент попадания коэффициент охвата

Коэффициент попадания Показывает, какой процент ссылок, выданных поисковой системой, действительно относится к той теме, которая интересует клиента.

Для поисковых каталогов этот коэффициент очень высок Поскольку их составляют люди, появление «мусорной» ссылки — редкость. Обычно она возникает только когда за время, прошедшее после регистрации, Web страница перестает существовать. Для каталогов этот коэффициент составляет порядка 70 80%, и уж во всяком случае, не должен быть менее 50 %.

Для поисковых указателей этот коэффициент печально низок Если не предпринимать специальных мер, он составляет единицы процентов. Причины автоматические средства не могут точно выявлять тематическую принадлежность Web страниц на основе формальных признаков большинство клиентов не умеют пользоваться всеми возможностями поисковых систем и формируют задание на поиск далеко не оптимально

Коэффициент охвата Показывает, насколько база данных поисковой системы отражает истинное количество информации, имеющейся по данной теме в мире

Оценки коэффициента охвата Здесь впереди поисковые указатели. Самые совершенные из hiix имеют коэффициент охвата порядка 25%. Поисковые каталоги, наоборот, не охватывают и одного процента всех наличных ресурсов.

Качество поиска с точки зрения пользователя Это стремление получить как можно больше ссылок по интересующей его теме, но так, чтобы в результирующем списке было как можно меньше ссылок, не имеющих прямого отношения к объекту поиска. Пользователь желает, чтобы каждый из коэффициентов был близок к 100%

Качество поиска с точки зрения пользователя Субъективная оценка пользователя качества поисковой системы напоминает произведение коэффициента попадания на коэффициент охвата. Сегодня же и для поисковых каталогов, и для поисковых указателей это произведение составляет десятые доли процента.

Рейтинговые службы Суть рейтинговой службы состоит в том, что на ее сервере создаются тематические СПИСКИ ссылок на наиболее популярные Web ресурсы. Хоть эти списки и небольшие, представительность их велика, поскольку именно эти ссылки предпочитают большинство клиентов Сети.

Рейтинговые службы Когда мы выбираем одну из ссылок, представленных на сервере службы, срабатывает счетчик, и рейтинг этого ресурса увеличивается. Поиск с помощью рейтинговых служб можно рассматривать как поиск «по рекомендациям»

Рейтинговые службы Разумеется, он не может претендовать на объективность, но когда речь идет о темах, имеющих общественный интерес, таких как новости, политика, спорт, кино, музыка, компьютерные игры и т. п. , этим «рекомендациям» можно доверять.

Рейтинговые службы Самая популярная отечественная рейтинговая служба — Rambler (www. rambler. ru). Наиболее популярная зарубежная рейтинговая служба — Webside Story (www. hitbox. com)

Основные поисковые системы Alta. Vista (http: //www. altavista. com/) Excite (http: //www. excite. com/) Google (http: //www. google. com/) Yahoo! (http: //www. yahoo. com/)

Отечественные поисковые службы Aport (http: //www. aport. ru/) Атрус (@Rus) (http: //www. atrus. ru/) Rambler (http: //www. rambler. ru/) Яндекс (http: //www. yandex. ru/)

Alta-Vista Это одна из крупнейших поисковых систем мира по количеству индексированных Web страниц Огромный объем охвата Web пространства, и мощный набор поисковых команд делают эту систему излюбленным средством поиска для большинства пользователей.

Excite Это одна из самых популярных поисковых систем World Wide Web. Она имеет указатель среднего размера и кроме поиска Web страниц предоставляет услуги по поиску других материалов, например сведений о компаниях или результатов спортивных соревнований

Google Служба известна тем, что при генерации списка ссылок в первую очередь выдает ссылки на те Web страницы, к которым из других документов ведет наибольшее количество ссылок. Это дает очень интересный эффект.

Google На большинстве поисковых систем поиск по таким тривиальным словам как Cars (Автомобили), Internet, WWW, Games (Игры). вернет столько ссылок, что среди них невозможно найти самые полезные. Служба Google при проведении поиска по тривиальным словам дает отличные результаты, поскольку руководствуется мнением других пользователей, ранее осуществлявших подобный поиск.

Yahoo Одна из старейших и наиболее популярных поисковых служб. Ее каталог был запущен в эксплуатацию еще в 1994 г. Секрет успеха Yahoo' в «человеческом факторе» . На службу непрерывно работают около 150 редакторов В каталоге содержатся данные по одному миллиону Web узлов. Если поиск по собственному каталогу не дает результата, привлекаются ресурсы поискового указателя Inktomi.

Aport «Апорт» — один из первых поисковых указателей российского Интернета — детище компании « Агама » (http: //www. agama. ru/)

Aport Системе «Апорт» работает в тесной интеграции с партнерским каталогом @Rus. Результаты поиска сопровождаться кратким описанием Web узла, взятым из каталога @Rus. Система использует наиболее эффективную сегодня систему рейтингования по количеству ссылок, ведущих к данному ресурсу (по индексу цитирования). По способу представления результатов поиска служба «Апорт" в настоящее время является одной из самых передовых не только в России, но и в мире. Страница результатов поиска доставляет настоящее эстетическое удовольствие, хотя и требует разрешения экрана не менее чем 600 х800 точек

@Rus Популярнейший отечественный поисковый каталог, известный в прошлом под именем «Ау!» (http: //www. au. ru/). Каталог разработан компанией «Web Tech» в сотрудничестве с компанией «Агама» . При его наполнении активно используются средства поисковой системы «Апорт»

Rambler Это рейтинговая система, обладающая всеми основными функциями поисковых указателей. Она позволяет быстро выявить круг Web узлов, поставляющих информацию на заданную тему и оценить их популярность по количеству посещений за последние сутки.

Rambler Как поисковый указатель, служба обладает одним из крупнейших индексов в России, но ей явно недостает быстродействия и современных алгоритмов рейтингования результатов поиска. Но основную популярность служба приобрела в первую очередь как рейтинговая система.

Yandex Мощная поисковая служба, основанная на указателе, обладающая как большой и представительной базой данных по отечественным Web ресурсам, так и изощренной системой индексации. Функционирование службы обеспечивает компания Comp. Tek (http: //www. comptek. ru/)

Возможности Яндедса Расширенный поиск украсил бы западную поисковую службу, имеющую дело с сотнями миллионов проиндексированных документо в отличии от 10 20 миллионов в российском секторе Простой поиск. Служба Яndех имеет ряд технологических достижений, прежде всего интеллектуальный механизм морфологического разбора слов, что особенно важно для русского языка

Локальный поиск Яндекса Для корпоративных клиентов она бесплатно предоставляет «облегченную» версию программы Яndeх. site, выполняющей индексацию содержимого Web узла. Это удобно тем владельцам Web узлов, которые хотели бы организовать локальную систему для поиска информации в пределах собственного узла. В то время как большинство поисковых служб хранят свои средства индексации как “зеницу ока”, этот шаг компании Comp. Tek выглядит удачным маркетинговым ходом, способствующим росту популярности службы.

Приемы простого поиска информации в WWW Прежде всего, надо заметить, что чем точнее сформулировано задание на поиск, тем точнее будут и результаты. Например, если вы хотите найти документы с описанием замеченных ошибок Windows 7, то так и надо формулировать запрос: ошибки Windows 7, а не просто Windows. На англо язычных серверах очень часто срабатывает простое человеческое описание проблемы: printer works incorrectly (принтер работает неправильно)

Логический поиск Расширенный логический поиск с использованием AND, OR, NOT, поиск по шаблону и по принципу близости/похожести NEAR на искомый термин

Выбор поисковой службы Выбор средства поиска зависит от задачи. Есть задачи, для которых подходят крупнейшие поисковые системы, но есть задачи, для которых небольшой список на пару сотен ссылок будет гораздо полезнее. Правда, его тоже надо еще разыскать, но это уже проще, поскольку если он существует не один год, то наверное хорошо известен поисковым системам.

Как проверить незнакомую поисковую службу Лет пять назад лучшей считалась та служба, которая владела наибольшим индексом. Пока Web страниц было немного, в результатах поиска можно было ориентироваться относительно легко. Тогда проверить незнакомую службу было очень просто — надо было набрать достаточно распространенное слово, например Pentium, и сравнить, сколько ссылок на него дают разные поисковые системы

Как проверить незнакомую поисковую службу Сегодня величина индекса уже не имеет того значения, как его качество, хотя принцип проверки остается тем же самым. Введите простое и понятное слово и посмотрите, насколько найденные Web страницы соответствуют вашим ожиданиям. Если, например, при поиске по слову Шахматы поисковая система в качестве первой (самой важной!) ссылки выдает Web страннцу, посвященную скульптуре, то этой системе нужно еще какое то время на адаптацию, прежде чем ею можно будет пользоваться

Выводы и рекомендации для реферативного поиска пользуйтесь поисковыми каталогами для углубленного поиска пользуйтесь поисковыми указателями для специального поиска предварительно разыщите персональные списки ссылок, составленные коллегами

Выводы и рекомендации для поиска «скомпрометированной информации» , например хаккерской, пользуйтесь рейтинговыми системами при выборе службы для контекстного поиска в России лучше остановиться на «Апорт» или «Яндекс» , а за рубежом альтернатив мало — лучше всего использовать поисковую службу Alta Vista.