«Поиск информации в Интернет. Web-индексы. Web-каталоги.»

Справедливости ради надо заметить, что поиск во Всемирной сети был возможен и до появления на свет сегодняшних гигантов вроде ALTAVISTA или YAHOO!. Даже в те далекие годы, когда не существовало самой WWW, одним из основных сервисов Интернет был Gopher. Эта система кажется сейчас чрезвычайно неудобной с практической точки зрения (впрочем, на наш взгляд, ни одна из первых Интернет-служб не могла похвастаться ни простотой принципа работы, ни хотя бы интерфейсом).

Как работают поисковые машины Поисковая машина (для краткости ее часто называют просто поисковик) представляет собой комплект программ, в основе которого лежат следующие пять:

1 Spider («паук») – программа, которая загружает в поисковую машину Web-страницы. Работает аналогично браузеру, установленному на компьютере пользователя, но ничего не отображает ни на каком экране. Если вы хотите иметь представление о том, что именно загружает в поисковую систему «паук», откройте какую-нибудь Web-страницу и выберите в меню Вид браузера пункт Просмотр HTML (или «исходного») кода.

2 Crawler («червяк», или «путешествующий паук») – программа, способная найти на Web-странице все ссылки на другие страницы. Ее задача определить, куда дальше должен ползти «паук», руководствуясь ссылками или заранее заданным списком адресов.

3 Indexer (индексатор) – программа, которая «разбирает» страницу на составные части и анализирует их. Вычленяются и анализируютсязаголовки Web-страниц, заголовки документов, ссылки, текст документов, отдельно – текст, выделенный полужирным шрифтом, курсивом и т. д.

4 Database (база данных) – хранилище всех данных, которые поисковая система загружает и анализирует. Требует огромных ресурсов как для хранения, так и для последующей обработки.

5 Search Engine Results Engine (система выдачи результатов поиска) решает, какие страницы удовлетворяют запросу пользователя и в какой степени. Именно с этой частью поисковой системы «общается» пользователь.

Первые две программы, работающие «в связке», часто называют поисковый робот (а иногда – НТТР-робот).

Как видите, поисковая машина, получив запрос на поиск, не отправляется в длительное путешествие по «Всемирной паутине, как полагают некоторые пользователи, а анализирует лишь ту информацию, которую собрала ранее. С одной стороны, это позволяет резко повысить скорость обработки запроса на поиск. С другой, ограничивает область поиска внутренними ресурсами поисковой системы, которые, во-первых, ограниченны (ни одна поисковая машина не в состоянии загрузить в свою базу данных информацию со всех узлов Сети), во-вторых, уже в какой-то степени устарели. Ситуация в интернет изменяется очень быстро. Если «паук» с целью обновления информации об уже проиндексированных однажды Web-страницах «заползает» на них раз в два месяца, пользователь рискует получить в результатах запроса ссылку на уже несуществующую Web-страницу.

Процесс загрузки из Сети информации и предварительного анализа ее поисковой машиной называется индексация, а сама база данных поисковой машины, в которой хранится собранная информация, – индекс.

Глубина индексации может быть разной. Полные тексты документов, размещенных на странице, в базу данных копируют не все поисковые роботы – некоторые ограничиваются лишь заголовками. Когда пользователь формирует запрос на поиск, поисковая машина просматривает свою базу данных и выдает перечень Web-страниц, содержащих слова, введенные пользователем в поле ввода (их часто называют ключевые слова). Таких страниц может быть очень много. Задача поисковой машины – отобрать те из них, которые в наибольшей степени отвечают запросу пользователя (т.е. релевантны ему) и указать ссылки на них в числе первых.