Метапоисковые серверы

Количество проиндексированных сайтов различными поисковыми системами растет в геометрической прогрессии. Но, тем не менее, эксперты утверждают, что доля непроиндексированного, «темного» Интернета для каждой поисковой системы (даже для такой мощной, как Google) возрастает месяц от месяца. Т.к. разные поисковики используют разные алгоритмы поиска и уделяют «особое» внимание разным участкам сети, к которым они наиболее адаптированы, логично во многих случаях искать сразу несколькими поисковыми машинами. Эту возможность и предлагают search bots, метапоисковые системы. Такие серверы не ведут собственных индексов, а каждый запрос передают другим поисковым машинам и каталогам. В основу работы search bots заложен следующий принцип: из запроса пользователя генерируются запросы, отформатированные в синтаксисе и логических конструкциях каждого конкретного поискового ресурса. Таким образом, из одного запроса метапоисковая машина делает множество запросов, которые затем рассылаются широкому кругу поисковых машин (и/или каталогов). Полученные результаты большинство метапоисковых систем объединяют, убирают из них повторы и представляют пользователю обработанный список, содержащий больше адресов, чем при поиске на какой-то одной машине. За полноту поиска и сортировку приходится платить - поиск метапоисковики проводят, как правило, заметно медленнее, чем обычные поисковики.

Метапоисковые системы бывают двух классов. К первому классу относятся метапоисковые системы, располагающиеся на публичном онлайн-ресурсе. А ко второму метапоисковые системы, которые инсталлируются на персональный компьютер.

Одной из наиболее популярных метапоисковых систем, относящихся к первому классу является система Vivisimo (http://www.vivisimo.com/). Vivisimo – англоязычная система, однако она корректно работает и с русским контентом – но, к сожалению, проиндексированных русских сайтов не так уж и много, поэтому результаты русскоязычного поиска оставляют желать лучшего.

Второй класс - метапоисковые машины, устанавливаемые на компьютеры пользователей. Они удобны и могут настраиваться на круг запросов и интересов конкретного человека. Сейчас можно найти несколько десятков систем этого класса, но, к сожалению, англоязычных. Одна из популярнейших таких систем - Copernic Agent (http://copernic.com)., программа компании Copernic Technologies. Это мощное и понятное средство, позволяющее самостоятельно выбирать тематические категории, поисковый и предметный домен, задавать состав глобальных поисковых машин. К русскоязычным метапоисковым системам можно отнести разработанную фирмой Convera Technologies и адаптированную с учетом специфики русского языка систему Convera. Познакомиться с ней можно по адресу http://www.vest-meta.ru/product/Convera/rss.asp.

Как правило, более сложный алгоритм поиска существенно влияет на время обработки результатов. Поэтому метапоисковые системы особенно полезны для корпоративных сетей.