Поисковые системы как средство эффективного поиска информации в Сети

Рано или поздно любой пользователь Сети сталкивается с проблемой поиска информации. Информационное пространство Сети огромно и растет с каждым днем. Поэтому поиск информации может занять от нескольких минут до нескольких часов, иногда дней. Все в данном случае зависит от умения искать и находить нужные данные в Интернете.

Большое значение с точки зрения поиска информации имеет одна из важнейших служб Интернета – Всемирная паутина (WWW). Ее образуют миллионы серверов Сети, расположенные по всему миру. В 1998 г. в Интернете насчитывалось порядка 1 млн. веб-сайтов. Количество зарегистрированных доменных имен в Сети с 2000 г. выросло в 10 раз и на 01.01.2010 г. составило 733 млн. единиц. Количество пользователей Интернета выросло с 16 млн. человек в 1995 г. (0,4 % от общей численности населения мира) до 1 967 млн. в 2010 г. (28,7 % населения).

Всемирная паутина непрерывно связана с понятием гипертекста. Гипертекст (Hypertext) – это документ или система документов с перекрестными ссылками (гиперссылками). Для создания, хранения и отображения информации используется язык разметки гипертекста – HTML. HTML-файл является самым распространенным ресурсом Всемирной паутины.

В Сети наряду с актуальной информацией содержится много устаревших ресурсов, мусора и недобросовестной рекламы. Находить информацию в Интернете было бы очень трудно без помощи мощных поисковых инструментов таких, как:

- поисковые машины (поисковики);

- каталоги-рейтинги (рубрикаторы);

- тематические подборки списков ссылок;

- он-лайновые энциклопедии, словари, базы данных и т.д.

При этом для разных задач поиска информации необходимо использовать разные способы.

Информационный поиск – процесс поиска неструктурированной документальной информации и наука об этом поиске. Термин введен Кельвином Муром в 1948 г.

Для его проведения и были разработаны системы автоматизированного поиска (ИПС), которые стали широко использоваться с появлением Интернет.

Поиск информации состоит из 4 этапов;

1) определение информационной потребности и формулировка информационного запроса;

2) определение совокупности возможных держателей информационных массивов;

3) извлечение информации из выявленных информационных массивов;

4) ознакомление с полученной информацией и оценка результатов поиска.

Как показывает практика использования ИПС:

- 90 % пользователей задают поисковикам нечеткие запросы;

- 75 % пользователей не пытаются изменить запрос, если не находят нужной информации;

- 80 % запросов не содержат операторов.

Поиско́вая систе́ма (ПС) – программно-аппаратный комплекс с веб-интерфейсом, предоставляющий возможность поиска информации в Интернете. Под поисковой системой обычно подразумевается сайт, на котором размещён интерфейс (фронт-энд) системы. Программной частью поисковой системы является поисковая машина (ПМ) – комплекс программ, обеспечивающий функциональность поисковой системы и обычно являющийся коммерческой тайной компании-разработчика поисковой системы.

Большинство поисковых систем ищут информацию на сайтах Всемирной паутины, но существуют также системы, способные искать файлы на FTP-серверах, товары в интернет-магазинах, а также информацию в группах новостей Usenet.

Рассмотрим подробнее механизм поиска с помощью поисковых машин. Комплект программ поисковой машины следующий:

- «Паук» (Spider) – программа, которая загружает в поисковую машину веб-страницы. Работает аналогично браузеру, но ничего не отражает на экране. Передает в поисковую систему HTML-код документа.

- «Червяк» или «путешествующий паук» (Crawler) – программа, способная найти на веб-странице все ссылки на другие страницы. Ее задача – определить, куда дальше должен «ползти» «паук», руководствуясь ссылками или заранее заданным списком адресов.

- Индексатор (Indexer) – программа, которая «разбирает» страницу на составные части и анализирует их. Вычленяются и анализируются заголовки веб-страниц, заголовки документов, ссылки, тексты документов. Отдельно анализируется текст, выделенный полужирным шрифтом, курсивом и т.д.

- База данных (Database) – хранилище всех данных, которые поисковая система загружает и анализирует. Требует огромных ресурсов как для хранения, так и для последующей обработки.

- Система выдачи результатов поиска (Search Engine Results Engine) – программа, которая принимает решение, какие страницы удовлетворяют запросу пользователя, и в какой степени. Именно с этой частью поисковой системы «общается» пользователь.

Первые две программы, работающие «в связке», часто называют поисковый робот или HTTP-робот.

Процесс загрузки информации из Интернета и предварительного анализа ее поисковой машиной называют индексацией.

База данных ПС, в которой хранится вся собранная информация, называется индекс.

Глубина индексации может быть разной (полные тексты документов на странице, заголовки). После ввода запроса на поиск, поисковая машина просматривает свою базу данных и выдает перечень страниц, содержащих слова, введенные пользователем в поле ввода (ключевые слова). Таких страниц может быть очень много, задача ПМ отобрать те из них, которые максимально отвечают запросу пользователя (т.е., релевантны ему) и указать ссылки на них в числе первых.

Алгоритм поиска – это метод, руководствуясь которым поисковая машина принимает решение включать или не включать ссылку на страницу либо документ в результаты поиска.

Каждая поисковая машина использует собственный алгоритм поиска («ноу-хау» разработчика ПС). Но вместе с тем существуют общие критерии отбора документов, которыми руководствуются большинство ПС:

1. Присутствие ключевого слова в имени домена или в адресе страницы (URL). Если ответ положительный, то «вес» страницы увеличивается, т.е. больше вероятность появления ссылки на эту страницу в числе первых.

2. Присутствие ключевого слова в заголовке документа (между тегами <title и /title). «Вес» страницы также увеличивается.

3. Ключевое слово содержится в названиях разделов, подразделов документов. Это также приводит к увеличению значимости страницы.

4. Ключевое слово встречается в тексте документа, выделенным жирным шрифтом, курсивом и т.д. «Вес» страницы увеличивается.

5. Ключевое слово должно встречаться в тексте веб-документа достаточно часто (по статистике от 5до 7 % от всего объема текста). Если это происходит чаще, то будет расцениваться как спам либо специальная попытка разработчика страницы увеличить ее «вес».

6. Расположение слов в веб-документе находится в том же порядке, что и в запросе, что приводит кбольшей вероятности появления ссылки на эту страницу в числе первых.

7. Ключевые слова расположены в документе в одном предложении подряд либо между ними небольшое расстояние. «Вес» страницы увеличивается.

8. Присутствие ключевого слова в тексте ссылки на данной странице также дает положительный результат.

9. Наличие других страниц (на этом же сайте или на других), с которых ведут ссылки на документ. Чем с большего количества страниц будет ссылок на искомый документ, тем большим будет его «вес».

10. Совпадение слов, введенных в поле запроса с ключевыми словами, указанными на странице ее разработчиком или со словами, указанными разработчиком в описании страницы. Этот вариант также приводит к увеличению значимости страницы.

Основными преимуществами поисковых систем являются:

- достаточно высокая релевантность при поиске;

- индексы ПС охватывают больше ресурсов, чем каталоги;

- скорость поиска выше, чем при использовании каталогов, т.к. поисковик сразу выдает ссылки на документы, а в каталоге к ним продвигаешься постепенно;

- в ПС меньше устаревших ссылок, чем в каталогах.

К недостаткам поисковых систем можно отнести то, что:

- некоторые разработчики ресурсов с целью увеличения посещаемости их сайтов могут обманывать поисковики;

- пользоваться ПС, особенно в режимах сложного поиска, при котором надо знать язык запросов конкретной поисковой машины, сложнее, чем каталогом.

Перспективным направлением развития поисковых сервисов является разработка метапоисковых систем поиска. Метапоисковые системы (МПС) – системы, позволяющие проводить поиск по запросу пользователя сразу в нескольких поисковых системах.

Метапоисковая система является посредником между пользователем и множеством поисковых систем. Она не предназначена для индексирования и накопления информации, ее назначение – чистый поиск и обработка результатов поиска.

В отличие от ПС и каталогов, МПС не имеют собственных баз данных и не регистрируют адреса сайтов и сами по себе не занимаются поиском. Система переадресовывает запрос сразу нескольким поисковым системам, ссылки выводятся по всем системам без дублирования. Они экономят достаточно много времени, избавляя от необходимости вводить запрос в каждой отдельной поисковой системе. Результаты, в большинстве случаев в высшей степени релевантны. Метапоисковые системы могут использоваться владельцами сайтов для выяснения, присутствует ли их сайт в главных ПС, какие у него рейтинги. В запросах метапоисковиков можно использовать только общие операторы, которые приемлемы для большинства ПС. Встречаются метапоисковые машины с собственным языком запросов, но их мало.

МПС целесообразно применять в следующих случаях:

- при поиске документов с редкими словами или фразами;

- в самом начале процесса поиска, т.к. можно получить самые релевантные результата по нескольким ПС.

Наиболее популярными российскими МПС являются: MetaBot.ru (http://www.metabot.ru) и интеллектуальная поисковая система Нигма.РФ (http://www.nigma.ru). Последняя позволяет одновременно производить поиск в таких ПС, как Yandex, Google, Rambler, Yahoo!, Altavista, Aport, Nigma. Общее количество документов для поиска > 1 млн, обладает собственными возможностями для индексирования веб-страниц.

Среди зарубежных МПС можно выделить:

- Meta Crawler (http://www.metacrawler.com) – > 10 ПС и каталогов;

- Ixquick (http://www.ixquick.com) – т.н. «скрытый» веб;

- Surfwax (http://www.surfwax.com) – платная система;

- Vivisimo (http://www.vivisimo.com) – поддерживает, в том числе, и русскоязычные запросы;

- МПС компании CNET., Inc (http:// www.search.com) – поиск ведется по 20 ПС.

При поиске информации могут быть задействованы и поисковые агенты (оффлайновые метапоисковики), т.е. программы, которые устанавливаются на компьютере пользователя. Наиболее известным из них является Copernic Agent (http://www.copernic.com). Поиск можно вести на нескольких языках: английском, немецком, французском, испанском.

Существуют также специализированные и оригинальные поисковые системы и каталоги:

- каталоги поисковых систем AlltheWeb, Altavista, Google (http://www.bestsearchers.com/search-general/search-engines.html);

- ежедневные обзоры стартапов, интересных и полезных интернет-проектов Рунета (http://www.catalogr.ru);

- оригинальная поисковая система Mrquery gets it! (http:// www.mrquery.com) – включает более 100 баз данных для поиска;

- оригинальная поисковая система Symbaloo (http://www.symbaloo.com);

- системы поисковой визуализации компании Quintura. Inc (интерактивные поисковые системы) (http://www.quintura.com, http://www.quintura.ru);

- каталоги «скрытых» ресурсов:

а) http://www.completeplanet.com – > 100 тыс. ссылок;

б) http://www.bighub.com;

в) http://www.invisible-web.net

г) http://www.dialog.com – более 700 тыс. пользователей, 900 баз данных, используется в 100 странах мира;

д) http://www.lexisnexis.com – содержит информацию для юристов, коммерческую информацию.