Принять список критериев оценки эффективности поисковых систем

Предлагаются следующие критерии:

Полнота поиска.

Точность поиска.

 

Перечень критериев оценки эффективности поисковых систем может быть изменен и/или расширен.

 

Назначить весовые коэффициенты (веса) принятым критериям.

Весовой коэффициент - параметр, отражающий значимость, относительную важность, «вес» данного критерия в сравнении с другими критериями. Например, для точности поиска весовой коэффициент принимаем равным 0.8, для полноты поиска – 0.2. Сумма всех весов должна быть равной 1.

 

Принять список тем запросов для оценки эффективности поисковых систем.

Для поиска предлагаются следующие темы по вариантам:

Вариант	Тема запросов
1.	Информатика. Вычислительная техника. Электроника.
2.	Биология. Охрана природы. Экология.
3.	Философия. История. Культура.
4.	Математика. Физика.
5.	Машиностроение. Механика. Детали машин. Станки и инструменты.
6.	Политология.
7.	Сельское хозяйство. Лесное хозяйство.
8.	Строительство. Архитектура. Строительные материалы и изделия.
9.	Технология металлов. Металлургия.
10.	Транспорт.
11.	Туризм.
12.	Химия. Химические технологии.
13.	Экономика. Организация производства.
14.	Наука. Образование.
15.	Психология. Социология.
16.	Спорт.
17.	Право.

Сформулировать запросы по теме Вашего варианта. Запрос должен включать в себя несколько (не менее двух) ключевых слов и относиться к данной теме.

Примеры запросов: "автомобили ВАЗ", "материалы ремонт квартира июль", "горные лыжи Кавказ" и т.п. Выполнить каждый запрос в каждой исследуемой поисковой системе. Если результаты поиска в какой-либо поисковой системе Вас не удовлетворили, сформируйте более точный запрос (изменив или добавив ключевые слова), позволяющий найти исчерпывающую информацию об объекте. Повторите поиск в каждой поисковой системе.

5. Из полученных списков результатов выбрать следующую информацию:

Общее количество найденных документов (Д).

Количество релевантных документов различной ценности (РД)

При определении количества релевантных документов должно быть использовано понятие "когнитивная релевантность" или "пертинентность" (см. выше в разд. "Общие сведения"). Количество релевантных документов оценивается при просмотре текста первых 10 найденных документов. При этом определяется ценность найденной информации (степень удовлетворения найденном документом Ваших информационных потребностей). Ценность информации определяется по 3-бальной шкале: 2 - имеет ценность, 1 - имеет частичную ценность, 0 - не имеет ценности.

Результаты выполнения запросов свести в табл. 1.

Таблица 1

Тема

Aport

Google

Mail.ru

Rambler

Yahoo!

Yandex

Д

РД

Д

РД

Д

РД

Д

РД

Д

РД

Д

РД

Тема соответствует индивидуальному варианту Запрос: "…"

 

6. Выполнить первичную обработку результатов, сведя их в табл. 2 (вид табл 2 приведен ниже):

Вычислить средние арифметические значения показателей Д, РД(2), РД(1) и РД(0) для каждой поисковой системы.

Определить место каждой поисковой системы по критерию "Полнота поиска". Для определения места использовать среднее количество найденных документов Д. Система, которая нашла больше документов, считается лучшей. Самой лучшей системе присваивается место 1, самой худшей – место N (N – количество исследуемых систем).

Для каждой поисковой системы определить коэффициент точности поиска P по следующей формуле:

, где

a – число релевантных документов, выданных поисковой системой в ответ на запрос,

a = РД(2) + 0.5 * РД(1);

b - число нерелевантных документов, выданных поисковой системой в ответ на запрос,

b = РД(0).

Определить место каждой поисковой системы по критерию "Точность поиска". Система, имеющая большее значение коэффициента точности поиска P, считается лучшей. Самой лучшей системе присваивается место 1, самой худшей – место N (N – количество исследуемых систем).

 

Вычислить коэффициент поискового шума S по следующей формуле:

 

Вычислить сумму мест каждой исследуемой системы R по следующей формуле:

, где

m - количество критериев оценки,

i - номер критерия оценки поисковой системы,

- весовой коэффициент для критерия оценки i,

- место поисковой системы по критерию оценки i.

N - количество исследуемых систем.

Определить лучшую поисковую систему Интернет из исследуемых.

Оформить результаты работы по предлагаемой форме.

 

Таблица 2

Критерий	Aport	Google	Mail.ru	Rambler	Yahoo!	Yandex
Полнота поиска (вес - …) - среднее количество найденных документов (Д)
Место (полнота поиска)
Среднее количество пертинентных документов (РД2)
Среднее количество частично пертинентных документов (РД1)
Среднее количество непертинентных документов (РД0)
Коэффициент точности поиска P (вес - …)
Место (точность поиска)
Коэффициент поискового шума (S)
Сумма мест (R)