2015-04-08
1326
1. Ограничения на индексирование динамических страниц. На крупных специализированных сайтах контент структурирован и распределен по базам данных. Страницы таких сайтов не хранятся на сервере в готовом виде, а генерируются динамически. Поисковые роботы понятия не имеют, какого рода информация может быть введена в поля формы, чтобы получился результат. Поэтому все динамически генерируемые страницы остаются вне поля зрения поисковых систем.
2. Недобросовестные действия пользователей. С целью привлечь на свою страницу максимум посетителей, разработчики используют различные приемы обмана поисковой системы. В основном эти приемы сводятся к использованию на странице «фальшивых» ключевых слов в служебных тегах.
3. Индексация страниц с ограниченным доступом. Поисковый робот, перемещающийся по ссылкам внутри ресурса, не способен отличить страницу, предназначенную для бесконечно широкого круга посетителей, от страниц, которые используются, например, только сотрудниками компании. Таким образом, поисковая система может случайно предоставить пользователю доступ к конфиденциальной информации (например, к коммерческой тайне), что служит источником судебных исков против системы.
|
|
|
Существует способ «защитить» свою страницу от индексации поисковым роботом. Для этого используется файл robots.txt, который размещается в корневом каталоге сайта и содержит список запретов всем поисковым системам (или только конкретным) анализировать определенные участки сайта. Аналогичного результата можно добиться с помощью тега:
<META name = “robots” content = “noindex”>Приведенный тег означает, что данная страница не предназначена для индексирования. Можно так же проинформировать робота, что ему не следует идти по ссылкам с этой страницы:
<META name = “robots” content = “noindex, nofollow”>6.Организация локального поиска по сайту.
Внутренняя поисковая система сайта
