Вебмастерам - Удаляем страницу в поисковой системе.

Опубликовано mobilekid - пт, 05/10/2012 - 00:27

Порой веб-мастеру необходимо удалить из поисковой системы уже проиндексированную страницу. К данной операции зачастую прибегают после ошибочного занесения в список карты сайта адреса страницы. С этой ошибкой в свое время столкнулись специалисты компании Мегафон (в итоге sms-сообщения стали доступны пользователям поисковой системы «Яндекс»). 

Так, один из наиболее простых способов удаления веб-страницы из архивов поисковиков заключается в физическом удалении, ложном удалении (надо задать атрибут удаленной страницы) и в смене адреса расположения. Поисковый робот после преобразования этой страницы вместо содержимого увидит такую строчку: HTTP/1.1 404 Not Found. Помните, что поисковые роботы могут посещать сайт каждые три часа, а могут всего раз в два дня, может даже в три. Так что требуется выждать некоторое время, чтобы увидеть результат. 

Второй способ заключается в редактировании robots.txt, этот файл который определяет путь поисковика, как только он посетил ваш сайт. Данный текстовый документ имеет одно расположение, находится он в корне сайта. Обычно в первом абзаце указывают параметры индексации для Яндекса (его робот существенно отличается от прочих роботов), во втором абзаце уже для всех остальных поисковых систем, вроде google, mail, рамблер, апорт, yahoo.

В начале абзаца требуется указать адреса страниц, которые хотите скрыть — "Disallow: /wp-content/foto/fotojaba.html", а также заголовок агента "User-Agent: *". Также указывайте адреса разделов или страниц, которые вы желаете закрыть от индексации. Учтите, что данный способ не позволит получить быстрых результатов. Когда на сайте новости не транслируются в какие-либо социальные сети, а активность низкая, то обработка новых данных достигает срока в пару дней. Кроме того, потребуется удалить из архива поисковой службы версии данных страниц. 

Альтернативный вариант метода прописывания ссылки в файле robots.txt – это использование мета-тега robots. Синтаксис данного тега будет следующим: размещайте его между парными тегами [head] - [/head]. Размещайте значение robots в теге meta name. В итоге это будет выглядеть примерно так: <meta name="robots" content="noindex,nofollow"/>.

Информация предоставлена посредством интернет блога про компьютеры и интернет.