Robots.TXT против клонов и дублей

Хочу продолжить тему дублей на сайте, начатую мной вчера по просьбам друзей. Если кто-то не прочитал - то рекомендую заглянуть, даже если вы - пока еще не вебмастер (мало ли). Ну а кто понял, что такое дубли и даже удачно провел описанный мною эксперимент - тот легко помет материал, расположенный ниже.

Итак, закрываем игры, откладываем просмотр Олимпиды, которую нам транслирует даже первый онлайн и внимательно впитываем следующую информацию. Основным и наверное самым лучшим методом борьбы с клонами этого рода является настройка известного большинству вебмастеров файла robots.txt.

Хотя есть и другие методы, вот некоторые:
  •  отключение некоторых функция сайта (теги, архивация постов);
  • отключение ЧПУ (вернее отключение поддержки всех видов url, кроме вида url по умолчанию);
  • и даже ручное удаление url из индекс (в том же яндекс-вебмастере например) и мн.др.

Все равно - самый классный метод - настройка robots.txt, находящегося в корне сайта. Что бы уметь свободно настраивать его рекомендую почитать информацию про такое понятие как "регулярные выражения". Кстати, эти знания помогут и при настройке иного, не менее важного для любого ресурс файла - .htaccess.

А вообще, мне уже дико хочется спать, поэтому практические советы по работе с robots.txt дам позднее. Опять же - если там интересна. Всем доброй ночи..

Подписка на блог

 

Подписка на новые посты блога Проецируя жизнь в Сеть на Email

 

Свежие заголовки

Не без разницы
Хотите обсудить этот текст в другом месте? Отправьте его в свой аккаунт. Хотите обсудить здесь? Я всегда рад адекватным комментариям.