Robots.TXT против клонов и дублей

Опубликовано mobilekid - ср, 12/02/2014 - 22:12

Хочу продолжить тему дублей на сайте, начатую мной вчера по просьбам друзей. Если кто-то не прочитал - то рекомендую заглянуть, даже если вы - пока еще не вебмастер (мало ли). Ну а кто понял, что такое дубли и даже удачно провел описанный мною эксперимент - тот легко помет материал, расположенный ниже.

Итак, закрываем игры, откладываем просмотр Олимпиды, которую нам транслирует даже первый онлайн и внимательно впитываем следующую информацию. Основным и наверное самым лучшим методом борьбы с клонами этого рода является настройка известного большинству вебмастеров файла robots.txt.

Хотя есть и другие методы, вот некоторые:

  •  отключение некоторых функция сайта (теги, архивация постов);
  • отключение ЧПУ (вернее отключение поддержки всех видов url, кроме вида url по умолчанию);
  • и даже ручное удаление url из индекс (в том же яндекс-вебмастере например) и мн.др.

Все равно - самый классный метод - настройка robots.txt, находящегося в корне сайта. Что бы уметь свободно настраивать его рекомендую почитать информацию про такое понятие как "регулярные выражения". Кстати, эти знания помогут и при настройке иного, не менее важного для любого ресурс файла - .htaccess.

А вообще, мне уже дико хочется спать, поэтому практические советы по работе с robots.txt дам позднее. Опять же - если там интересна. Всем доброй ночи..