Robots.Txt для Мышкиной кладовки

Опубликовано mobilekid - чт, 05/02/2015 - 21:01

мышкина кладовкаЭтот ап выдачи Яндекса не принес мне значительных изменений в количестве проиндексированных страниц. Зато качество улучшилось - вместо страниц с тегами и архивами стали индексироваться страницы статей.

А на сайте Светланки индексация выросла еще на три сотни, при том, что со времени прошлого апа выдачи было написано значительно меньше новых статей. Если учесть, что мы живем на соседних IP и на одном VPS получается разница только в CMS: у нее - Wordpress, у меня - Drupal. Конечно же есть разница и в файлах robots.txt.

Поэтму решил сегодня закрепить материал, раз уже третий ап идет такая положительная реакция. Для закрепления выбрал сайт Татьяны Каревой - "Мышкина кладовка" (325 страниц в индексе ПС Яндекс). Тем более, что он тоже работает на CMS Wordpress и имеет примерно тот же возраст, что и сайт Светланки "Наша жизнь глазами женщины" (почти 800 страниц в индексе ПС Яндекс).

Итак, заходим по адресу, где должен быть файл robots.txt сайта Татьяны: klad-mouse.ru/robots.txt

Видим, что данный файл отсутствует, но зато работет плагин, создающий виртуальный файл robots.txt, который так же анализируется поисковыми роботами. Видим путь к настройкам этого плагина, но раз Татьяна сейчас не дома - мы не имеем воможности войти в Консоль и настроить плагин. Поэтому я просто приведу ниже текст файла robots.txt, который Татьяна (и практически любой владелец сайта на CMS Wordpress) сможет использовать в своих целях - как для нстройки плагина, так и для самостоятельного создания данного файла в корен своего сайта.


 

User-agent:  *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /archives/
Disallow: /*?*
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /author
Disallow: /comments/feed/
Disallow: /tag/
Disallow: /category/*
Disallow: /201*
Disallow: /page/
Disallow: *comment-*

# разрешаем индексацию загруженных картинок Allow: /wp-content/uploads/*

# разрешаем индексацию главной сайта рекламным ботам Гугла User-agent: Mediapartners-Google* Allow: / User-agent: Adsbot-Google Allow: /

# разрешаем индексацию главной агенту Гугл для мобильных устройств User-agent: Googlebot-Mobile Allow: /
# указываем основной домен (если основной идет с www, то указываем с www) Host: klad-mouse.ru

# указываем роботам файл с картой сайта Sitemap: http://klad-mouse.ru/sitemap.xml

# задержка в секундах между чтением страниц сайта Crawl-delay: 3

Не сомневюсь, что коррекция файла robots.txt по указанным инструкциям приведет к улучшению индексации. В любом случае - лучше после корректировки сразу проверить его в сервисе Яндекс-Вебмастер.

P.S.: Рисунок взят с сайта Татьяны и является ее авторской работой.