Этот ап выдачи Яндекса не принес мне значительных изменений в количестве проиндексированных страниц. Зато качество улучшилось - вместо страниц с тегами и архивами стали индексироваться страницы статей.
А на сайте Светланки индексация выросла еще на три сотни, при том, что со времени прошлого апа выдачи было написано значительно меньше новых статей. Если учесть, что мы живем на соседних IP и на одном VPS получается разница только в CMS: у нее - Wordpress, у меня - Drupal. Конечно же есть разница и в файлах robots.txt.
Поэтму решил сегодня закрепить материал, раз уже третий ап идет такая положительная реакция. Для закрепления выбрал сайт Татьяны Каревой - "Мышкина кладовка" (325 страниц в индексе ПС Яндекс). Тем более, что он тоже работает на CMS Wordpress и имеет примерно тот же возраст, что и сайт Светланки "Наша жизнь глазами женщины" (почти 800 страниц в индексе ПС Яндекс).
Итак, заходим по адресу, где должен быть файл robots.txt сайта Татьяны: klad-mouse.ru/robots.txt
Видим, что данный файл отсутствует, но зато работет плагин, создающий виртуальный файл robots.txt, который так же анализируется поисковыми роботами. Видим путь к настройкам этого плагина, но раз Татьяна сейчас не дома - мы не имеем воможности войти в Консоль и настроить плагин. Поэтому я просто приведу ниже текст файла robots.txt, который Татьяна (и практически любой владелец сайта на CMS Wordpress) сможет использовать в своих целях - как для нстройки плагина, так и для самостоятельного создания данного файла в корен своего сайта.
User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/ Disallow: /archives/ Disallow: /*?* Disallow: *?replytocom Disallow: /wp-* Disallow: /author Disallow: /comments/feed/ Disallow: /tag/ Disallow: /category/* Disallow: /201* Disallow: /page/ Disallow: *comment-*
# разрешаем индексацию загруженных картинок Allow: /wp-content/uploads/*
# разрешаем индексацию главной сайта рекламным ботам Гугла User-agent: Mediapartners-Google* Allow: / User-agent: Adsbot-Google Allow: /
# разрешаем индексацию главной агенту Гугл для мобильных устройств User-agent: Googlebot-Mobile Allow: /
# указываем основной домен (если основной идет с www, то указываем с www) Host: klad-mouse.ru
# указываем роботам файл с картой сайта Sitemap: http://klad-mouse.ru/sitemap.xml
# задержка в секундах между чтением страниц сайта Crawl-delay: 3
Не сомневюсь, что коррекция файла robots.txt по указанным инструкциям приведет к улучшению индексации. В любом случае - лучше после корректировки сразу проверить его в сервисе Яндекс-Вебмастер.
P.S.: Рисунок взят с сайта Татьяны и является ее авторской работой.