Siniy's blog

Попробую немножко подкрутить robots.txt, это должно быть полезно для сайта в целом.

Немного теории. В самом файле robots.txt содержатся директивы для поисковых роботов. На самом деле по стандартам (почитать можно, например, здесь) существует всего 3 директивы: # — комментарий, User-agent — указывает робота, для которого идут дальнейшие директивы и Disallow — указывает не индексируемый путь или файл. Остальные директивы являются расширением этого стандарта и поддерживаются только узким кругом поисковых роботов.

Чтобы не углубляться в тему, дам ссылки, что нужно почитать при составлении своего, уникального robots.txt:

• Информация о роботах и robots.txt на английском
• Рекомендации Google
• Рекомендации Яндекса
• Сайт всё о файле robots.txt по-русски
• Рекомендации сообщества WordPress

А теперь мой, наверняка не окончательный, вариант robots.txt и в конце пояснения по нему:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /gallery2
Disallow: /wpg2
Disallow: /v
Disallow: /xmlrpc.php
Disallow:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /gallery2
Disallow: /wpg2
Disallow: /v
Disallow: /xmlrpc.php
Disallow:
Host: www.siniy.ws
Crawl-delay: 5
Sitemap: http://www.siniy.ws/sitemap.xml

Разделил на 2 категории, для всех роботов и для Яндекса. Для всех остальных — всё по правилам, прикрыты лишь те пути, куда залезать не стоит, включая галерею. В части Яндекса — те же пути, но с двумя директивами, поддерживаемые только им: Host — указание главного зеркала и Crawl-delay — задержка в обходе. О этих директивах читайте в рекомендациях Яндекса.

А также в очередной раз хочу спросить сеошников, что в моём сайте не так, почему в индексе Яндекса всего 33 страницы, а в поиске — 6?