robots.txt — является одним из самых важных вспомогательным документом на сайте.
И к его созданию нужно подходить очень внимательно.
Сегодня мы будем делать следующее:

Проанализируем robots.txt двух популярных сайтов;
Рассмотрим главные функции файла robots.txt;
И, наконец, составим свой файл robots.txt;

Для начала заглянем в robots.txt двух достаточно популярных сайтов.

1)

Терехоф

2)

Шакин

Шакин и Терехов это два профессионала в мире продвижения и раскрутки сайтов, поэтому мы можем им доверять.
Единственным отличием между robots.txt Шакина и robots.txt Терехова являеться строчка:

Disallow: /category/*/*

Если у Шакина /category/*/* от индексации закрыты, то у Терехова они разрешены к индексации.
Но тут есть один маленький нюансик
На обоих сайтах стоит движок WordPress, и категории по умолчанию закрыты от индексации, поэтому строчка:

Disallow: /category/*/*

Особого значения не имеет.

Если вы внимательно посмотрели файл robots.txt этих двух сайтов, то увидели что страницы, которые администратор не желает видеть, в выдаче закрыты при помощи атрибута

Disallow:

Это очень важно.
Поисковики не любят видеть дубликаты контента в поисковой выдаче.
И если вдруг, по какому-нибудь запросу одна и та же статья покажется в выдаче несколько раз, поисковику придётся разобраться с вашим сайтом достаточно грубым методом.
Для этого и нужны запреты категорий, тегов и прочих страниц на которых находятся дубликаты контента.

Поэтому самым лучшим способом будет закрыть эти странички от индексации. Так мы и сделаем.
Мы не будем изобретать велосипед и просто возьмём себе готовый файл robots.txt с другого сайта и немножко изменим его под себя.

Итак, вот исходник моего файла robots.txt

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: blog-kota.ru

Sitemap: http://blog-kota.ru/sitemap.xml

Вы должны заменить две строчки:
Host: — указываем присутствует ли в домене вашего сайта www.
Если да, то пишем так:

Host: www.blog-kota.ru

Если нет, то так:

Host: blog-kota.ru

Sitemap:

Указываем путь до файла Sitemap (карты сайта).
Если таковой файл иметься.

Файл robots.txt создаётся при помощи простого блокнота, обратите внимание, что название robots нужно писать с маленькой буквы, а файл .txt – это расширение текстовых файлов.

После того как мы создали наш файл robots.txt мы загружаем его на сайт.
Причём файл robots.txt должен лежать на хостинге таким вот образом:

blog-kota.ru/robots.txt

Вот и всё!
Файл robots.txt готов!
Теперь поисковики будут знать, каким образом вы хотите, чтобы ваш сайт индексировался, и всё будет очень-очень хорошо.

Сегодня хотел бы, чтобы вы послушали и посмотрели клип на песню «Унылое говно», автор песни Вася Обломов.
В клипе учувствуют: Михаил Ефремов и сам автор песни.