robots.txt — является одним из самых важных вспомогательным документом на сайте.
И к его созданию нужно подходить очень внимательно.
Сегодня мы будем делать следующее:

Проанализируем robots.txt двух популярных сайтов;
Рассмотрим главные функции файла robots.txt;
И, наконец, составим свой файл robots.txt;