Правильная индексация с помощью robots.txt

В продолжении прошлой статьи о индексации сайта, поговорим о файле robots.txt.

Файл имеет разрешение .txt, и он содержит правила для поисковых систем. Наличие данного файла обеспечит правильную индексацию вашего сайта. Ведь поисковые роботы, заходя на ваш сайт, сначала обращаются к файлу robots.txt, смотрят какие правила в нем прописаны, после чего начинают индексацию.

Но наличие самого файла robots.txt не означает, что ваш сайт будет правильно проиндексирован. Необходимо, чтобы правила в нем были составлены правильно. В противном случае это может привести к ненужным последствиям.

Создать файл можно в обычном блокноте. Размещать robots.txt необходимо в корневой папке вашего сайта.

Пример правильно составленного файла robots.txt


User-agent - указывает поисковым роботам инструкции. Наличие значка *, означает, что данные правила предписаны для всех поисковиков.

Disallow - запрещает индексацию отдельной папки или документа. Для запрещения индексации всего сайта, достаточно прописать «Disallow: /». Если не хотите запрещать индексацию, прописываете то же правило только без слеша - «Disallow:».

Host – указывает домен вашего сайта. Прописывайте домен с www, либо без. Это указывается в зависимости от того, как вы хотите, чтобы индексировался ваш сайт. Указывается без http://. Директиву Host учитывает только поисковой системой Яндекс.

Sitemap – необходим для указания расположения карты сайта.

Если вы хотите, чтобы поисковые роботы правильно индексировали ваш сайт, воспользуйтесь данными правилами.