В продолжении прошлой статьи о индексации сайта, поговорим о файле robots.txt.

Файл имеет разрешение .txt, и он содержит правила для поисковых систем. Наличие данного файла обеспечит правильную индексацию вашего сайта. Ведь поисковые роботы, заходя на ваш сайт, сначала обращаются к файлу robots.txt, смотрят какие правила в нем прописаны, после чего начинают индексацию.

Но наличие самого файла robots.txt не означает, что ваш сайт будет правильно проиндексирован. Необходимо, чтобы правила в нем были составлены правильно. В противном случае это может привести к ненужным последствиям.

Создать файл можно в обычном блокноте. Размещать robots.txt необходимо в корневой папке вашего сайта.