robots.txt
Файл robots.txt служит указателем для поисковых роботов. Он словно им говорит: «Сюда можно, а сюда нет». Редактируя этот файл стоит быть очень осторожным!
Самый короткий и самый понятный мануал по настройке robots.txt в WordPress. Оптимизируя свой веб-сайт для поисковых систем, вебмастера часто прибегают к редактированию robots.txt. Но давайте начнем по порядку. Что такое robots.txt и для чего он нужен?