настройка robots.txt
Настройка robots.txt — очень щепетильна. Одно неверное движение и ваш сайт перестанут индексировать роботы. Будьте крайне осторожны и внимательны.
Самый короткий и самый понятный мануал по настройке robots.txt в WordPress. Оптимизируя свой веб-сайт для поисковых систем, вебмастера часто прибегают к редактированию robots.txt. Но давайте начнем по порядку. Что такое robots.txt и для чего он нужен?