robots.txt в WordPress нужен не для «ускорения индексации», а для управления обходом сайта поисковыми роботами. Если настроить его неаккуратно, можно случайно закрыть важные страницы, скрыть служебные файлы или, наоборот, оставить роботу лишние URL, которые не должны тратить краулинговый бюджет. На практике чаще всего проблема не в самом файле, а в лишних запретах и копировании чужих шаблонов без понимания, что именно они делают.
Если вам нужен рабочий и безопасный вариант, начните с простого принципа: в robots.txt запрещают только то, что действительно не должно обходиться роботами, а не всё подряд «на всякий случай». Для большинства сайтов WordPress достаточно аккуратного минимального файла, а не длинного списка директив.
Что robots.txt в WordPress делает на самом деле
robots.txt — это текстовый файл в корне сайта, который читают поисковые роботы перед обходом страниц. Он не удаляет URL из поиска и не прячет контент от пользователей. Файл лишь подсказывает роботам, какие разделы не стоит запрашивать. Если страница уже известна поисковику, один только robots.txt не гарантирует её исчезновение из выдачи.
Это важное ограничение часто путают с задачей «закрыть от индексации». Для этого обычно используют другие механизмы: метатег noindex, заголовок X-Robots-Tag или настройки самого плагина/темы. robots.txt нужен именно для управления обходом, а не для полноценного скрытия контента.
С чего начать: безопасная базовая схема
Если у сайта нет особых требований, не усложняйте файл. Для WordPress обычно достаточно разрешить обход для всех роботов и указать карту сайта. Такой вариант не ломает стандартную работу сайта и не мешает поисковикам находить важные страницы.
Пример минимального robots.txt:
User-agent: * Disallow: Sitemap: https://example.com/sitemap.xml
Здесь строка Disallow: без значения означает, что ничего не запрещается. Это нормальная отправная точка для большинства проектов. Адрес карты сайта нужно заменить на реальный URL вашего sitemap. Если карта генерируется плагином SEO, укажите именно тот адрес, который он отдаёт.
Такой файл особенно полезен, если раньше в robots.txt уже были старые запреты, оставшиеся после переноса сайта, смены темы или экспериментов с плагинами. В этом случае минимальная конфигурация помогает убрать случайные блокировки и проверить, не мешал ли файл обходу страниц.
Что обычно можно закрыть, а что лучше не трогать
В WordPress есть служебные и технические разделы, которые обычно не нужны в поиске. Но закрывать их стоит только тогда, когда вы понимаете, зачем это делаете. Ниже — практическое разделение, которое помогает не переборщить.
| Раздел | Обычно что делать | Почему |
|---|---|---|
/wp-admin/ | Обычно не закрывают целиком, кроме отдельных служебных URL | Админка и так требует авторизации; массовый запрет не даёт заметной пользы |
/wp-content/uploads/ | Не закрывают без причины | Там часто лежат изображения и файлы, которые должны находиться в поиске |
/wp-includes/ | Чаще не трогают | Это внутренние файлы WordPress, но запрет не решает типичные SEO-задачи |
| Страницы поиска по сайту | Иногда закрывают | Такие URL часто создают мусорный обход и редко полезны в выдаче |
| Технические параметры и дубли | Иногда закрывают точечно | Если сайт генерирует много одинаковых URL, robots.txt может снизить лишний обход |
Самая частая ошибка — закрывать папки WordPress «по шаблону из интернета», не проверив, нет ли там нужных файлов. Например, в /wp-content/ могут находиться изображения, PDF и другие материалы, которые вы как раз хотите оставить доступными роботам.
Как правильно редактировать robots.txt в WordPress
Есть два нормальных способа: через панель управления хостингом или через плагин, если он умеет редактировать robots.txt. Какой бы способ вы ни выбрали, сначала сохраните текущую версию файла. Это особенно важно, если сайт уже работает и получает трафик из поиска.
Редактирование через хостинг или FTP
Если у вас есть доступ к файловой системе, откройте корень сайта и найдите файл robots.txt. Если его нет, создайте новый текстовый файл с таким именем. После этого загрузите его в корневую директорию сайта, рядом с wp-config.php и папками WordPress.
Преимущество этого способа в том, что вы точно контролируете содержимое файла. Минус — нужно аккуратно работать с доступом к файлам и не перепутать кодировку или имя файла. Сохраняйте его как обычный текст без расширения .txt.txt и без лишних символов в названии.
Редактирование через SEO-плагин
Некоторые SEO-плагины позволяют править robots.txt из админки. Это удобно, если вы не хотите заходить на сервер. Но здесь есть нюанс: не все плагины работают одинаково, а часть из них создаёт виртуальный robots.txt, который фактически подменяет файл на сервере. После обновления плагина или смены настроек результат может измениться.
Если используете такой способ, обязательно проверьте, какой именно robots.txt отдаётся по адресу https://ваш-домен/robots.txt. Важно смотреть не на экран редактирования в админке, а на реальный ответ сервера.
Какие запреты действительно полезны, а какие создают проблемы
В robots.txt имеет смысл добавлять только те правила, которые уменьшают бесполезный обход. Например, если сайт генерирует много страниц внутреннего поиска, фильтров или технических параметров, их можно ограничить. Но делать это нужно точечно, а не по принципу «запретить всё, что не похоже на контентную страницу».
Плохая практика — закрывать от обхода страницы, которые уже участвуют в поиске или должны быть доступны для сканирования: статьи, рубрики, страницы авторов, изображения, важные архивы. Если робот не может их обойти, он хуже понимает структуру сайта и может дольше обновлять данные.
Ещё одна ошибка — пытаться через robots.txt решить проблему дублей, когда на самом деле нужен canonical, настройка фильтров или корректная генерация URL. robots.txt не лечит архитектурные проблемы сайта, он только ограничивает обход.
Как проверить, что файл работает правильно
После сохранения откройте https://ваш-домен/robots.txt в браузере. Если файл отдаётся с ошибкой 404, значит он не лежит в корне сайта или сервер не видит его. Если вместо вашего содержимого отображается что-то другое, проверьте, не подменяет ли файл плагин, кэш или настройка хостинга.
Дальше проверьте несколько конкретных URL, которые вы хотели закрыть или оставить открытыми. Смотрите не только на наличие строки Disallow, но и на то, совпадает ли путь с реальным адресом страницы. Ошибка в одном символе может сделать правило бесполезным.
Полезно также открыть robots.txt в инструментах для вебмастеров поисковых систем и проверить, как робот интерпретирует правила. Это особенно важно, если у сайта несколько директив User-agent или есть нестандартные правила для отдельных ботов.
Типичные ошибки, из-за которых сайт начинает терять видимость
Самая опасная ошибка — запретить весь сайт одной строкой вроде Disallow: /. Такой файл полностью закрывает обход, и поисковик перестаёт нормально обновлять данные о страницах. Иногда это делают случайно после переноса сайта со staging-версии на боевой домен.
Вторая частая проблема — закрыть папку с изображениями или медиафайлами. Для WordPress это особенно неприятно, потому что картинки часто участвуют в поиске и помогают странице получать дополнительный трафик.
Третья ошибка — копировать чужой robots.txt без проверки структуры сайта. То, что подходит интернет-магазину, может быть лишним для блога, а правила для крупного проекта часто слишком жёсткие для небольшого сайта.
Наконец, не стоит ожидать, что robots.txt исправит всё сам. Если у вас есть дубли, мусорные параметры в URL или технические страницы, сначала разберитесь, нужно ли их вообще закрывать от обхода. Иногда правильнее оставить страницу доступной, но убрать её из индекса другим способом.
Практический вариант для большинства сайтов WordPress
Если нужен рабочий старт без лишних запретов, используйте такой подход: не блокируйте стандартные папки WordPress без причины, оставьте доступ к основным страницам сайта, укажите карту сайта и добавляйте только точечные запреты для реально бесполезных технических URL. Это самый безопасный путь для владельца сайта, который не хочет случайно сломать обход.
Перед публикацией новой версии robots.txt проверьте три вещи: файл открывается по прямому адресу, в нём нет случайного Disallow: /, а важные разделы сайта не попали под запрет по ошибке. Если сомневаетесь в конкретной строке, лучше убрать её и протестировать поведение сайта ещё раз, чем оставлять потенциально опасное правило.
Хорошо настроенный robots.txt в WordPress обычно выглядит скучно. И это хороший знак: чем меньше в нём лишних запретов, тем меньше шанс, что вы сами помешаете поисковым роботам работать с сайтом.