Если сайт на WordPress начал тратить краулинговый бюджет на служебные страницы, дубли и технические разделы, первым делом стоит проверить robots.txt. Это не магическая защита и не способ скрыть контент от людей, но для управления обходом роботами файл полезен: он помогает подсказать поисковикам, какие разделы не нужно часто сканировать.
Ниже — рабочая схема настройки robots.txt именно для WordPress: что в нём должно быть, что лучше не закрывать, где файл размещать и как проверить, что он не мешает индексации.
Что делает robots.txt и чего от него не стоит ждать
robots.txt лежит в корне сайта и читается роботами до обхода страниц. В нём задают правила для поисковых систем: какие URL можно сканировать, а какие лучше пропустить. Для WordPress это удобно, потому что на сайте почти всегда есть технические адреса, которые не нужны в поиске и не должны регулярно обходиться роботами.
Но у файла есть важное ограничение: он управляет именно обходом, а не гарантированным исключением из индекса. Если на страницу уже ведут внешние ссылки или она известна поисковику по другим сигналам, запрет в robots.txt не всегда уберёт её из выдачи. Для удаления из индекса нужны другие инструменты, а robots.txt решает задачу экономии обхода и уменьшения лишней нагрузки.
Какие разделы WordPress обычно имеет смысл закрыть
Для большинства обычных сайтов достаточно ограничить обход служебных и малополезных URL. В WordPress к ним часто относятся:
/wp-admin/— административная часть сайта;/wp-login.php— страница входа;/wp-json/— если вы точно понимаете, что этот API не нужен роботам в поиске; в типовом случае его лучше не трогать без причины;- служебные параметры и внутренние поисковые страницы, если они создают много мусорных URL;
- файлы и каталоги, которые не должны обходиться как отдельные страницы, например служебные папки плагинов, если они открыты для сканирования и действительно создают лишний трафик.
При этом не стоит закрывать всё подряд. Частая ошибка — запретить обход CSS, JS, изображений или важных публичных разделов. Если поисковик не может нормально загрузить ресурсы страницы, это иногда мешает корректной оценке мобильной версии и рендеринга. Для обычного WordPress-сайта лучше не трогать публичные ассеты без конкретной причины.
Базовый robots.txt для WordPress
Если вам нужен понятный и безопасный стартовый вариант, можно использовать такой файл:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Sitemap: https://example.com/sitemap.xmlЗдесь есть три практичных момента. Во-первых, правило User-agent: * применяется ко всем роботам. Во-вторых, /wp-admin/ закрывает административный раздел, но admin-ajax.php оставляют доступным, потому что его используют темы и плагины на публичной части сайта. В-третьих, строка Sitemap помогает роботам быстрее найти карту сайта, если она у вас есть.
Адрес карты сайта нужно заменить на реальный. У WordPress он зависит от того, чем вы его генерируете: встроенными средствами, SEO-плагином или отдельным модулем. Если карты сайта нет, строку можно убрать.
Как собрать свой вариант без лишнего вреда
Универсальный robots.txt для всех сайтов не существует. Если у вас есть дополнительные разделы, которые создают мусорный обход, добавляйте только то, что действительно нужно закрыть. Логика простая: сначала смотрим, какие URL робот тратит зря, потом закрываем только их.
Например, если на сайте есть внутренний поиск с большим числом бесполезных результатов, можно ограничить обход страниц поиска. Но делать это стоит только если вы уверены, что такие страницы не должны попадать в поиск и не используются как посадочные. То же относится к архивам по датам, тегам, авторским страницам и другим типовым архивам WordPress: иногда они полезны, иногда создают дубли и пустые страницы. Решение зависит от структуры сайта, а не от самого факта, что это WordPress.
Если сайт небольшой и у него нет проблем с обходом, не усложняйте robots.txt. Чем больше в нём исключений, тем выше шанс случайно закрыть нужный раздел.
Где редактировать robots.txt в WordPress
Есть два нормальных способа: через файл на сервере или через SEO-плагин, если он умеет редактировать виртуальный robots.txt. Выбор зависит от того, как у вас устроен доступ к хостингу.
Редактирование файла на сервере
Если у вас есть доступ к файловому менеджеру хостинга или FTP, откройте корень сайта и проверьте, есть ли там файл robots.txt. Если файла нет, его можно создать вручную. После этого загрузите в него нужные правила и сохраните изменения.
Этот способ предпочтителен, когда вы хотите полный контроль и не зависеть от плагинов. Но перед правкой лучше сделать резервную копию текущего файла, если он уже существует. Ошибка в robots.txt не ломает сайт для посетителей, но может заметно ухудшить обход поисковиками.
Редактирование через плагин
Некоторые SEO-плагины позволяют менять robots.txt из админки. Это удобно, если вы не хотите работать с файлами напрямую. Но проверьте, создаёт ли плагин реальный файл на сервере или только виртуальную версию, которую отдают поисковикам. В обоих случаях логика правил одна и та же, но при переносе сайта или отключении плагина поведение может отличаться.
Если вы не уверены, где именно хранится robots.txt, откройте в браузере адрес https://ваш-домен/robots.txt. Если файл существует, вы увидите его содержимое. Если там отображается не то, что вы ожидали, значит, правило отдаётся сервером, плагином или системой кэширования.
Что нельзя делать в robots.txt
Самая частая проблема — попытка использовать robots.txt как универсальный инструмент для SEO-уборки. Так делать не стоит.
- Не закрывайте важные публичные страницы, если они должны ранжироваться.
- Не запрещайте стили, скрипты и изображения без явной технической причины.
- Не рассчитывайте, что
Disallowудалит уже проиндексированные URL из поиска. - Не копируйте чужой robots.txt целиком: структура сайта и набор плагинов почти всегда отличаются.
- Не добавляйте десятки правил «на всякий случай» — это усложняет поддержку и повышает риск ошибки.
Если нужно убрать страницу из индекса, обычно используют мета-тег noindex, заголовок X-Robots-Tag или удаление страницы с корректным ответом сервера. robots.txt для этой задачи — не основной инструмент.
Как проверить, что настройка работает
После сохранения файла откройте /robots.txt в браузере и убедитесь, что он доступен по адресу сайта без редиректов на ошибку и без лишнего HTML. В файле должны быть видны именно те правила, которые вы добавили.
Дальше проверьте несколько типовых URL вручную:
/wp-admin/должен быть закрыт для обхода;/wp-admin/admin-ajax.phpдолжен оставаться доступным, если вы его не закрывали отдельно;- публичные страницы сайта должны оставаться не запрещёнными;
- карта сайта должна быть указана корректно, если вы её добавили.
Если после правки поисковик продолжает показывать старые данные, это нормально: robots.txt обновляется быстро, а переобход и переоценка страниц занимают время. Не делайте выводы по одному дню наблюдений.
Практичный шаблон для большинства сайтов
Если нужен аккуратный старт без лишней агрессии, можно взять такой вариант и подстроить его под свой сайт:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Sitemap: https://example.com/sitemap.xmlЭто не «идеальный robots.txt для всех», а безопасная база. Дальше вы добавляете только те ограничения, которые действительно нужны вашему сайту. Если сомневаетесь в конкретном разделе, лучше сначала проверить его влияние на обход и индексацию, а не закрывать его заранее.
Для WordPress это обычно самый разумный подход: не пытаться выжать из robots.txt больше, чем он умеет, и не превращать его в свалку правил. Тогда файл действительно помогает роботам обходить сайт аккуратнее, а не мешает поиску.
}