ROBOTS.TXT и как его создать идеальным для WordPress

Файл robots.txt играет ключевую роль в управлении индексацией вашего сайта поисковыми системами.
Правильно настроенный файл помогает направлять поисковых роботов,
улучшая SEO и обеспечивая конфиденциальность определенных разделов сайта.
В этой статье я рассмотрю, как создать идеальный robots.txt для WordPress,
следуя рекомендациям Yoast SEO и практиками поисковой оптимизации.

Кроме того, вы узнаете, какие ошибки чаще всего допускают владельцы сайтов,
как протестировать настройки и какие директивы действительно важны.
Даже простое изменение в этом файле может сильно повлиять на видимость сайта в поиске.
Давайте разберём всё пошагово.

Что такое файл robots.txt и зачем он нужен?

Файл robots.txt — это текстовый документ, расположенный в корне сайта.
Он служит своеобразным путеводителем для поисковых роботов.
С его помощью можно ограничить или разрешить доступ к определённым разделам сайта,
тем самым управляя тем, как поисковики видят ваш контент.

Важно понимать, что это не инструмент защиты информации,
а способ оптимизации процесса индексации.
Например, закрыв от индексации системные папки WordPress,
вы предотвращаете попадание ненужного контента в результаты поиска,
сохраняя «краулинговый бюджет» для действительно ценных страниц.

Как создать и редактировать robots.txt в WordPress

Существует несколько способов создать и изменить файл robots.txt на сайте WordPress.
Выбор зависит от вашего уровня подготовки и используемых плагинов.
Рассмотрим два самых распространённых метода, подходящих как новичкам, так и опытным пользователям.

Для начинающих рекомендуется использовать SEO-плагины.
А вот если вы уверенно работаете с файловой структурой сайта,
тогда ручной способ через FTP может дать больше контроля и гибкости.

1. С помощью плагина Yoast SEO

Плагин Yoast SEO позволяет редактировать файл robots.txt прямо из панели администратора. Перейдите в «Инструменты» → «Редактор файлов» и вы сможете внести любые изменения.
Это удобно, безопасно и не требует работы с FTP-клиентами.

Использование плагина также гарантирует, что изменения вступят в силу моментально и корректно.
К тому же, Yoast SEO соблюдает правила безопасности WordPress и предотвращает критические ошибки.

2. Через FTP или файловый менеджер хостинга

Если вы предпочитаете полный контроль, создайте текстовый файл robots.txt на компьютере,
затем загрузите его в корень сайта (папка public_html).
Для этого подойдёт любой FTP-клиент, например, FileZilla.

После загрузки убедитесь, что файл доступен по адресу https://ваш_домен/robots.txt.
Этот способ особенно полезен, если вы не используете SEO-плагины или работаете с кастомной CMS.

Пример оптимального robots.txt для WordPress

Ниже приведён пример эффективного файла robots.txt для WordPress-сайта.
Он закрывает технические разделы и позволяет индексировать важные медиа-файлы и карту сайта.
Вы можете скопировать и адаптировать его под себя.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /cgi-bin/
Disallow: /trackback/
Disallow: /xmlrpc.php
Disallow: /wp-*
Disallow: /*?s=
Disallow: /*&s=
Disallow: /search/
Disallow: /author/
Allow: /wp-content/uploads/
Sitemap: https://example.com/sitemap.xml

Этот шаблон закрывает от индексации служебные директории WordPress,
страницы поиска и архивы авторов, но при этом оставляет доступными изображения,
загружаемые через «Медиафайлы».
Также указывается путь к XML-карте сайта, что ускоряет индексацию.

Пример идеального robots.txt для WordPress
(Есть правила для Яндекса и Google)

Пример файла robots.txt для WordPress

Получить содержимое ниже, можно через телеграм бота и вставьте его в файл robots.txt на своём сайте.
Не забудьте заменить ссылки на карту сайта на свою актуальную,
а также Host (пропишите ваш сайт).

Скачать фаил ROBOTS.txt

User-agent: *               # общие правила для роботов, кроме Яндекса и Google, 
                            # т.к. для них правила ниже
Disallow: /cgi-bin          # папка на хостинге
Disallow: /?                # все параметры запроса на главной
Disallow: /wp-              # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: /wp/              # если есть подкаталог /wp/, где установлена CMS (если нет, 
                            # правило можно удалить)
Disallow: *?s=              # поиск
Disallow: *&s=              # поиск
Disallow: /search/          # поиск
Disallow: /author/          # архив автора
Disallow: /users/           # архив авторов
Disallow: */trackback       # трекбеки, уведомления в комментариях о появлении открытой 
                            # ссылки на статью
Disallow: */feed            # все фиды
Disallow: */rss             # rss фид
Disallow: */embed           # все встраивания
Disallow: */wlwmanifest.xml # xml-файл манифеста Windows Live Writer (если не используете, 
                            # правило можно удалить)
Disallow: /xmlrpc.php       # файл WordPress API
Disallow: *utm*=             # ссылки с utm-метками
Disallow: *openstat=        # ссылки с метками openstat
Allow: */uploads            # открываем папку с файлами uploads

User-agent: GoogleBot       # правила для Google (комментарии не дублирую)
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Allow: */uploads
Allow: /*/*.js              # открываем js-скрипты внутри /wp- (/*/ - для приоритета)
Allow: /*/*.css             # открываем css-файлы внутри /wp- (/*/ - для приоритета)
Allow: /wp-*.png            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpg            # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpeg           # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.gif            # картинки в плагинах, cache папке и т.д.
Allow: /wp-admin/admin-ajax.php # используется плагинами, чтобы не блокировать JS и CSS

User-agent: Yandex          # правила для Яндекса (комментарии не дублирую)
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Clean-Param: utm_source&utm_medium&utm_campaign # Яндекс рекомендует не закрывать 
                            # от индексирования, а удалять параметры меток, 
                            # Google такие правила не поддерживает
Clean-Param: openstat       # аналогично

# Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent 
# не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже.
Sitemap: http://site.ru/sitemap.xml
Sitemap: http://site.ru/sitemap.xml.gz

# Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS 
# то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной.

Ранее Host понимал 
# Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.
Host: www.site.ru

Скачать фаил ROBOTS.txt
Не забудьте заменить ссылки на карту сайта на свою актуальную,
а также Host (пропишите ваш сайт).
Это важно для корректной работы поисковиков, таких как Google и Яндекс.

Что стоит и не стоит закрывать в robots.txt

Очень важно понимать, какие разделы нужно закрывать, а какие — наоборот,
оставлять открытыми для индексациии.

Ошибки в этом файле могут привести к выпадению важных страниц из поиска.

Следуйте этим рекомендациям, чтобы избежать ошибок, снижающих эффективность продвижения.
Регулярная проверка и настройка robots.txt помогает избежать проблем с индексацией и утечкой краулингового бюджета на второстепенные страницы.

Как протестировать robots.txt на ошибки

После настройки обязательно проверьте файл через Google Search Console или Яндекс.Вебмастер.
Это поможет убедиться в корректности работы и отсутствии синтаксических ошибок.

Оба инструмента предоставляют функцию анализа и визуального теста.
Вы можете ввести URL страницы и проверить, разрешён ли к ней доступ для поисковых систем.
Это простой и надёжный способ контроля.

Эти инструменты помогут выявить ошибки, которые могут быть незаметны при ручной проверке.
Тестируйте каждый раз, когда вносите изменения, особенно если вы работаете с крупными сайтами.

Выводы и рекомендации по файлу robots.txt

Файл robots.txt — мощный, но простой инструмент SEO.
Грамотная настройка поможет ускорить индексацию, снизить нагрузку на сервер и защитить внутренние разделы сайта от ненужной индексации. Работайте с ним внимательно и не забывайте регулярно проверять.

Если вы используете WordPress, настройку можно упростить с помощью плагинов.
В любом случае, всегда тестируйте результат и учитывайте особенности вашего сайта.
Robots.txt — это не просто формальность, а важная часть вашей стратегии поискового продвижения.