Служебные архивы WordPress часто попадают в индекс без пользы для сайта: страницы рубрик, меток, авторов, дат, архивы вложений и иногда результаты внутреннего поиска. На небольшом сайте это выглядит безобидно, но в SEO-аудите обычно всплывают десятки или сотни URL с тонким контентом, дублями заголовков и слабой ценностью для поиска.
Задача здесь не в том, чтобы «спрятать всё подряд», а в том, чтобы оставить в индексе только те архивы, которые реально нужны. Для части сайтов это рубрики с уникальными описаниями, для других — только отдельные посадочные страницы, а все архивы лучше закрыть. Ниже — рабочая схема: как диагностировать проблему, что именно закрывать, как это сделать кодом или через плагин, и как проверить, что поисковики получили нужные сигналы.
Когда архивы WordPress мешают индексации
Проблема обычно заметна по двум признакам: в поиске появляются страницы, которые не должны ранжироваться, и в отчётах сканирования растёт число URL с одинаковыми шаблонами title, description или H1. Чаще всего это:
- архивы рубрик с пустым или шаблонным описанием;
- метки, которые дублируют рубрики по смыслу;
- архивы автора на сайте с одним редактором;
- архивы по датам, если сайт не новостной;
- страницы вложений, которые дублируют медиафайл или запись;
- внутренний поиск, если его URL индексируются.
Если на архиве нет уникального контента, полезной навигации и стабильного спроса из поиска, индексировать его обычно нет смысла. Но важно не путать закрытие от индексации с удалением из выдачи: если страница уже в индексе, одного noindex может быть недостаточно — нужно дождаться переобхода и убедиться, что URL не возвращает ошибок и не блокируется robots.txt раньше времени.
Диагностика: какие страницы закрывать, а какие оставить
Перед изменениями стоит посмотреть, какие типы архивов уже индексируются. Самый практичный способ — выгрузить список URL из Google Search Console и сопоставить его с типами страниц WordPress. Если доступа к GSC нет, можно пройтись по сайту краулером или хотя бы проверить шаблоны URL вручную.
Что проверить в первую очередь
- Есть ли у рубрик уникальные описания и текст выше/ниже списка записей.
- Используются ли метки как полноценная навигация или они создаются автоматически и дублируют рубрики.
- Нужны ли архивы автора на многопользовательском сайте.
- Есть ли смысл в архиве по дате для вашего формата контента.
- Не индексируются ли страницы вложений вида
/attachment/или отдельные URL медиафайлов.
Если сомневаетесь, не закрывайте всё сразу. Сначала оставьте только те архивы, которые дают трафик или помогают навигации, а остальное переведите в noindex, follow. Это обычно безопаснее, чем массово блокировать URL в robots.txt.
Как закрыть архивы от индексации: плагин или код
Есть два нормальных подхода. Первый — использовать SEO-плагин, если он уже стоит и умеет управлять мета-robots для таксономий и архивов. Второй — задать правила кодом, если нужна точечная логика без лишних зависимостей.
| Подход | Когда подходит | Плюсы | Минусы |
|---|---|---|---|
| SEO-плагин | Нужно быстро настроить без разработки | Удобно для редакторов, меньше риска ошибиться | Зависимость от интерфейса и возможностей плагина |
| Код в теме или мини-плагине | Нужны точные правила для отдельных архивов | Гибкость, контроль над логикой | Нужно тестировать после обновлений темы |
| robots.txt | Нужно ограничить обход, но не всегда индексацию | Просто закрыть технический мусор | Не заменяет noindex для уже известных URL |
Вариант 1: закрыть архивы через код
Если у вас есть дочерняя тема или небольшой функциональный плагин, можно добавить фильтр для мета-тегов robots. Ниже пример, который закрывает архивы авторов, дат и вложений, а также метки, если они не нужны в поиске. Рубрики при этом остаются открытыми.
<?php
add_filter('wp_robots', function (array $robots) {
if (is_author() || is_date() || is_attachment() || is_tag()) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
});Если нужно закрыть только часть меток, а не все, лучше проверять конкретный термин. Например, закрывать архивы с техническими метками вроде news, blog или автоматически созданными тегами.
<?php
add_filter('wp_robots', function (array $robots) {
if (is_tag()) {
$term = get_queried_object();
if ($term && !is_wp_error($term) && in_array($term->slug, ['news', 'blog', 'misc'], true)) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
}
return $robots;
});Такой подход удобен тем, что вы не трогаете сами URL и не ломаете ссылки. Поисковый робот видит страницу, но получает сигнал не включать её в индекс.
Вариант 2: закрыть таксономию через SEO-плагин
Если на сайте уже используется SEO-плагин, проще всего открыть настройки таксономий и отключить индексацию для меток, архивов автора или дат. Важно не ограничиваться галочкой «noindex», если плагин ещё добавляет canonical на саму страницу — это нормально, но нужно понимать, что именно меняется.
Для сайтов, где нужно одновременно убрать дубли, почистить архивы и закрыть служебные страницы, удобно использовать инструменты вроде Clearfy Pro: там обычно проще собрать несколько технических правил в одном месте, чем разносить их по разным плагинам. Но если у вас уже есть рабочий SEO-стек, не стоит дублировать настройки в двух местах.
Что делать с robots.txt и canonical
Ошибка, которую часто делают на практике: сначала закрывают URL в robots.txt, а потом пытаются вывести их из индекса через noindex. Если робот не может зайти на страницу, он не увидит мета-тег noindex. Поэтому для уже известных поисковику архивов лучше сначала использовать noindex, а блокировку в robots применять только к действительно техническим разделам, которые не должны сканироваться вообще.
Canonical тоже не всегда решает проблему. Если архив страницы по сути мусорный, но canonical указывает на саму себя, это не мешает индексации. Canonical полезен для дублей, а не для пустых архивов. Для служебных страниц основной сигнал — именно noindex.
Пошаговая схема внедрения без лишнего риска
- Составьте список архивов, которые точно не нужны в поиске: метки, авторы, даты, вложения, внутренний поиск.
- Проверьте, нет ли среди них страниц с трафиком или уникальным контентом.
- Выберите способ внедрения: SEO-плагин или код в дочерней теме/мини-плагине.
- Добавьте
noindex, followдля выбранных типов архивов. - Не закрывайте эти URL в
robots.txt, пока поисковик не увидит мета-robots. - Обновите sitemap, если плагин или тема включают туда архивы, которые вы закрыли.
- Отправьте важные URL на переобход через Search Console.
Как проверить, что решение сработало
Проверка должна быть не на глаз, а по факту. Откройте несколько страниц каждого типа и посмотрите исходный код. В <head> должен появиться мета-тег robots с нужным значением или эквивалентный HTTP-сигнал, если вы настраивали его на уровне сервера или плагина.
<meta name="robots" content="noindex,follow" />Дальше проверьте:
- страница доступна по URL и не возвращает 404;
- в Search Console URL можно отправить на проверку и увидеть, что робот считывает
noindex; - закрытые архивы исчезают из sitemap, если вы их туда не хотите;
- внутренние ссылки на эти страницы остаются рабочими, если вы не удаляли сам архив;
- после переобхода URL постепенно уходит из индекса.
Если страница всё ещё индексируется, проверьте, не перекрывает ли ваш SEO-плагин настройки темы, и не стоит ли на странице отдельный meta robots от другого плагина. На практике конфликт двух SEO-решений встречается чаще, чем кажется.
Частые ошибки и как их исправить
Закрыли URL в robots.txt и ждёте удаления из индекса
Это не работает как универсальное решение. Если робот не может прочитать страницу, он может продолжать держать её в индексе по старым данным. Для уже известных URL сначала нужен noindex, а не запрет обхода.
Отключили индексацию, но оставили архив в sitemap
Такой сигнал противоречивый: карта сайта говорит «страница важна», а robots — «не индексировать». Лучше убрать закрытые архивы из sitemap, если они не нужны в поиске.
Закрыли все рубрики подряд
Иногда рубрики — это нормальные посадочные страницы. Если у категории есть текст, фильтрация и трафик, её лучше оставить открытой. Закрывать стоит не тип страницы, а конкретную бесполезную реализацию.
Используют noindex на страницах с важной навигацией
Если архив нужен пользователям, но не нужен поиску, noindex, follow обычно подходит. Но если это единственный путь к важным материалам, сначала проверьте, не ухудшите ли вы внутреннюю перелинковку.
Безопасность и производительность: что не стоит ломать
Не вносите правила в родительскую тему, если она обновляется. Для кода лучше использовать дочернюю тему или мини-плагин, чтобы не потерять настройки после апдейта. Если вы правите functions.php, держите изменения минимальными и понятными.
Не ставьте несколько SEO-плагинов одновременно только ради одной настройки. Дублирование мета-тегов и конфликт canonical — типичная причина странного поведения в индексации. Если нужен один инструмент для технической чистки, лучше выбрать один плагин и довести его до конца, чем собирать набор из трёх решений, которые мешают друг другу.
И ещё один практический момент: если архивы закрыты от индексации, но продолжают активно использоваться внутри сайта, не удаляйте их без плана редиректов. Для рабочих URL важнее сохранить навигацию, чем искусственно «почистить» структуру.