На небольших и средних WordPress-сайтах поисковый мусор чаще всего появляется не из-за контента, а из-за служебных страниц: архивов авторов, дат, тегов, вложений, пагинации и пустых таксономий. В результате в индекс попадают дубли, а краулинговый бюджет тратится на страницы, которые не приносят трафик и не помогают ранжированию.
Ниже — рабочий сценарий: как понять, что именно нужно закрывать, чем отличается noindex от удаления из sitemap, и как сделать это без лишних побочных эффектов.
Когда проблема действительно есть
Сначала стоит проверить не «на глаз», а по факту. Если в поиске всплывают страницы вида /author/..., /tag/..., /date/... или вложения с тонким контентом, это уже повод разбираться. На сайтах с несколькими авторами архивы могут быть полезны, но на проекте с одним редактором они почти всегда дублируют главную ленту и категории.
Что смотреть в первую очередь
- отчёт по индексированию в Google Search Console;
- поиск по
site:example.ru author,site:example.ru tag,site:example.ru date; - наличие этих URL в XML-карте сайта;
- мета-тег robots на проблемных страницах;
- есть ли у архивов уникальный текст и реальная ценность для пользователя.
Если архив пустой или почти пустой, а в выдаче он уже есть, значит проблема не в контенте, а в настройках индексации. Тут важно не путать два уровня: запрет на индексацию и исключение из карты сайта. Это разные действия, и одно не заменяет другое.
Диагностика: что именно закрывать, а что оставить
Не все архивы одинаково бесполезны. Например, архив категории с десятками материалов может быть полезной посадочной страницей. А вот архивы дат, вложений и страниц автора на сайте с одним автором часто только создают дубли. Поэтому сначала разделите URL на три группы.
| Тип страницы | Оставлять в индексе | Почему | Типичное решение |
|---|---|---|---|
| Категории с контентом | Иногда да | Могут собирать трафик по тематике | Проверить уникальность, мета-теги, содержание |
| Архивы авторов | Чаще нет | Дублируют ленту и категории | noindex + убрать из sitemap |
| Архивы дат | Чаще нет | Почти всегда служебные страницы | noindex + при необходимости редирект |
| Вложения медиа | Обычно нет | Тонкие страницы без пользы | Редирект на файл или родительскую запись |
Если вы используете SEO-плагин, часть настроек проще сделать через интерфейс. Но когда нужно точечно управлять логикой, лучше понимать, что происходит на уровне кода и шаблонов.
Пошаговое решение
1. Закрыть архивы авторов и дат от индексации
Самый безопасный вариант — оставить страницы доступными для пользователей, но запретить их индексацию. Для этого можно добавить noindex в <head> на нужных типах архивов.
add_action( 'wp_head', function () {
if ( is_author() || is_date() ) {
echo '<meta name="robots" content="noindex,follow" />' . "\n";
}
}, 1 );Этот вариант подходит, если вам не нужен отдельный SEO-плагин или если нужно быстро проверить гипотезу. Но на практике лучше не ограничиваться только мета-тегом: поисковик может ещё какое-то время держать URL в индексе, если он уже был найден раньше.
2. Убрать служебные URL из XML-карты сайта
Если архивы уже закрыты, они не должны продолжать попадать в sitemap. Иначе вы сами подсказываете поисковику, что эти страницы важны. В WordPress это зависит от SEO-плагина или от того, как формируется карта сайта.
Если используете Yoast SEO или Rank Math, настройка делается в интерфейсе плагина: отключаете индексацию архивов и проверяете, что они исчезли из sitemap. Если карта сайта собирается кастомно, нужно исключить соответствующие типы URL на уровне генератора.
3. При необходимости убрать архивы вложений
Страницы вложений часто создаются автоматически и почти никогда не нужны в поиске. Вместо индексации лучше отправлять пользователя на сам файл или на родительскую запись. Для этого можно использовать редирект на уровне темы или мини-плагина.
add_action( 'template_redirect', function () {
if ( is_attachment() ) {
$parent = wp_get_post_parent_id( get_queried_object_id() );
if ( $parent ) {
wp_safe_redirect( get_permalink( $parent ), 301 );
} else {
wp_safe_redirect( home_url( '/' ), 301 );
}
exit;
}
} );Это особенно полезно, если на сайте много изображений, загружаемых редакторами, и отдельные страницы вложений уже успели попасть в индекс.
4. Если нужен точечный контроль через robots.txt
Запрет в robots.txt не равен noindex. Он не удаляет страницу из индекса, если поисковик уже знает URL. Поэтому использовать его стоит только как дополнительную меру, а не как основное решение.
User-agent: *
Disallow: /author/
Disallow: /date/
Disallow: /attachment/Такой подход уместен, если вы хотите уменьшить обход второстепенных разделов. Но если задача именно убрать URL из выдачи, сначала нужен noindex или редирект, а уже потом — ограничения в robots.
Как проверить, что решение сработало
После внедрения не стоит сразу ждать мгновенного исчезновения страниц из поиска. Сначала проверьте техническую часть, потом — индексацию.
- Откройте проблемный URL и убедитесь, что в HTML есть
meta name="robots" content="noindex,follow". - Проверьте, что URL больше не попадает в XML-карту сайта.
- Если настроен редирект для вложений, убедитесь, что ответ сервера —
301, а не302. - В Search Console отправьте страницу на повторную проверку, если она уже была в индексе.
- Сравните список найденных URL через
site:до и после изменений через несколько дней или недель, в зависимости от частоты обхода.
Если страница всё ещё видна в выдаче, это не всегда означает, что настройка не работает. Часто поисковик просто не успел переобойти URL. Важнее проверить, что на самой странице уже стоит правильный сигнал.
Частые ошибки и как их исправить
Путают Disallow и noindex
Это самая частая ошибка. Если закрыть URL в robots.txt, но не дать noindex, поисковик может сохранить страницу в индексе по внешним ссылкам или старым данным. Исправление простое: сначала уберите индексацию, потом при необходимости ограничьте обход.
Закрывают все архивы подряд
Иногда вместе с архивами авторов отключают и категории, хотя именно они дают трафик. Так можно случайно потерять полезные посадочные страницы. Перед изменениями проверьте, какие архивы реально ранжируются и приносят переходы.
Оставляют страницы в sitemap
Если URL закрыт от индексации, но продолжает попадать в карту сайта, поисковик получает противоречивые сигналы. Решение — убрать его из sitemap на уровне SEO-плагина или генератора карты.
Делают редирект на главную без логики
Редирект всех вложений на главную — плохая практика. Пользователь теряет контекст, а поисковик получает нерелевантную переадресацию. Лучше отправлять на родительскую запись или на сам файл, если это действительно нужно.
Практические советы по безопасности и производительности
Если вы вносите изменения через functions.php, помните, что ошибка в коде может положить сайт. Для рабочих проектов безопаснее оформить правку как мини-плагин или подключить сниппет через инструмент, где есть откат изменений.
Ещё один полезный момент: не плодите одинаковые архивы и служебные страницы ради «полноты структуры». Чем меньше мусорных URL, тем проще поддерживать sitemap, быстрее обход и чище отчёты в Search Console.
Если нужен более системный подход к чистке дублей, служебных страниц и SEO-настроек, можно посмотреть в сторону Clearfy Pro: у него есть инструменты для отключения лишних архивов, чистки сайта и управления техническими дублями. Ссылка без слеша: Clearfy Pro.
Мини-чек-лист перед публикацией изменений
- Проверил, какие архивы реально нужны для SEO.
- Добавил
noindex,followтолько на служебные страницы. - Убрал закрытые URL из XML-карты сайта.
- Проверил редиректы для вложений и их код ответа.
- Убедился, что категории и важные посадочные страницы не затронуты.
- Отправил ключевые URL на переобход в Search Console.
Если после правок служебные страницы всё ещё активно индексируются, обычно проблема в одном из трёх мест: сигнал noindex не выводится на нужном шаблоне, URL остаётся в sitemap или на него ведут внутренние ссылки с сайта. В таком случае проще идти от конкретного URL и проверять цепочку сигналов по порядку, а не менять настройки вслепую.