Ошибки в структуре URL и robots.txt на WordPress приводят к тому, что до 40% краулингового бюджета тратится на обход технических дублей вместо индексации целевых страниц. Правильная настройка этих параметров сокращает время первичного индекса новых материалов с 7-14 дней до 24-48 часов.
Постоянные ссылки: ловушка стандартных настроек
Использование стандартного формата /?p=123 или включение даты в URL (/2023/10/post-name/) — критическая ошибка для коммерческих сайтов. Дата в ссылке делает контент «старым» в глазах пользователя и заставляет переделывать структуру при обновлении статьи. Оптимальный вариант: «Название записи» (/post-name/).
Кейс: при переходе с структуры с датами на чистые ЧПУ на сайте-каталоге (500+ страниц) наблюдался временный просад трафика на 15% из-за 404 ошибок, которые были устранены через 3 дня с помощью массовых 301 редиректов. Это подтверждает: менять структуру нужно строго до массового наполнения или с полноценным маппингом ссылок.
Экспертный вывод: только /post-name/. Любые дополнительные уровни вложенности (категории в URL) допустимы только для гигантских порталов от 10 000 страниц, в остальном они лишь раздувают длину URL, что снижает CTR в выдаче на 2-5%.
Борьба с дублями: слеши и параметры
WordPress по умолчанию может генерировать дубли страниц с закрывающим слешем и без него ( /page и /page/). Для поисковиков это разные URL. Еще одна проблема — страницы пагинации (/page/2/), которые часто дублируют контент главной. Без настройки canonical или noindex такие страницы забирают до 20% веса основного раздела.
Практика показывает, что использование плагинов вроде Yoast SEO или Rank Math решает проблему canonical, но не убирает физический доступ к дублям. Рекомендую жестко зафиксировать один вариант в .htaccess (либо всегда со слешем, либо без), чтобы исключить размытие ссылочного веса.
Экспертный вывод: автоматизация через плагины — это база, но ручной контроль через .htaccess обязателен. Игнорирование этого ведет к «каннибализации» запросов, когда в топ вылетает страница пагинации вместо основной категории.
Robots.txt: что закрывать на самом деле
Типовая ошибка — избыточное закрытие /wp-admin/ или /wp-includes/ при одновременном запрете индексации CSS и JS файлов. Это приводит к ошибке «Страница не совместима с мобильными» в Google Search Console, так как робот не может отрендерить страницу. Современный стандарт: открывать всё, что нужно для отрисовки дизайна, и закрывать только административную панель и системные запросы.
Пример плохого конфига: Disallow: /wp-content/plugins/. Результат: блокировка скриптов оптимизации, что напрямую бьет по Core Web Vitals. Правильный подход — точечный запрет конкретных папок плагинов, которые не влияют на фронтенд, например, /wp-content/plugins/wp-seo/admin/.
Экспертный вывод: забудьте про «шаблонные» robots.txt из интернета. Каждый плагин добавляет свои технические страницы (например, /?s= поиск), которые должны быть в Disallow, чтобы не плодить тысячи мусорных страниц в индексе.
Управление видимостью и индексацией контента
Для сайтов с большим объемом контента (интернет-магазины, агрегаторы) критически важно управлять тегами noindex. Страницы «Корзина», «Личный кабинет», «Сравнение товаров» должны быть закрыты. Оставление их в индексе размывает релевантность сайта и может привести к санкциям за «малоценный контент» (Thin Content), если таких страниц более 30% от общего объема сайта.
При внедрении семантической разметки Schema.org важно следить, чтобы данные в микроразметке не противоречили мета-тегам robots. Если страница закрыта от индексации, но содержит разметку Product, Google может выдать предупреждение о несоответствии данных в сниппете и на странице.
Экспертный вывод: используйте комбинацию robots.txt (для экономии краулингового бюджета) и meta noindex (для гарантированного удаления из выдачи). Это единственный способ держать индекс «стерильным».
Вывод
Начинать нужно с жесткой фиксации структуры URL (/post-name/) и настройки 301 редиректов, чтобы избежать 404 ошибок. Затем — аудит robots.txt на предмет блокировки критических CSS/JS ресурсов. Избегайте автоматических «оптимизаторов» ссылок, которые меняют URL без учета редиректов. Мой выбор: минималистичный robots.txt + строгий контроль canonical через Rank Math. Это база, без которой любая SEO оптимизация сайтов на WordPress будет работать на 50% мощности из-за технических потерь.