Сначала нужно понять, действительно ли адреса представляют одну и ту же страницу. Близкие статьи на одну тему не всегда являются техническими дублями. Для поиска важно различать равнозначные версии одного документа, варианты сортировки каталога и самостоятельные страницы с разным поисковым намерением.
Диагностика дублей до изменения шаблонов
Соберите варианты URL
Обойдите сайт краулером и дополните список адресами из sitemap, Search Console, Вебмастера и аналитики. Для типового документа проверьте версии с www и без www, HTTP/HTTPS, завершающим слешем, параметрами сортировки и рекламными метками. Наличие нескольких рабочих адресов ещё не означает ошибку; важно понять, какие версии поисковик видит как близкие или идентичные.
Сравните не только Title, но и основной контент
Одинаковый Title может быть ошибкой шаблона, а не признаком дубля. Сопоставьте H1, основной текст, карточки товаров, фильтры и назначение страницы. Если два URL полностью совпадают по содержанию, закрепите предпочтительную версию. Если различаются по интенту и полезным данным, не склеивайте их автоматически.
Проверьте сигналы каноникализации
Посмотрите HTML-тег
rel="canonical", редиректы и адрес в sitemap. Эти сигналы должны по возможности указывать в одну сторону. Canonical — подсказка, а не безусловная команда: Google может выбрать другой URL, если обнаружит более убедительные признаки. Поэтому проверка не ограничивается наличием тега в исходном коде.Выберите решение для каждого типа дублей
Для полностью заменённых адресов часто подходит постоянный редирект. Для вариантов параметров, которые нужны пользователям, может использоваться канонический адрес, если страницы действительно эквивалентны. Параметризованные варианты и пагинацию нельзя бездумно сводить на одну страницу. Отдельно проверьте языковые версии, карточки и региональные страницы: здесь иногда нужен иной подход.
Подтвердите фактический выбор поисковика
После исправления откройте инспекцию URL в Search Console, проверьте выбранный Google канонический адрес и сопоставьте его с указанным вами. Проверьте индексирование в Яндексе. Изменения будут отражаться по мере обхода; мгновенное совпадение после публикации не обязательно. Следите за поисковым трафиком и не удаляйте URL, не проверив их роль.
Пример: UTM-метка против канонической страницы
Адрес /service?utm_source=partner ведёт на тот же документ, что и /service. При этом партнерский параметр нужен для аналитики. Обычно нет оснований создавать отдельную индексируемую страницу только из-за UTM-метки. Важно, чтобы внутренние ссылки и sitemap вели на чистый адрес, а канонический сигнал не конфликтовал с ним. Если параметр меняет сам продуктовый набор, задача становится сложнее и требует анализа интента.
Как проверить canonical в исходном HTML
Откройте целевой URL и найдите элемент <link rel="canonical" href="...">. Проверьте, является ли адрес абсолютным, доступен ли он, не редиректит ли и не закрыт ли от индексации. Когда у страницы несколько противоречивых тегов canonical, поисковик может проигнорировать подсказку. При наличии канонического HTTP-заголовка для некоторых файлов учитывайте и его. Для редакционных страниц лучше избегать самодельных механизмов, которые создают несколько разных значений.
Как работать с пагинацией и категориями
Не стоит ставить canonical со всех страниц пагинации на первую страницу, если на следующих страницах находятся другие карточки или публикации. Это не полные дубли. Для категорий важно согласовать внутренние переходы, URL и содержимое, чтобы робот мог обнаруживать вложенные материалы. Похожая проблема возникает с вариантами товаров: если параметр меняет доступный товар, наличие и характеристики, решение зависит от пользовательского сценария и устройства каталога.
Как выбирать способ обработки
| Тип страницы | Решение | Что учесть |
|---|---|---|
| Полный дубль без самостоятельной пользы | Постоянный редирект или единая версия. | Избежать конкурирующих адресов. |
| Вариант с UTM-меткой | Канонический чистый URL, корректная аналитика. | Не плодить страницы в индексе. |
| Сортировка каталога | Изучить отличия и задачу пользователя. | Не закрывать все варианты механически. |
| Разные интенты при схожих текстах | Оставить отдельные страницы при достаточных различиях. | Не склеить полезный поисковый спрос. |
Типичные технические ошибки
- Ставить canonical на главную у всех страниц раздела.
- Считать одинаковые метатеги доказательством полного дублирования.
- Указывать в sitemap одну версию, а в canonical — другую.
- Пытаться заменить каноникализацией исправление битых внутренних ссылок.
Контроль результата
- Канонический адрес отвечает 200 и доступен для робота.
- Нет конфликтующих редиректов и canonical.
- В sitemap размещены выбранные основные URL.
- Внутренние ссылки ведут на основные версии.
- Инспекция URL подтверждает ожидаемый результат после обработки.
Когда объединение страниц не требуется
Если страницы отвечают разным поисковым задачам и каждая даёт самостоятельную ценность, проблема чаще связана с качеством контента или архитектурой, а не с техническими дублями. В таком случае лучше уточнить назначение страниц, их внутренние ссылки и метаданные, чем устанавливать canonical на одну из них без анализа.
