На сайте может одновременно существовать корректная карта страниц и запрет на индексирование самых важных URL. Ошибка особенно опасна после копирования тестового проекта, переноса домена или массового изменения шаблона. Первый этап диагностики — собрать конкретные проблемные адреса, а не править robots.txt наугад.
Проверка ограничений по шагам
Зафиксируйте список адресов и их назначение
Возьмите 5–10 примеров: главную, раздел, услугу, статью, страницу пагинации и служебный URL. Для каждого пометьте желаемое состояние: должен участвовать в поиске, допускается обход, либо страница сознательно исключается. Без этой классификации легко открыть фильтры и закрыть коммерческие страницы. Проверяйте точные URL вместе с протоколом, поддоменом и завершающим слешем.
Посмотрите реальные правила robots.txt
Откройте файл по адресу /robots.txt нужного хоста. Проверьте группы User-agent, правила Disallow и Allow, а также соответствие путей фактическим URL. Директива для каталога действует на вложенные адреса; ошибочный префикс способен перекрыть целый раздел. Для Google и Яндекса важны особенности разбора правил, поэтому результат следует проверять в инструментах самих поисковых систем, а не только визуально.
Проверьте метатег и HTTP-заголовки
Получите HTML-ответ страницы и найдите
<meta name="robots">, возможныйgooglebotи значениеnoindex. Для файлов и некоторых страниц дополнительно смотрите HTTP-заголовокX-Robots-Tag. Отсутствие тега noindex обычно означает, что этот механизм не запрещает индексирование, но не доказывает, что URL будет принят в индекс. Сохраните ответ сервера и полный URL проверки.Разберите противоречие между Disallow и noindex
Если URL закрыт через robots.txt, робот может не получить его HTML и не увидеть находящийся внутри noindex. Поэтому нельзя рассчитывать, что две директивы всегда взаимно усиливают друг друга. Для исключения уже известных страниц из поиска, когда это подходит задаче, роботу обычно нужно дать возможность считать noindex. Для приватных данных ни один из этих способов не заменяет аутентификацию.
Подтвердите диагноз в панелях вебмастеров
Проверьте конкретные URL в Яндекс Вебмастере и Google Search Console. Отделите «страница доступна для индексирования» от «страница действительно индексируется». После исправления опубликуйте изменения, повторно проверьте HTML и отправьте важный адрес на переобход, если доступна такая функция. Дальше отслеживайте фактический статус, а не только успешную заявку.
Пример: раздел случайно закрыт после тестирования
Представим, что в черновом проекте закрывали каталог /services/, затем опубликовали сайт и забыли убрать правило. Главная отвечает 200, а страницы услуг тоже открываются в браузере. Но Disallow: /services/ ограничивает работу робота. Исправление начинается с удаления или сужения ошибочного запрета, затем нужно проверить наличие noindex на самих страницах, canonical и внутренние ссылки. После публикации важно проверить не только файл robots.txt, но и состояние хотя бы двух URL внутри раздела.
Проверка без доступа к CMS
Даже если нет доступа к редактору сайта, можно открыть опубликованный robots.txt и исходный HTML нужного URL. Для проверки HTTP-ответа подойдёт запрос curl -I https://example.com/page, но учитывайте редиректы: при необходимости дополнительно просматривайте всю цепочку. Для страниц с клиентским рендерингом сравните исходный HTML и данные, которые видит поисковая система. Нельзя делать вывод о noindex только по тексту, который показывает браузер: метаданные часто находятся в области head.
Когда запрещённые страницы всё равно появляются в поиске
Такое возможно, если робот знает URL из внешних ссылок, но не может загрузить его содержимое из-за Disallow. Для удаления документа нужен правильный способ исключения, который соответствует задаче и позволяет поисковой системе обработать сигнал. Если требуется скрыть персональную информацию, закрывайте доступ на сервере или через аутентификацию: robots.txt не обеспечивает конфиденциальность, а URL из него, напротив, может подсказать расположение служебного раздела.
Как интерпретировать результат
| Статус URL | Что означает | Что проверить |
|---|---|---|
| URL закрыт в robots.txt | Обход ограничен; метатег на странице может быть недоступен роботу. | Проверьте цель запрета и правила для конкретного робота. |
| HTML содержит noindex | Страница запрашивает исключение из индекса. | Уберите директиву, если URL действительно нужен в поиске. |
| Ответ 200 и запретов нет | Есть техническая возможность индексации, но не гарантия. | Проверьте canonical, содержимое и внутреннюю связность. |
| URL отвечает 404/5xx | Проблема лежит вне robots/noindex. | Восстановите корректный ответ или назначьте релевантный адрес. |
Ошибки при исправлении
- Считать Disallow инструментом гарантированного удаления URL из результатов поиска.
- Открывать все служебные URL подряд, не определив их роль.
- Проверять HTML только у главной страницы и переносить вывод на весь сайт.
- Путать запрет на обход с отсутствием страницы в индексе.
Контрольный список после правок
- Проверен robots.txt на правильном хосте.
- У важных страниц нет случайного noindex и X-Robots-Tag.
- URL возвращают ожидаемые HTTP-статусы.
- Вебмастеры видят новое состояние после переобхода.
- Тестовые и закрытые разделы по-прежнему защищены надлежащим способом.
Когда считать задачу завершённой
Не останавливайтесь на сообщении «доступно для индексирования». Подтвердите, что целевой документ попал в нужную категорию отчётов, а важные URL не потеряли содержимое, canonical и внутренние ссылки. Если запрета больше нет, но страница не индексируется, продолжайте диагностику качества и дублирования — это уже другая проблема.
