Для чего нужен robots.txt
Robots.txt — текстовый файл с правилами доступа поисковых роботов к путям сайта. Обычно его размещают в корне хоста по адресу /robots.txt. Он помогает управлять сканированием, но не является надёжным способом скрыть сведения от людей.
Директива Disallow ограничивает обход, а не гарантирует исключение адреса из результатов поиска. Робот может знать о URL по внешней ссылке, даже если содержимое страницы ему недоступно.
Как устроены правила обхода
Робот получает файл и применяет правила, относящиеся к его user-agent, с учётом особенностей реализации. Наибольшая практическая ценность — исключать из сканирования повторяющиеся технические наборы URL, не мешая обработке полезных страниц.
Указание sitemap в robots.txt служит удобной подсказкой о расположении карты сайта. Оно не заменяет внутренние ссылки и не является командой обязательно включить перечисленные страницы в индекс.
Что делать с техническими адресами
Каталог генерирует тысячи URL сортировки, которые показывают практически одинаковый список товаров. При продуманной структуре можно ограничить сканирование части технических вариантов, сохранив индексируемыми основные страницы категорий.
Но закрытие критически важных посадочных страниц в robots.txt лишает робота доступа к их содержимому. Для удаления страницы из поиска применяют подходящие механизмы, например noindex на доступной странице или HTTP-статус удаления.
Проверка robots.txt после запуска
Последовательная проверка поможет отличить ошибку реализации от обычного процесса обработки страницы:
- Откройте
https://домен/robots.txtи проверьте код ответа. - Сопоставьте запреты с перечнем страниц, которые должны находиться в поиске.
- Проверьте правила инструментами поисковых кабинетов и учтите специфику конкретного поисковика.
- После изменений проверьте, доступны ли роботам ключевые URL и ресурсы отображения.
Disallow, noindex и sitemap
Для практических решений полезно разделять понятия «Disallow» и «Noindex». Сопоставление помогает избежать ошибочных действий.
| Понятие или ситуация | Что означает на практике |
|---|---|
| Disallow | Правило ограничения обхода пути. |
| Noindex | Указание не включать доступную страницу в индекс при поддержке поисковиком. |
| Sitemap | Адрес файла со списком предпочтительных URL для обнаружения. |
Опасные запреты в robots.txt
Ниже — решения, которые лучше не применять без дополнительной проверки:
- Закрывать весь сайт при переносе шаблона с тестового домена.
- Считать robots.txt защитой конфиденциальных материалов.
- Запрещать обход страницы, ожидая, что робот прочитает размещённый на ней noindex.
Как не закрыть нужное
Для закрытой информации нужна авторизация или реальное ограничение доступа. Robots.txt предназначен для управления поведением роботов, а не для защиты данных.
Документация и практические материалы
Смежные практические вопросы подробно разобраны в материалах о разработке и поисковом продвижении сайтов: разбор технического и поискового аудита сайта; разбор типичных ошибок SEO на Tilda.
Для уточнения требований поисковых систем полезна официальная документация: Документация Google по обходу и индексированию.
