Что поисковики называют краулингом
Краулинг, или сканирование сайта, — получение поисковым роботом страниц и других ресурсов по известным URL. На этом этапе система собирает данные, необходимые для последующей обработки и индексирования.
Обход не равен индексации: сервер может успешно отдать документ роботу, однако поисковая система не включит его в индекс или выберет другой канонический адрес.
Как робот строит очередь обхода
Робот формирует очередь адресов из ранее известных страниц, ссылок и карт сайта. При обращении к ресурсу он получает HTTP-ответ, может обнаружить новые ссылки и планировать последующие визиты. Частота зависит от состояния сайта, скорости ответа, изменения контента и внутренних приоритетов системы.
Если важная страница скрыта за интерфейсом, не содержит обычных HTML-ссылок или сервер периодически отвечает ошибками, её обнаружение и повторная обработка становятся менее надёжными. При этом простое увеличение sitemap не означает, что все адреса начнут обходиться чаще.
Каталог с недоступными роботам карточками
На сайте есть каталог с карточками, которые подгружаются только после нажатия кнопки. Пользователь видит все товары, но робот может не обнаружить их URL, если они не представлены в доступных ссылках.
Практическое решение — обеспечить обычные ссылки на ключевые страницы, сохранить корректные ответы сервера и отслеживать фактические обращения роботов по журналам, когда они доступны.
Как проверить возможность сканирования
Для такой диагностики важно сопоставить ответ сайта с наблюдениями поисковых инструментов. Начните с проверяемых фактов:
- Проверьте, существует ли путь по HTML-ссылкам от индексируемых разделов до целевой страницы.
- Откройте robots.txt и убедитесь, что нужный путь доступен для обхода.
- Проверьте код ответа сервера и отсутствие циклических перенаправлений.
- Сопоставьте статистику сканирования, известные URL и индексируемые страницы в кабинетах вебмастера.
Обнаружение, обход и индексирование
Для практических решений полезно разделять понятия «Обнаружение» и «Краулинг». Сопоставление помогает избежать ошибочных действий.
| Понятие или ситуация | Что означает на практике |
|---|---|
| Обнаружение | Система получила URL, но ещё не обязательно запрашивала его. |
| Краулинг | Робот запросил содержимое URL. |
| Индексирование | Содержимое прошло обработку и может попасть в индекс. |
Что мешает регулярному обходу
При практическом применении стоит избегать трёх характерных ошибок:
- Путать сообщения «обнаружено» и «просканировано».
- Размещать важные страницы только в меню, построенном на недоступных для обхода действиях JavaScript.
- Считать, что ручной запрос обхода гарантирует моментальную переиндексацию.
Приоритеты работы со сканированием
Надёжная структура внутренних ссылок и стабильная доступность ресурсов важнее формального количества адресов в карте сайта.
Документация и практические материалы
Смежные практические вопросы подробно разобраны в материалах о разработке и поисковом продвижении сайтов: разбор технического и поискового аудита сайта; проверка индексации сайта на Tilda.
Для уточнения требований поисковых систем полезна официальная документация: Как работает поиск Google.
