Владелец нового интернет-магазина однажды написал нам простой вопрос: «Сайт запущен неделю назад, все страницы на месте, а в поиске его будто не существует — почему?». Ответ обычно один: ресурс еще не прошел индексацию. Пока это не случилось, для поисковика сайта попросту нет — независимо от того, сколько сил вложено в дизайн и тексты.
Что такое индексация сайта, если объяснить без канцелярита: это момент, когда робот поисковой системы находит вашу страницу, разбирает ее содержимое и добавляет запись о ней в свою внутреннюю базу. С этой секунды документ становится кандидатом на показ в результатах — раньше он для алгоритма попросту невидим.
Веб индексация сайта это, по большому счету, та же логика, что применяется в библиотеке: прежде чем читатель сможет найти книгу по каталожной карточке, кто-то должен эту карточку составить и разложить по алфавиту. Что такое индексация сайта веб индексация в более широком смысле — это глобальная технология, с помощью которой поисковики строят гигантский справочник из всего контента интернета, а применение этой технологии к отдельному ресурсу и называют индексацией конкретного сайта.
Индексация сайта это, если убрать техническую терминологию, своеобразный пропуск в клуб — без него ни одна, даже самая продуманная посадочная страница не покажется в ответ на запрос пользователя. Индексация сайта это простыми словами примерно то же самое, что регистрация нового товара на складе: пока накладную не оформили, товара для системы учета не существует, хотя физически он уже стоит на полке.
Официальная логика этого процесса подробно расписана в материалах Google Search Central «Индексирование в Google Поиске» — там же можно посмотреть, как устроен Googlebot изнутри.
Принцип индексации редко объясняют наглядно, а зря — на деле все укладывается в понятную цепочку из нескольких шагов, которая повторяется для каждой найденной страницы.
Сначала краулер натыкается на адрес — через ссылку с другого документа, через карту сайта или потому что кто-то отправил URL вручную. Дальше начинается разбор содержимого: из html-кода вычищается служебный мусор — повторяющиеся блоки меню, скрипты, футер, — и остается смысловая часть текста. Ее раскладывают на отдельные лексемы: это своего рода строительные блоки, по которым позже сверяется соответствие странице пользовательскому запросу.
Индексация страниц сайта это финальный аккорд всей цепочки: система собирает разобранные данные в единую запись и заносит ее в индекс — гигантскую распределенную базу, которая физически хранится на тысячах серверов по всему миру. Поисковая индексация сайта именно поэтому и работает так быстро в момент выдачи: к моменту, когда пользователь набирает запрос, вся тяжелая аналитическая работа над документами давно проделана заранее.
Процесс индексации сайта завязан на регулярности обхода: ресурс, который робот навещает раз в сутки, обновляется в базе куда живее, чем тот, куда краулер заглядывает раз в месяц. Индексация сайта поисковыми системами устроена по похожему сценарию у большинства крупных игроков — разница обычно в технических деталях и приоритетах, а не в самой концепции.
Наглядно цепочку можно представить так:
Обнаружение адреса → загрузка страницы → очистка от технического шума → разбивка текста на лексемы → сохранение готовой записи в базе.
Google индексация сайта строится вокруг понятия краулингового бюджета — грубо говоря, лимита на количество страниц, которые робот готов обработать за отведенный период. На размер этого лимита влияют возраст домена, скорость сайта и то, насколько часто на нем появляется свежий контент. Гугл индексация сайта также сильно завязана на мобильную версию: если верстка криво отображается на смартфоне, обработка страницы может заметно затормозиться — сказывается принцип mobile-first indexing, детально описанный в руководстве Google по индексированию с приоритетом мобильной версии.
Индексация сайта в яндексе построена немного иначе: в первую очередь сканируется десктопная версия страницы, а привычного краулингового бюджета в явном виде не предусмотрено. Зато посещаемость ресурса напрямую влияет на приоритетность обхода — чем активнее люди заходят на сайт, тем быстрее туда возвращается робот. Подробности процесса собраны в разделе Яндекс.Помощь для вебмастеров об индексировании.
Ниже — короткое сравнение двух подходов:
SEO индексация сайта в обеих системах опирается на одинаковый минимум: рабочий сервер, отсутствие лишних блокировок в служебных файлах и понятная структура ссылок. Индексация сайта в поиске начинается ровно тогда, когда эти базовые условия выполнены хотя бы на приемлемом уровне — без этого дальнейшая оптимизация просто не имеет смысла.
Ваш сайт не виден в поиске? Попробуйте SEO-продвижение от команды Clickmedia
Проверка индексации — задача на пять минут, если знать, куда смотреть, и источник постоянной путаницы, если полагаться только на догадки.
Быстрее всего проверить индексацию сайта помогает поисковый оператор site: — достаточно вписать site:вашдомен.ру прямо в строку поиска, и система покажет примерное количество известных ей страниц. Способ грубый, но для беглой оценки годится отлично.
Проверка индексации сайта в яндекс делается точнее через раздел «Индексирование» внутри Яндекс.Вебмастера: там видно статус каждого конкретного URL и причину, если документ был исключен из базы. Проверка индексации яндекс через этот же инструмент дополнительно показывает дату, когда робот последний раз заходил на страницу.
У Google похожую роль играет Search Console — вкладка «Покрытие» дает проверку индексации по отдельному адресу, а функция «Проверка URL» позволяет узнать индексацию сайта в моменте и сразу запросить повторный обход документа. По сути, проверка индексации страницы через этот инструмент занимает не больше пары минут.
Как проверить индексируется ли сайт целиком, если нужен общий срез, а не точечный: оба сервиса формируют сводные отчеты по всему домену с делением на проиндексированные, исключенные и проблемные страницы. По сути, такой отчет и есть готовый анализ индексации сайта — с расшифровкой, почему часть URL до сих пор не попала в выдачу.
Отдельно стоит упомянуть ситуации, когда посмотреть индексацию сайта нужно буквально сразу после публикации важной страницы — например, лендинга под рекламную кампанию. В таких случаях ждать плановый обход рискованно, и проверка страниц на индексацию вручную через отправку URL в вебмастерский инструмент экономит недели ожидания.
Закрытые от индексации сайты и отдельные разделы — не аномалия, а нормальная практика. Далеко не весь контент должен попадать в выдачу: личный кабинет, корзина, служебные страницы фильтров с дублирующимся содержимым — все это стоит держать вне поля зрения поисковика.
Индексация сайта robots txt регулируется директивой Disallow, которая указывает роботу разделы, куда заходить не стоит. Есть нюанс: синтаксис файла не понимает кириллицу, а сама директива — скорее рекомендация, чем жесткий запрет: недобросовестные боты вполне способны ее проигнорировать.
Как закрыть сайт от индексации целиком, пока ресурс еще в разработке, — самый прямой путь прописать в robots.txt правило Disallow: / , которое блокирует обход всего домена сразу. Закрыть сайт от индексации robots txt таким образом стоит только на время: если забыть снять запрет после релиза, сайт рискует остаться невидимым для поиска надолго — забытая строчка в файле обходится бизнесу дороже, чем кажется на старте.
Запрет индексации сайта можно оформить точечно — через мета-тег robots со значением noindex в head конкретной страницы, если скрыть нужно не весь ресурс, а отдельные документы вроде технических посадочных страниц.
Как запретить индексацию сайта или отдельного его куска — вопрос, который имеет смысл решать вместе с проверкой результата: корректность настроек удобно сверять через те же инструменты Яндекс.Вебмастера и Google Search Console, где сразу видно, какие адреса система исключила и по какой причине.
Ускорения индексации добиваются не одним приемом, а комбинацией нескольких — по отдельности каждый дает скромный эффект, а вместе заметно сокращают время ожидания.
Как ускорить индексацию сайта на практике:
Подробнее о перелинковке здесь.
Ускорение индексации сайта особенно ощутимо на молодых доменах: у них еще нет накопленной истории обходов и доверия со стороны поисковика, поэтому любая техническая помощь роботу окупается быстрее, чем на давно существующих ресурсах.
Разброс большой — от нескольких часов до пары недель. Многое зависит от возраста домена, частоты обновлений и того, добавлен ли адрес в sitemap.xml.
Чаще всего дело в технической накладке: изменился код ответа сервера, случайно появился noindex, или страницу заблокировали в robots.txt. Реже причина в том, что контент устарел или начал дублировать другую страницу сайта.
Вполне. Обновление карты сайта, ручная отправка URL на переобход и устранение явных технических ошибок — задачи, с которыми справится и штатный специалист без глубокой SEO-экспертизы.
Нет, и путать эти понятия не стоит. Индексация — это просто попадание страницы в базу поисковика. А то, на каком месте она окажется среди уже проиндексированных документов, определяет уже ранжирование — совсем другой этап работы алгоритма.
Продолжая пользоваться сайтом, вы соглашаетесь на обработку файлов cookie и других пользовательских данных в соответствии с политикой конфиденциальности.