Что такое индексация?
Индексация — это включение страниц сайта в базу поисковой системы: робот находит страницу по ссылке или в карте сайта, обходит её и добавляет в индекс. Только страницы в индексе участвуют в выдаче; всё остальное для поисковых систем не существует.
Путь страницы до выдачи такой:
обход роботом → индексация → ранжирование → выдачаСкорость индексации важна для SEO: новая статья, которая индексируется за день, начинает собирать позиции раньше той, что ждёт обхода неделю.
Как проверить индексацию
- кабинет вебмастера: Яндекс Вебмастер и Search Console показывают число страниц в индексе, статусы обхода и ошибки;
- оператор «site:»: site:semtools.guru показывает, какие страницы системы видят;
- проверка конкретного адреса в вебмастере: статус «страница в индексе» или причина исключения;
- карта сайта: сверить, что все новые адреса в неё попали.
Почему страница не индексируется
- закрыта в robots.txt или метатегом noindex;
- робот не находит ссылок на страницу (сирота без перелинковки);
- малоценность: страница почти не отличается от других или не несёт пользы;
- дубли: система выбирает канонический адрес и не включает повтор;
- медленный сайт и ошибки сервера: робот не всегда успевает обойти;
- страница не в карте сайта и о ней не знает никто.
Как ускорить индексацию
- новый адрес сразу в карту сайта и кабинет вебмастера;
- внутренние ссылки с популярных страниц: чем чаще робот ходит по сайту, тем быстрее находит новое;
- IndexNow (для Яндекса и Bing): отправка адреса при публикации ускоряет обход;
- соцсети и внешние площадки: ссылки с них тоже служат «дорожками» для робота;
- быстрый сервер и аккуратная техническая база: обход не срывается на ошибках.
Чистка индекса
Индексация это не только «больше страниц в индексе»: мусорные и дубль-страницы в индексе размазывают signals и съедают обходной лимит. Служебные страницы закрывают noindex или удаляют, дубли склеивают, а списки «просканировано, не проиндексировано» в вебмастере разбирают регулярно: именно там видно, что робот считает малоценным.
Типичные ошибки
- блокировка в robots.txt в расчете на noindex: робот может не увидеть метатег;
- страницы-сироты без внутренних ссылок;
- карта сайта не обновляется, и новые адреса ждут случайного обхода;
- мусорные страницы держат в индексе «пусть будут»;
- нет мониторинга: падение числа страниц в индексе замечают через месяц.
Связь с другими терминами
Индексация база всего SEO: без неё нет выдачи. Управляют ею robots.txt, метатег robots, карты сайта и кабинеты вебмастера; дубли и каннибализация считаются её болезнями.
Итоги
Индексация превращает страницу в участника выдачи. Проверяйте её регулярно, заводите новые адреса через карту сайта и вебмастера, чистите мусор из индекса: тогда поисковые системы видят сайт таким, каким вы его построили.