Сайта нет в поиске Яндекса: как проверить индексацию и что чинить

Как проверить, есть ли сайт в индексе

Прежде чем что-то чинить, нужно понять, о чём вообще речь. Есть два разных состояния, которые владельцы почти всегда путают: сайта нет в индексе и сайт в индексе, но стоит низко. Это разные болезни с разным лечением, и лечить их одинаково бессмысленно.

Индекс - это база поисковика: копии страниц, которые робот скачал, прочитал и положил к себе. Если страницы в базе нет, она не может показаться по запросу вообще ни при каких условиях. Если страница в базе есть, но по запросу «сайты в Воронеже» вы на сотом месте - это уже вопрос конкуренции и продвижения, а не индексации.

Самая быстрая проверка - оператор site:. Вбейте в поиск site:вашдомен.ру без пробела после двоеточия. Если поисковик показывает список ваших страниц - вы в индексе. Если отвечает, что ничего не найдено - вас в базе нет. Это грубая проверка, точное число страниц по ней смотреть не стоит, но для ответа «да или нет» её достаточно.

Проверка поточнее - Яндекс.Вебмастер и Google Search Console. Это бесплатные панели самих поисковиков, и любому сайту, который хочет клиентов из поиска, они нужны с первого дня. Там видно не только сколько страниц в индексе, но и почему конкретная страница туда не попала: робот её не нашёл, зашёл и получил ошибку, увидел запрет или счёл дублем. Это единственное место, где поисковик прямым текстом говорит, что ему не нравится. Странно этим не пользоваться.

Проверять стоит оба поисковика отдельно. У Яндекса и Google свои роботы, свои очереди и свои представления о том, что достойно индекса. Ситуация «в Google уже всё, а в Яндексе пусто» абсолютно нормальная, особенно на молодом сайте.

Почему страниц нет в поиске

За годы работы список причин почти не меняется. Экзотика встречается редко, а вот эти шесть пунктов закрывают подавляющее большинство случаев.

Отдельно стоит упомянуть неприятный вариант: домен с прошлым. Если вы купили красивый освободившийся домен, у него могла быть история - спам, дорвеи, взлом. Санкции живут на домене, а не на вашем новом сайте, и разгребать их иногда дольше, чем взять другой домен. Поэтому перед покупкой домена с рук его стоит проверять, а не радоваться, что имя короткое и красивое. Мы про выбор домена и хостинга писали подробно отдельно.

Что чинить и в каком порядке

Порядок важен: нет смысла добавлять сайт в Вебмастер, если он закрыт от роботов. Идите сверху вниз, каждый следующий шаг имеет смысл только после предыдущего.

Шаг первый: снять запреты. Открываете robots.txt и убеждаетесь, что нет Disallow: / для всех роботов. Потом смотрите исходный код главной и пары внутренних страниц (в браузере это «Просмотр кода страницы») и ищете слово noindex. Если оно там - убираете его в админке или просите разработчика. Это пять минут работы и первое, что нужно сделать.

Шаг второй: подключить Вебмастер и Search Console. Подтверждаете права на сайт, добавляете sitemap.xml, отправляете главную страницу на переобход. Тут же панель сама скажет, если видит проблемы - недоступность сервера, дубли, отсутствие мобильной версии. Это ваш главный диагностический прибор, и он бесплатный.

Шаг третий: убрать дубли и определиться с главным зеркалом. Сайт должен открываться по одному адресу. Все остальные варианты - с www, по http, с индексным файлом в конце - должны редиректить на него, а не жить своей жизнью. На каждой странице должен быть canonical, указывающий на неё саму.

Шаг четвёртый: проверить, что робот вообще может ходить по сайту. Есть ли sitemap.xml и попадают ли туда все важные страницы. Ведут ли на каждую страницу обычные текстовые ссылки. Не тормозит ли сервер: если страница отдаётся долго, робот обходит меньше страниц за визит - здесь скорость загрузки влияет не только на человека, но и на индексацию.

Шаг пятый: дать роботу повод взять страницу в индекс. На странице должен быть уникальный заголовок, осмысленный текст, ответ на реальный вопрос человека. Страница «Услуги» с перечислением из пяти слов конкурировать за место в базе не будет. Это уже не чистая техника, а контент, но без него первые четыре шага дадут вам индексацию пустоты.

После правок не ждите чуда за час. Отправьте важные страницы на переобход в Вебмастере и дайте роботу время вернуться. Переобход - это заявка, а не приказ: вы говорите поисковику «посмотри сюда ещё раз», а придёт он тогда, когда придёт.

Сколько ждать индексации

Честный ответ: от нескольких дней до нескольких недель, и точную дату вам не назовёт никто. Это не отговорка, а устройство системы. Скорость обхода поисковик определяет сам, исходя из возраста домена, скорости сервера, частоты обновлений и общего доверия к сайту.

Практика обычно выглядит так. Google на живом сайте с подключённой Search Console подхватывает страницы быстро, иногда за пару дней. Яндекс чаще думает дольше - на новом домене нормально ждать пару недель, а иногда и больше. Молчание Яндекса первые недели после запуска - это не поломка. Это ожидаемое поведение, и дёргаться раньше времени не нужно.

Что реально ускоряет процесс: подтверждённый Вебмастер и Search Console, живой sitemap.xml, быстрый сервер, внутренние ссылки на новые страницы и хоть какие-то внешние упоминания - карточка организации, соцсети, каталоги. Робот приходит туда, куда ведут дороги, и приходит чаще туда, где что-то регулярно меняется.

И главное, что важно развести в голове: попасть в индекс и продвинуться в топ - две разные задачи. Индексация - это вход в базу, она бесплатна и обычно быстра. Позиции по конкурентным запросам - это уже долгая работа с деньгами и сроками, и никаких гарантий по местам в выдаче честная студия дать не может, потому что выдачей никто из подрядчиков не управляет. Мы про сроки и цены такой работы разбирали отдельно, и там та же логика: можно создать условия, нельзя пообещать результат к дате.

Страницы были и выпали

Отдельная история, когда сайт индексировался нормально, а потом часть страниц исчезла из поиска. Здесь причины другие, и первое, что нужно сделать, - вспомнить, что менялось на сайте за последние недели. В девяти случаях из десяти выпадение - это последствие чьих-то действий, а не случайность.

Переезд и смена адресов. Сменили структуру ссылок, переехали на новый домен или на https, а редиректы со старых адресов не настроили. Для поисковика старые страницы умерли, а новые - незнакомцы, которых нужно узнавать заново. Просадка после такого переезда закономерна, и она тем короче, чем аккуратнее сделаны редиректы.

Технические сбои и переезд на другой хостинг. Если сервер несколько дней отвечал ошибками или сайт лежал, робот приходил, не достучался и вычеркнул страницы. Обычно они возвращаются сами, когда сайт стабильно работает какое-то время.

Дубли и малополезные страницы. Поисковик чистит базу от почти одинаковых страниц. Карточки товаров с одним описанием на всех, фильтры каталога, размноженные страницы городов, отличающиеся только названием города, - типичные кандидаты на вылет. Здесь лечение не техническое: страницам нужен разный смысл, а не разное название в заголовке.

Санкции и взлом. Самый неприятный вариант. Если на сайте появились чужие страницы, редиректы на казино или скрытый спам-текст, из поиска могут выкинуть весь сайт. Вебмастер об этом сообщает в разделе с проблемами безопасности. Тут порядок такой: сначала вылечить сайт и закрыть дыру, потом отправить на перепроверку. Мы про это писали подробно в разборе про то, что делать, если сайт взломали.

Общее правило простое: если страницы выпали резко и массово - ищите техническую причину или санкции. Если они уходят медленно и по чуть-чуть - это, скорее всего, конкуренция и качество контента, и это уже разговор про продвижение, а не про починку.