Почему страницы перестали индексироваться в Яндексе?

Остановка индексации: причины и диагностика в Вебмастере

Страницы перестают индексироваться по одной из нескольких причин: технические блокировки, проблемы с контентом или исчерпание краулингового бюджета. Каждую из них можно диагностировать через Яндекс Вебмастер — без платных инструментов и без привлечения разработчика на первом этапе.

Остановка индексации — это ситуация, когда поисковый робот Яндекса перестаёт добавлять страницы сайта в базу поиска: новые материалы не попадают в выдачу, а уже проиндексированные — постепенно исключаются из неё.

На практике это выглядит так: вы публикуете новую статью или карточку товара, ждёте несколько дней — а страница не появляется в поиске. Или, наоборот, замечаете, что страницы, которые раньше приносили трафик, перестали отображаться в выдаче. Оба сценария означают одно: сайт теряет видимость, а вместе с ней — потенциальных клиентов.

Проблема делится на два независимых случая. Первый — новые страницы не попадают в индекс вообще: робот их либо не обходит, либо намеренно игнорирует. Второй — уже проиндексированные страницы исключаются: Яндекс убирает их из базы после переобхода. Причины в обоих случаях разные, поэтому и диагностика начинается с понимания, какой именно сценарий у вас.

Этот гайд разбирает восемь причин, которые мы чаще всего находим при аудитах. Каждая из них проверяется через Яндекс Вебмастер — раздел «Индексирование» → «Страницы в поиске» и «Ошибки обхода». Никаких платных подписок для первичной диагностики не нужно: вся нужная информация есть в интерфейсе Вебмастера, если знать, куда смотреть.

После прохождения гайда у вас будет конкретная причина проблемы — не «что-то пошло не так», а точный пункт с первым шагом исправления. Это принципиальная разница: большинство владельцев сайтов месяцами ждут, пока страницы «сами проиндексируются», хотя проблема решается за несколько часов после правильной диагностики.

Разберём, с чего начинать диагностику — и почему именно Яндекс Вебмастер даёт ответ быстрее любого стороннего инструмента.

Шаг 1. Диагностируйте состояние индексации в Яндекс Вебмастере

Яндекс Вебмастер — первая точка диагностики. Откройте раздел «Индексирование» и перейдите во вкладку «Страницы в поиске». Смотрите на динамику за последние 30 дней: если число проиндексированных страниц резко упало или остановилось на одной отметке — проблема уже есть, и её нужно локализовать.

Зафиксируйте три числа прямо сейчас: сколько страниц проиндексировано, сколько исключено, сколько ошибок краулинга. Это точка отсчёта — без неё вы не поймёте, улучшилась ли ситуация после правок.

1. Откройте «Индексирование» → «Страницы в поиске». Сравните динамику за 30 дней. Если кривая пошла вниз или встала — переходите к следующему шагу, а не ждите, пока «само исправится».
2. Перейдите во вкладку «Исключённые страницы». Яндекс Вебмастер разбивает исключения по причинам: noindex в мета-теге, дубли, ошибки сервера, мягкие 404 (страница отвечает кодом 200, но контент отсутствует или минимален). Каждая причина — отдельная задача для исправления.
3. Используйте «Проверка URL» для точечной диагностики. Введите адрес конкретной страницы — инструмент покажет, видит ли её робот, какой код ответа получает и есть ли директивы, блокирующие индексацию. Удобно для быстрой проверки приоритетных страниц: категорий, карточек товаров, посадочных страниц.
4. Проверьте «Индексирование» → «Статистика обхода». Убедитесь, что робот вообще заходит на сайт и с какой частотой. Если активность бота упала — причина может быть в технических сбоях, закрытии разделов через robots.txt или резком снижении авторитета сайта.

После того как вы собрали картину в Вебмастере, следующий вопрос — что именно мешает индексации. Технические блокировки — самая распространённая группа причин, и разобраться с ними можно без разработчика.

Причины 1–4: технические блокировки индексации

Технические блокировки — первое, что проверяется при остановке индексации. Яндекс честно показывает причины в нескольких разделах Вебмастера, но нужно знать, куда смотреть.

1. robots.txt закрывает нужные страницы

   Откройте Яндекс Вебмастер → «Инструменты» → «Анализ robots.txt». Вставьте URL страницы, которая не индексируется, и нажмите «Проверить». Вебмастер покажет, какие директивы применяются к этому адресу и блокирует ли файл доступ роботу Яндекса.

   Типичная ошибка: директива Disallow: / прописана под User-agent: *, а исключение для Яндекса не добавлено. Или разработчик закрыл раздел /catalog/ во время тестирования и забыл открыть после запуска. После правки robots.txt снова запустите проверку через тот же инструмент — убедитесь, что ответ изменился на «разрешено».

   Частая ошибка на этом этапе: исправить robots.txt и сразу запросить переобход страниц. Сначала убедитесь через «Анализ robots.txt», что файл действительно обновился и отдаётся корректно — иногда кеш сервера задерживает изменения.

2. Мета-тег noindex на страницах

   Откройте Яндекс Вебмастер → «Индексирование» → «Исключённые страницы». Фильтруйте по причине «Запрет индексирования» — здесь собраны адреса, на которых робот нашёл <meta name="robots" content="noindex">.

   Для массовой проверки запустите краулер Screaming Frog: Configuration → Spider → Crawl → Response Codes + Meta & Canonical. В колонке «Meta Robots» отфильтруйте значение «noindex» — получите полный список проблемных страниц за несколько минут.

   Чаще всего noindex попадает на страницы через шаблон CMS. Например, в WordPress плагин Yoast или Rank Math по умолчанию закрывает страницы пагинации, архивы по тегам и страницы авторов. Проверьте настройки плагина: раздел «Внешний вид в поиске» → тип записи → переключатель «Индексировать».

   Частая ошибка: удалить noindex вручную на нескольких страницах, не проверив шаблон. Через неделю CMS перегенерирует страницы и вернёт тег обратно.

3. Ошибки сервера 5xx и медленный ответ

   Откройте Яндекс Вебмастер → «Индексирование» → «Ошибки». Здесь отображается история обходов с кодами ответа. Коды 500, 502, 503, 504 означают, что сервер не ответил корректно — робот зафиксировал ошибку и пропустил страницу.

   Периодические ошибки 503 особенно коварны: сайт работает, но в момент обхода сервер был перегружен. Яндекс интерпретирует это как нестабильность и снижает частоту обходов. Если в отчёте видите всплески 503 по ночам — скорее всего, в это время запускается тяжёлый cron-процесс (генерация отчётов, резервное копирование). Перенесите его на менее нагруженное время или ограничьте потребление ресурсов.

   Медленный ответ сервера (несколько секунд и более) тоже сокращает краулинговый бюджет: робот тратит больше времени на каждую страницу и обходит меньше адресов за сессию. Проверьте время ответа в том же разделе «Индексирование» — там отображается средняя скорость ответа сервера по дням.

4. Проблемы с sitemap.xml

   Откройте Яндекс Вебмастер → «Индексирование» → «Sitemap-файлы». Проверьте статус каждого добавленного файла: он должен быть «Обработан», а дата последнего обновления — свежей. Если статус «Ошибка» или дата не менялась несколько недель — файл не обновляется автоматически или недоступен по указанному URL.

   Частая проблема: в sitemap.xml попадают URL с параметрами (UTM-метки, сессионные идентификаторы), страницы, закрытые через noindex, или адреса, которые возвращают 404. Яндекс обходит все адреса из карты, тратит краулинговый бюджет на нерелевантные страницы и реже добирается до важных.

   Пересоздайте sitemap через плагин или скрипт с явными фильтрами: включайте только страницы со статусом 200, без noindex, без параметров. После загрузки нового файла на сервер удалите старый из Вебмастера и добавьте обновлённый заново — это сбрасывает кеш обработки.

   Частая ошибка: добавить sitemap в Вебмастер и считать задачу выполненной. Карта сайта — живой документ: при добавлении новых разделов или удалении страниц она должна обновляться автоматически. Проверяйте статус раз в две недели.

Причины 5–8: контентные, ссылочные и бюджетные проблемы

1. Тонкий или дублированный контент

   Яндекс исключает страницы с малым объёмом уникального текста — это не баг, а сознательная политика: робот не хочет показывать пользователю страницу, которая не несёт самостоятельной ценности. Откройте Яндекс Вебмастер → «Индексирование» → «Страницы в поиске» → вкладка «Исключённые». Отфильтруйте по причине «Дубликат» — здесь окажутся страницы, которые Яндекс счёл копией другой. Рядом будет указан «оригинал», которому отдан приоритет.

   Типичная ошибка: владелец сайта видит в списке страницы тегов, пагинации или фильтров и думает, что это технический сбой. На самом деле это нормальное поведение — Яндекс сам выбирает каноническую версию. Проблема возникает, когда в «дублях» оказываются коммерчески важные страницы категорий или карточек товаров. Проверьте: у страницы-«дубля» есть тег canonical? Он ведёт на правильный URL? Если canonical настроен корректно, но страница всё равно в исключённых — добавьте уникальный контент: описание, характеристики, отзывы. Срок ожидания после исправления — несколько недель до повторного обхода.

2. Исчерпан краулинговый бюджет (Crawl Budget)

   Краулинговый бюджет — это количество страниц, которое поисковый робот обходит на сайте за единицу времени. Для сайтов с несколькими тысячами URL и выше это ограничение становится реальной проблемой: робот тратит ресурс на технические, служебные и малоценные страницы и не добирается до важных.

   Откройте Яндекс Вебмастер → «Индексирование» → «Статистика обхода». Смотрите на динамику: если число ежедневно обходимых страниц не растёт, а важные новые страницы неделями не появляются в индексе — бюджет перегружен. Решение: закройте в robots.txt технические разделы (корзину, личный кабинет, страницы сортировки, дублирующие фильтры), удалите или объедините страницы с нулевым трафиком. После чистки краулинговый бюджет перераспределяется на важные страницы автоматически — результат обычно виден в течение нескольких недель.

   Важно: краулинговый бюджет и лимит индексации — разные понятия. Первое — про то, сколько страниц робот успевает обойти. Второе — про то, сколько страниц попадает в базу. Сайт с маленьким краулинговым бюджетом может иметь большой индекс и наоборот. Решения у них тоже разные: бюджет расширяют чисткой мусорных URL, лимит — качеством контента.

3. Отсутствие внутренней перелинковки (Internal Linking)

   Новая страница без входящих внутренних ссылок — «остров»: робот находит её только через sitemap.xml, и обходит реже, чем страницы, на которые ведут ссылки с уже проиндексированных разделов. Это особенно критично для блога и каталога: публикуете новую статью или добавляете категорию — сразу добавьте на неё ссылки с трёх-пяти смежных проиндексированных страниц.

   Проверьте внутреннюю перелинковку через Screaming Frog: запустите краулинг, откройте вкладку «Inlinks» для нужной страницы. Если там ноль или одна запись из sitemap — страница недополучает ссылочный вес (Link Juice) и обходится редко. Выстройте перелинковку от опорных страниц (Pillar Page) к дочерним: это ускоряет обход и повышает шансы на индексацию без ожидания планового визита робота. Срок эффекта — от нескольких дней до двух недель после добавления ссылок.

4. Санкции или фильтр качества

   Резкое падение числа страниц в индексе — не всегда техническая проблема. Если за несколько дней индекс сократился на значительную долю без видимых изменений на сайте, проверьте раздел Яндекс Вебмастер → «Безопасность и нарушения». Там отображаются предупреждения о спаме, некачественном контенте, накрутке поведенческих факторов или нарушениях рекомендаций Яндекса.

   Если предупреждение есть — сначала устраните причину: уберите купленные ссылки, почистите переоптимизированные тексты, исправьте нарушение. После этого подайте заявку на пересмотр прямо в том же разделе Вебмастера — кнопка «Я исправил нарушения» появляется после фиксации предупреждения. Срок рассмотрения заявки — от нескольких недель до нескольких месяцев в зависимости от типа нарушения. Подавать заявку до исправления нарушения бессмысленно: Яндекс проверит сайт повторно и откажет.

   Типичная ошибка: владелец видит падение индекса и сразу начинает менять контент, не проверив раздел «Безопасность». В итоге причина остаётся, а время потрачено на косметику.

Инструменты диагностики индексации: сравнительная таблица

Диагностика индексации — это не один инструмент, а связка из нескольких. Яндекс Вебмастер закрывает большинство задач, но для полной картины нужно знать, что смотреть в каждом из них и в какой последовательности.

Яндекс Вебмастер — приоритет. Он показывает не только факт исключения страницы, но и причину: дубликат, заблокировано robots.txt, ошибка сервера, мета-тег noindex. Начинайте всегда с него — в большинстве случаев этого достаточно, чтобы локализовать проблему без установки дополнительных программ.

Яндекс Метрика работает как косвенный сигнал. Откройте «Отчёты» → «Источники» → «Поисковые системы», выберите Яндекс, добавьте сегментацию по URL страницы. Если органический трафик на конкретный раздел резко упал в определённую дату — сравните эту дату с изменениями в Вебмастере. Метрика не скажет, почему страница исключена, но точно покажет, когда это произошло.

Screaming Frog подключается, когда нужна массовая проверка: например, на сайте несколько тысяч страниц и нужно быстро найти все URL с кодом 404, noindex или битыми canonical. Запустите краулинг сайта, откройте вкладку «Response Codes» — отфильтруйте по статусу. Параллельно проверьте вкладку «Directives» — здесь видны все страницы с noindex в мета-теге. Это дополнение к Вебмастеру, а не замена: Яндекс Вебмастер показывает, что видит робот Яндекса, Screaming Frog — что физически отдаёт сервер при обходе.

Раздел «Безопасность и нарушения» в Вебмастере часто остаётся непроверенным — туда заходят только при очевидных проблемах. Проверяйте его регулярно: Яндекс фиксирует здесь предупреждения о некачественном контенте и наложенные ограничения, которые напрямую влияют на индексацию, но не отображаются в разделе «Индексирование».

Когда инструменты собраны и картина ясна — переходите к финальной сверке: чек-лист из следующего раздела поможет пройти все точки проверки за один подход, ничего не пропустив.

Готовый чек-лист: проверьте индексацию за 30 минут

1. Откройте Яндекс Вебмастер → «Индексирование» → «Страницы в поиске». Зафиксируйте три числа: сколько страниц проиндексировано, сколько исключено, сколько ошибок краулинга. Это базовая точка отсчёта — без неё непонятно, улучшается ли ситуация после правок.
2. Перейдите во вкладку «Исключённые» и выпишите топ-3 причины исключения. Яндекс группирует их: дубликаты, мягкий 404, заблокировано robots.txt, noindex. Именно эти группы определяют, куда идти дальше. Частая ошибка: смотрят только на общее число исключённых, не разбирая причины — в итоге чинят не то.
3. Проверьте robots.txt через «Инструменты» → «Анализ robots.txt». Вставьте URL каждой важной страницы и убедитесь, что Яндекс-бот видит её открытой. Особенно часто закрыты разделы каталога, пагинация и страницы фильтров — из-за шаблонных директив Disallow.
4. Проверьте наличие тега noindex через «Инструменты» → «Проверка URL». Вставьте адрес страницы, которая не индексируется. Вебмастер покажет, что именно получил робот: мета-тег, HTTP-заголовок или директиву robots.txt. Частая ошибка — noindex остаётся на страницах после снятия тестового режима CMS.
5. Откройте «Индексирование» → «Ошибки» и отфильтруйте по кодам ответа сервера. Страницы с кодом 404 Яндекс исключает из индекса — это стандартное поведение: код означает отсутствие запрашиваемого ресурса. Страницы с кодами 5xx сигнализируют о проблемах на сервере, и бот перестаёт их обходить. Приоритет — устранить 5xx, затем настроить корректные 301-редиректы для 404.
6. Откройте sitemap.xml и проверьте актуальность файла. В карте сайта не должно быть URL, закрытых в robots.txt, с тегом noindex или отдающих 404. Такие адреса дезориентируют робота и расходуют краулинговый бюджет (Crawl Budget) впустую.
7. Оцените краулинговый бюджет: «Индексированиег» → «Статистика обхода». Сравните число страниц, которые бот обходит ежедневно, с общим числом страниц сайта. Если бот обходит заметно меньше, чем нужно — начните с удаления дублей, пустых страниц и закрытия мусорных разделов.
8. Проверьте внутреннюю перелинковку (Internal Linking) новых страниц. Если на страницу не ведёт ни одна внутренняя ссылка — бот её просто не найдёт, даже если она открыта для индексации. Откройте Screaming Frog, запустите обход сайта и отфильтруйте страницы с нулём входящих внутренних ссылок.
9. Откройте «Безопасность и нарушения» в Вебмастере. Наличие предупреждений здесь означает, что часть страниц или весь сайт попал под ручные санкции — в этом случае технические правки не помогут, пока не устранена причина нарушения.
10. После всех исправлений отправьте URL на переобход через «Инструменты» → «Переобход страниц». Поставьте напоминание на 7–14 дней — за это время Яндекс, как правило, повторно обходит исправленные страницы. Если динамика в разделе «Страницы в поиске» не изменилась — возвращайтесь к шагу 2 и ищите причину глубже.

Чек-лист работает как первичный фильтр: он не заменяет полный технический аудит, но закрывает большинство типовых блокировок за один сеанс. Если после всех шагов индексация не восстановилась — проблема, скорее всего, лежит глубже: в качестве контента или в истории санкций.

Заключение

Выпадение страниц из индекса — сигнал с конкретной причиной, а не случайный сбой. Яндекс всегда объясняет, почему страница исключена: нужно только знать, куда смотреть. Откройте Вебмастер прямо сейчас, зафиксируйте три числа из раздела «Индексирование» и пройдите чек-лист из предыдущего раздела. Через две недели сравните динамику — это покажет, движется ли ситуация в нужную сторону.

Когда индексация восстановится, не останавливайтесь на достигнутом. Краулинговый бюджет и внутренняя перелинковка — системная профилактика, которая не даёт проблемам вернуться: робот обходит важные страницы чаще, а ссылочный вес распределяется туда, где он нужен.