2 апреля 2019

Как запретить Гуглу индексировать страницу

Недавно Гугл провел обновления инструментов, используемых для контроля оптимизации версий сайтов, предназначенных для мобильных устройств.

В связи с этим ведущий аналитик Google Джон Мюллер ответил на вопросы пользователей, касающиеся индексации страниц, заблокированных в роботс.тхт. По его словам, URL заблокированного сайта все же может быть проиндексирован поисковиком без обязательного сканирования.

Причем заголовки заблокированных сайтов отображаются нормально, так как они без проблем считываются из имеющихся ссылок. Однако сниппетов, как и ожидалось, пользователи не увидят.

Дополнительные разъяснения дал также Барри Адамс, специалист, занимающийся в компании поисковым маркетингом. Он подчеркнул, что файл роботс.тхт содержит информацию, предназначенную для сканирования поисковыми роботами, но не для индексации сайта. Чтобы блокировать индексацию, необходимо указать HTTP-заголовки X-роботс-таг. Для того, чтобы Googlebot получил возможность прочесть данные директивы, он должен иметь разрешение на сканирование страниц сайта.

5 мая 2019
Известный сервис поисковика Яндекс.Метрика сделал доступным обновленный отчет по страницам, которые запускаются в Турбо-режиме (так называемым Тур...
Подробнее
29 апреля 2019
Популярный сервис Яндекс.Деньги предлагает своим пользователям возможность заводить мультивалютные счета и карты. Отныне на Яндекс.Деньгах можно совер...
Подробнее
Бесплатная консультация
  • Pаботаем на цели клиента
  • Только актуальные методы и современные инструменты
  • Оплата за результат, а не за громкое имя
Задайте вопрос нашему специалисту
по телефону или через форму
Бесплатная консультация
8 (495) 984-16-34
Ваше имя *
Ваш телефон *
Ваш вопрос