2 Апреля 2019

Как запретить Гуглу индексировать страницу

Недавно Гугл провел обновления инструментов, используемых для контроля оптимизации версий сайтов, предназначенных для мобильных устройств.

В связи с этим ведущий аналитик Google Джон Мюллер ответил на вопросы пользователей, касающиеся индексации страниц, заблокированных в роботс.тхт. По его словам, URL заблокированного сайта все же может быть проиндексирован поисковиком без обязательного сканирования.

Причем заголовки заблокированных сайтов отображаются нормально, так как они без проблем считываются из имеющихся ссылок. Однако сниппетов, как и ожидалось, пользователи не увидят.

Дополнительные разъяснения дал также Барри Адамс, специалист, занимающийся в компании поисковым маркетингом. Он подчеркнул, что файл роботс.тхт содержит информацию, предназначенную для сканирования поисковыми роботами, но не для индексации сайта. Чтобы блокировать индексацию, необходимо указать HTTP-заголовки X-роботс-таг. Для того, чтобы Googlebot получил возможность прочесть данные директивы, он должен иметь разрешение на сканирование страниц сайта.

2 Апреля 2019
Теперь компании, не имеющие собственного адреса (то есть своей торговой точки или офиса) тоже могут быть зарегистрированы в Яндекс.Справочнике...
Подробнее
2 Апреля 2019
Часть иностранных, точнее - англоязычных пользователей поисковой системы Google отмечает, что поисковик приступил к тестированию обновленного меню, на...
Подробнее
Бесплатная консультация
  • Pаботаем на цели клиента
  • Только актуальные методы и современные инструменты
  • Оплата за результат, а не за громкое имя
Задайте вопрос нашему специалисту
по телефону или через форму
Бесплатная консультация
8 (495) 984-16-34
Ваше имя *
Ваш телефон *
Ваш вопрос