Недавно Гугл провел обновления инструментов, используемых для контроля оптимизации версий сайтов, предназначенных для мобильных устройств.
В связи с этим ведущий аналитик Google Джон Мюллер ответил на вопросы пользователей, касающиеся индексации страниц, заблокированных в роботс.тхт. По его словам, URL заблокированного сайта все же может быть проиндексирован поисковиком без обязательного сканирования.
Причем заголовки заблокированных сайтов отображаются нормально, так как они без проблем считываются из имеющихся ссылок. Однако сниппетов, как и ожидалось, пользователи не увидят.
Дополнительные разъяснения дал также Барри Адамс, специалист, занимающийся в компании поисковым маркетингом. Он подчеркнул, что файл роботс.тхт содержит информацию, предназначенную для сканирования поисковыми роботами, но не для индексации сайта. Чтобы блокировать индексацию, необходимо указать HTTP-заголовки X-роботс-таг. Для того, чтобы Googlebot получил возможность прочесть данные директивы, он должен иметь разрешение на сканирование страниц сайта.