20 лет созданию файла robots.txt

statiya2-1-0702.png

В этом году тридцатого июня исполнилось двадцать лет как был создан robots.txt, который все эти годы помогал web-мастерам не допускать роботов поисковых систем к внутренним элементам сайтов и страниц.

Вспомним ситуацию начало 90-х годов, когда сайты не обладали необходимой пропускной способностью и не справлялись с количеством запросов со стороны «crawler», иногда называемого еще «пауком». Тогда у web-мастеров в приоритете были не позиции в выдаче, а доступность для пользователей. И тридцатого июня 1994 года был принят стандарт, закрывающий от поисковых роботов определенные части сайтов. Его создателем (robots.txt) стал Мартин Костер. Главные поисковые системы того времени, в том числе AltaVista, WebCrawler, Lycos усовершенствовали свои алгоритмы под robots.txt. И вот по пришествию 20 лет поисковые машины так же подчиняются бинарной системе исчисления алгоритмов, прописанных в роботсе.

statiya2-2-0702.png

Значимость роботса сложно переоценить, особенно вспоминая скандальные события. Когда в выдаче Яндекса появились тексты SMS-сообщений пользователей «Мегафона» и данные о заказах в онлайн-магазинах, игр, и книг. Предлагаем отметить эту дату посещением robots.txt. Или как завещал Яндекс: «Предохраняйтесь!».

statiya2-3-0702.png

2 Апреля 2019
Теперь компании, не имеющие собственного адреса (то есть своей торговой точки или офиса) тоже могут быть зарегистрированы в Яндекс.Справочнике...
Подробнее
2 Апреля 2019
Недавно Гугл провел обновления инструментов, используемых для контроля оптимизации версий сайтов, предназначенных для мобильных устройств.
Подробнее
Бесплатная консультация
  • Pаботаем на цели клиента
  • Только актуальные методы и современные инструменты
  • Оплата за результат, а не за громкое имя
Задайте вопрос нашему специалисту
по телефону или через форму
Бесплатная консультация
8 (495) 984-16-34
Ваше имя *
Ваш телефон *
Ваш вопрос