В этом году тридцатого июня исполнилось двадцать лет как был создан robots.txt, который все эти годы помогал web-мастерам не допускать роботов поисковых систем к внутренним элементам сайтов и страниц.
Вспомним ситуацию начало 90-х годов, когда сайты не обладали необходимой пропускной способностью и не справлялись с количеством запросов со стороны «crawler», иногда называемого еще «пауком». Тогда у web-мастеров в приоритете были не позиции в выдаче, а доступность для пользователей. И тридцатого июня 1994 года был принят стандарт, закрывающий от поисковых роботов определенные части сайтов. Его создателем (robots.txt) стал Мартин Костер. Главные поисковые системы того времени, в том числе AltaVista, WebCrawler, Lycos усовершенствовали свои алгоритмы под robots.txt. И вот по пришествию 20 лет поисковые машины так же подчиняются бинарной системе исчисления алгоритмов, прописанных в роботсе.
Значимость роботса сложно переоценить, особенно вспоминая скандальные события. Когда в выдаче Яндекса появились тексты SMS-сообщений пользователей «Мегафона» и данные о заказах в онлайн-магазинах, игр, и книг. Предлагаем отметить эту дату посещением robots.txt. Или как завещал Яндекс: «Предохраняйтесь!».
