Поиск изображений в глобальной сети уже давно стал привычным дело: юзер ждет от поисковика точного, быстрого и исчерпывающего ответа так же, как и в случае поиска информации, выраженной текстом. Большая часть популярных поисковиков сразу же после решения проблемы поиска web-страниц с текстовой информацией приступили к разработке механизмов поиска изображений.
Компания Picsearch выпустила в свет первую официальную версию поиска по картинкам осенью 2001 г. Летом того же года запустил собственный поиск по картинкам и ведущий мировой поисковик Google. Функционал Яндекс.Картинки начал работу в июле 2002 г., став первым отечественным поисковиком, осуществляющим поиск изображений. В ноябре 2003 г. Yahoo! добавил справа от поисковой строки небольшое меню с возможностью поиска по изображениям.
На первом этапе функционирования поиск изображений основывал свою работу только на извлечении и анализе метаданных, которые были связаны именно с изображениями: атрибутов alt, заголовков страниц, а также текстов ссылок на картинки. Постепенно при поиске изображений начали рассматриваться также тексты, расположенные на той же web-странице, что и графическое изображение. Так, цель поиска изображений некоторое время ограничивалась лишь возможностями, относящимися непосредственно к атрибутам, а также определением степени вероятности того, насколько текст страницы соотносится с изображением.
Одновременно с поиском изображений по метаданным получило развитие, и продолжает успешно развиваться, иное направление - поиск картинок по их содержанию. Эта разновидность поиска базируется на технологии компьютерного зрения. Она призвана научить машину смотреть на изображение так как это делал бы человек, а также осознавать и анализировать содержимое графического изображения: цвет и форму объектов, их свойства, перспективу и т.д. Выбор метаданных, позволяющих охарактеризовать изображение, достаточно ограничен, но компьютерное зрение предоставляет возможности серьезно расширить число атрибутов, которые могут быть учтены при поиске изображений и дальнейшем ранжировании результатов.
Наглядным примером результатов введения механизма поиска картинок по содержанию являются разные фильтры, работающие в расширенном поиске Яндекс.Картинок: ключевые цвета, клипарт, графика, фото, портрет. В основе функционирования таких фильтров - анализ одного или нескольких характеристик изображения: цвет, градиенты, вид фона и т.д. Каждый раз, когда юзер включает какой-либо фильтр, происходит сопоставление всех найденных картинок с неким абстрактным образцом, обладающим необходимыми пользователю характеристиками. Так, исходя из результата поиска, убираются изображения, не имеющие свойств этой безупречной модели, или обладающие ими не в необходимой степени.
Более трудная задача, которая решается при помощи механизма поиска изображений по содержанию, - это выявление похожих изображений.
Очевидно, что разные люди по-разному ответят на вопрос о схожести тех или иных изображений. Для одних главное будет - цветовая похожесть, для иных - похожесть форм, для третьих - текстур, а иногда - всё вместе в одинаковой пропорции. Какие же критерии в действительности определяющие? Даже человек, не говоря уже о компьютере, затрудняется иногда объяснить, на чём базируется его выбор в том или ином конкретном случае.
Также при поиске сходных изображений, в отличие от отмеченной выше работы специальных фильтров, сопоставление осуществляется с новой картинкой-образцом, а не с конкретной моделью. Для этого требуется научить машину проводить анализ не только некоторых свойств изображения, а всю их совокупность. Машина должна за мгновения. находить из миллионов проиндексированных изображений именно те, которые в максимальной степени похожи на картинку-образец, принимая во внимание при этом представления о похожести, свойственные различным людям.
На Яндекс.Картинках появилась первая версия поиска похожих изображений. В результатах поиска рядом с большей частью картинок можно заметить ссылку "похожие", при клике на которую появляется страница с изображениями, схожими с выбранной. То есть в настоящий момент применяются оба направления поиска изображений. Картинка-образец ищется по метаинформации, а похожие - при помощи технологии поиска изображений по их содержанию.
Разумеется, специалисты Яндекс будут и далее совершенствовать действующие функционалы.
Дополнительная информация: