?Яндекс» научил поиск по картинкам одновременно понимать фото и текст
Это позволит точнее определять содержание изображений
?Яндекс» обновил поиск по изображениям, добавив одновременный анализ самой картинки и текста, который сопровождает ее на странице.
В компании утверждают, что это позволит точнее определять содержание изображений, особенно в случаях, когда подпись или описание не соответствует тому, что показано на фотографии.
Алгоритмы поиска по картинкам "Яндекса" научились одновременно анализировать изображение и текст на странице. Новая технология позволяет улучшить результаты в тех случаях, когда текст в описании картинки противоречит самому изображению.
Изображение «Яндекс»
В основе обновления лежит мультимодальная технология. Сначала специалисты обучили большую модель, а затем на ее базе разработали несколько компактных моделей для различных этапов обработки данных. Самые ресурсоемкие операции выполняются заранее, благодаря чему новый алгоритм способен работать в реальном времени без увеличения времени формирования результатов поиска.
Ранее система анализировала изображение и текст отдельно, что могло приводить к ошибкам при расхождении визуальной информации и описания. Теперь эти данные рассматриваются совместно. По словам «Яндекса», после внедрения технологии доля релевантных изображений в верхней части поисковой выдачи заметно увеличилась.