Перейти к содержимому
  • BTC $58 920 −4,9%
  • ETH $1 623 −7,6%
  • SOL $68,94 −5,6%
  • BNB $540,17 −6,8%
  • XRP $0,9115 −5,0%
  • DOGE $0,0544 −6,4%
  • ADA $0,1433 −5,5%

Новый метод искусственного интеллекта для выравнивания изображений и текста с учётом заметности улучшает поиск изображений

Модели, сопоставляющие изображения с длинными описаниями, могут упускать полезный контекст, уделяя слишком много внимания визуально наиболее заметному содержимому. В исследовании Цююй Кун и трёх соавторов предлагается учитывающая салiency (выделенность) структура выравнивания изображение–текст под названием RoSA для решения этой проблемы, которую исследователи называют «коллапсом салiency»…

saliency aware image text alignment
Saliency Aware Image Text Alignment Using RoSA Framework
ПоделитьсяXTelegramWhatsAppLinkedInEmail

Модели, сопоставляющие изображения с длинными описаниями, могут упускать полезный контекст, слишком сильно фокусируясь на визуально заметном содержимом. В исследовании Цююй Кун и трёх соавторов предлагается учитывающая заметность (saliency-aware) схема выравнивания изображений и текста под названием RoSA, призванная устранить этот сбой, который исследователи называют «коллапсом заметности».

Проблема заключается не просто в нехватке информации. Авторы описывают модели, которые в значительной степени опираются на текст, связанный с ярко выраженными визуальными признаками, игнорируя менее заметный, но информативный контекст. Когда заметное содержимое уменьшается, эффективность поиска резко падает, даже если полезная контекстуальная информация сохраняется.

В исследовании этот режим сбоя противопоставляется приоритетам существующих подходов, которые в основном увеличивают длину контекста или улучшают локальное выравнивание. Основное внимание уделяется обучению как на заметных деталях, так и на окружающем их контексте.

Как RoSA решает задачу выравнивания изображение–текст с учётом заметности

RoSA разделяет пары изображение–текст на заметные и контекстуальные представления и обучается на них совместно. Предлагаемая схема дообучения предназначена для того, чтобы модель усваивала ярко выраженные признаки, не пренебрегая менее очевидной визуальной информацией, которая их сопровождает.

Её метод декомпозиции сочетает оценку визуальной заметности на уровне объектов с декомпозицией текста, выполняемой крупной языковой моделью. Эти два компонента разделяют визуальный и текстовый материал на взаимодополняющие представления для совместного обучения.

Исследователи также вводят дополнительные цели выравнивания: дополнительные целевые функции обучения, которые явно выравнивают эти представления. Для выравнивания изображение–текст с учётом заметности цель состоит в том, чтобы получить представление, включающее как заметные признаки, так и контекстуальную информацию.

Авторы сообщают о повышении качества поиска по изображениям и текстам с длинными описаниями на различных бенчмарках. Они также описывают дополнительные цели как plug-and-play, что позволяет использовать их для улучшения существующих методов настройки. Код и контрольные точки моделей доступны публично.

Статья подготовлена при содействии искусственного интеллекта и проверена редакционной командой.

ПоделитьсяXTelegramWhatsAppLinkedInEmail

Francesco Antonio Russo

Все материалы: Francesco Antonio Russo