Введение

Совсем недавно большие модели языка и визуальных данных (LVLM) показали впечатляющие способности к мультимодальному рассуждению. Однако они часто генерируют неосновательные или искаженные ответы, так как слишком полагаются на языковые приоритеты, а не на визуальные доказательства. Эта проблема подчеркивает отсутствие количественной меры того, насколько эти модели действительно используют визуальную информацию во время рассуждений.

Предложение: Draft and Refine (DnR)

Мы предлагаем модель Draft and Refine (DnR), которая использует метрику, основанную на использовании визуальных данных в зависимости от заданного вопроса. Эта метрика количественно оценивает, насколько модель зависит от визуальных доказательств, сначала создавая карту релевантности, основанную на запросе, для локализации специфических подсказок, а затем измеряя зависимость с помощью вероятностного маскирования, основанного на релевантности.

Процесс уточнения

Руководствуясь этой метрикой, агент DnR уточняет свой первоначальный ответ, используя целевую обратную связь от внешних визуальных экспертов. Выход каждого эксперта (например, рамки или маски) отображается как визуальные подсказки на изображении, и модель снова запрашивается для выбора ответа, который обеспечивает наибольшее улучшение в использовании визуальной информации. Этот процесс укрепляет визуальную основу без необходимости повторного обучения или изменений в архитектуре модели.

Результаты экспериментов

Эксперименты на тестах VQA и подписи показывают стабильные улучшения в точности и снижение…