Введение

Унифицированные мультимодальные модели (UMMs) продемонстрировали впечатляющие результаты в понимании и генерации информации с помощью единой архитектуры. Однако, UMMs все еще имеют одну основную проблему: понимание требует компактных эмбеддингов, тогда как генерация предпочитает представления, богатые на реконструкцию. Этот структурный компромисс приводит к несоответствию в границах решений, ухудшению кросс-модальной согласованности и повышенной уязвимости к изменениям распределения и атакующим воздействиям.

UniGame: решение проблемы

В данной статье мы представляем UniGame — пост-тренировочную структуру с самосоперничеством, которая нацелена непосредственно на эти несоответствия. Применяя легкий возмущающий элемент на общем токен-интерфейсе, UniGame позволяет генеративной части активно искать и бросать вызов слабому пониманию, превращая саму модель в своего противника.

Результаты экспериментов

Эксперименты показывают, что UniGame значительно улучшает согласованность на 4.6%. Более того, модель также демонстрирует значительные улучшения в понимании (+3.6%) и генерации (+0.02), а также в устойчивости к изменениям распределения и атакующим воздействиям (+4.8% на NaturalBench и +6.2% на AdVQA). Эта структура не зависит от архитектуры, добавляет менее 1% дополнительных параметров и является дополнением к существующим методам.