Критика согласованности: исправление несоответствий в изображениях

Введение

В предыдущих работах исследовались различные задачи генерации изображений с использованием эталонного изображения, однако они сталкиваются с ограничениями в создании согласованных детализированных элементов.

Цели исследования

В данной статье мы ставим перед собой цель решить проблему несоответствий сгенерированных изображений, применяя подход постобработки с использованием эталона. Мы представляем нашу модель ImageCritic.

Методология

Сначала мы создаем набор данных, состоящий из триплетов «эталон-деградированное-цель», полученных с помощью выбора на основе VLM и явной деградации. Это эффективно моделирует распространенные неточности или несоответствия, наблюдаемые в существующих моделях генерации.

Алгоритмы и технологии

Основываясь на тщательном анализе механизмов внимания модели и ее внутренних представлений, мы разрабатываем функцию потерь для выравнивания внимания и энкодер деталей, чтобы точно исправить несоответствия.

Интеграция и применение

ImageCritic может быть интегрирован в агентскую структуру для автоматического обнаружения несоответствий и их исправления с помощью многократного и локального редактирования в сложных сценариях.

Результаты

Обширные эксперименты показывают, что ImageCritic эффективно решает проблемы, связанные с деталями, в различных сценариях кастомизированной генерации, обеспечивая значительные улучшения по сравнению с существующими методами.

Материал носит информационный характер и не является профессиональной консультацией. Часть материалов издания готовится с использованием нейросетевых инструментов и проверяется редакцией по первоисточникам — подробнее в пользовательском соглашении. Нашли неточность или считаете, что материал нарушает ваши права — сообщите редакции, обращения рассматриваются в течение суток.