Контролируемая декомпозиция слоев для генерации изображений

Введение в контролируемую декомпозицию слоев

В данной работе представлена контролируемая декомпозиция слоев (CLD) — метод, позволяющий добиться детальной и управляемой многослойной сепарации растровых изображений. В практической работе дизайнеры обычно создают и редактируют каждый слой RGBA независимо, прежде чем объединить их в финальное растровое изображение.

Проблема необратимости

Однако этот процесс необратим: после компоновки редактирование на уровне слоев становится невозможным. Существующие методы часто полагаются на матирование изображений и заполнение, но имеют ограничения в управляемости и точности сегментации.

Предлагаемые модули

Для решения этих проблем мы предлагаем два ключевых модуля:

  • LayerDecompose-DiT (LD-DiT): этот модуль декомпозирует элементы изображения на отдельные слои и обеспечивает детальный контроль;
  • Multi-Layer Conditional Adapter (MLCA): этот модуль внедряет информацию о целевом изображении в многослойные токены для достижения точной условной генерации.

Оценка и результаты

Чтобы обеспечить всестороннюю оценку, мы создали новую базу данных и представили специально разработанные метрики для оценки. Результаты экспериментов показывают, что CLD последовательно превосходит существующие методы как по качеству декомпозиции, так и по управляемости. Более того, разделенные слои, созданные с помощью CLD, можно напрямую редактировать в популярных инструментах дизайна.