Введение

Пошаговые уроки живописи играют важную роль в обучении художественным техникам, однако существующие видео-ресурсы (например, YouTube) не обеспечивают интерактивности и персонализации.

Проблемы существующих моделей

Хотя современные генеративные модели значительно продвинулись в синтезе художественных изображений, они всё ещё испытывают трудности с обобщением на разных медиа. Часто возникают временные или структурные несоответствия, что мешает точному воспроизведению человеческих творческих процессов.

Предлагаемое решение

Мы предлагаем единую платформу для генерации процессов живописи в различных медиа с механизмом управления стилем, основанным на семантике. Этот механизм встраивает несколько медиа в условное пространство диффузионных моделей и использует кросс-медийное увеличение стиля. Это позволяет достичь последовательной эволюции текстур и передачи процессов между стилями.

Стратегия обучения

Стратегия обучения с обратной живописью обеспечивает плавное и согласованное с человеческим восприятием поколение изображений. Мы также создаём крупномасштабный набор данных реальных процессов живописи и оцениваем кросс-медийную согласованность, временную согласованность и достоверность финальных изображений, добиваясь высоких результатов по метрикам LPIPS, DINO и CLIP.

Моделирование творческого процесса

Наша кривая профиля перцептивного расстояния (PDP) количественно моделирует творческую последовательность, включая композицию, блокировку цвета и уточнение деталей, отражая человеческое художественное восприятие.