Введение

Сохранение идентичности первого кадра при обеспечении точного контроля движений является важной задачей в анимации человеческих изображений. Процесс связывания изображения с движением в рамках доминирующей парадигмы «От ссылки к видео» (R2V) игнорирует критические пространственно-временные несоответствия, часто встречающиеся в реальных приложениях. Это приводит к проблемам, таким как сдвиг идентичности и визуальные артефакты.

Представляем SteadyDancer

Мы предлагаем SteadyDancer — новую основу, основанную на парадигме «От изображения к видео» (I2V), которая обеспечивает гармоничную и согласованную анимацию и впервые надежно сохраняет идентичность первого кадра.

Ключевые особенности

• Механизм согласования условий: Мы предлагаем механизм, который гармонизирует два конфликтующих условия, обеспечивая точный контроль без потери качества.
• Модули синергетической модуляции позы: Эти модули создают адаптивное и согласованное представление позы, которое хорошо сочетается с эталонным изображением.
• Поэтапная декомпонованная обучающая система: Эта система оптимизирует модель по иерархии для точности движений, визуального качества и временной согласованности.

Результаты экспериментов

Эксперименты показывают, что SteadyDancer достигает лучших результатов как в точности внешнего вида, так и в контроле движений, при этом требуя значительно меньше ресурсов.