Введение

Генерация взаимодействия рук и объектов (HOI) играет важную роль в развитии приложений в анимации и робототехнике. Современные методы на основе видео в основном работают с одним ракурсом, что затрудняет восприятие 3D-геометрии и часто приводит к геометрическим искажениям или нереалистичным движениям.

Проблемы существующих методов

Хотя 3D-методы HOI могут генерировать динамически правдоподобные движения, их зависимость от качественных 3D-данных, полученных в контролируемых лабораторных условиях, значительно ограничивает их применение в реальных сценариях.

Представление SyncMV4D

Чтобы преодолеть эти ограничения, мы представляем SyncMV4D — первую модель, которая совместно генерирует синхронизированные многокадровые видео HOI и 4D движения, объединяя визуальные приоритеты, динамику движений и многокадровую геометрию.

Основные инновации

• Модель совместного диффузионного многокадрового видео (MJD), которая совместно генерирует видео HOI и промежуточные движения.
• Выравниватель диффузионных точек (DPA), который уточняет грубые промежуточные движения в глобально выровненные 4D метрики треков.

Чтобы плотно связать 2D-изображение с 4D-динамикой, мы устанавливаем замкнутый цикл, взаимно улучшающий каждый из аспектов. В процессе диффузионного шумоподавления сгенерированное видео влияет на уточнение…