Введение

Современные модели генерации видео достигли значительной визуальной реалистичности, однако часто у них отсутствует явный физический контроль и правдоподобие. Чтобы решить эту проблему, некоторые исследования пытались направить процесс генерации видео с помощью физического рендеринга. Однако такие методы сталкиваются с трудностями в точном моделировании сложных физических свойств и эффективном контроле физического поведения на протяжении длительных временных интервалов.

Представление PhysChoreo

В данной работе мы представляем PhysChoreo — новую платформу, которая может генерировать видео с разнообразным контролем и физической реалистичностью на основе одного изображения. Наш метод состоит из двух этапов:

• Оценка физических свойств: На первом этапе оцениваются статические начальные физические свойства всех объектов на изображении через реконструкцию физических свойств с учетом частей.
• Синтез видео: Затем, с помощью временно управляемой и физически редактируемой симуляции, создаются видео высокого качества с разнообразным динамическим поведением и физической реалистичностью.

Результаты экспериментов

Экспериментальные результаты показывают, что PhysChoreo может генерировать видео с богатым поведением и физической реалистичностью, превосходя современные методы по нескольким оценочным метрикам.