Введение в One4D

Мы представляем One4D — унифицированную платформу для 4D генерации и реконструкции, которая создает динамический 4D контент в виде синхронизированных RGB кадров и точечных карт. Благодаря постоянной обработке различных разреженностей условных кадров с помощью механизма Unified Masked Conditioning (UMC), One4D может без проблем переходить от 4D генерации на основе одного изображения к 4D реконструкции из полного видео, а также к смешанной генерации и реконструкции из разреженных кадров.

Особенности One4D

Наша платформа адаптирует мощную модель генерации видео для совместной генерации RGB и точечных карт с тщательно разработанными архитектурами сети. Обычно используемые стратегии дообучения с помощью диффузии для реконструкции глубинных карт или точечных карт часто не справляются с совместной генерацией RGB и точечных карт, что приводит к быстрому ухудшению базовой модели видео.

Решение проблем с Decoupled LoRA Control

Чтобы справиться с этой задачей, мы предлагаем Decoupled LoRA Control (DLC), который использует два адаптера LoRA, специфичных для модальностей, чтобы сформировать раздельные вычислительные ветви для RGB кадров и точечных карт. Эти ветви связаны легковесными, инициализированными нулями контрольными ссылками, которые постепенно обучаются на взаимную пиксельную согласованность.

One4D был обучен на смеси синтетических и реальных 4D датасетов с умеренными вычислительными затратами, что позволяет ему создавать высококачественные RGB кадры.