Введение в ReDirector

Мы представляем ReDirector — новый метод генерации видеоперезаписей, управляемый камерой, для динамически захваченных видео переменной длины. Этот метод исправляет распространённое неправильное использование RoPE в предыдущих работах, выравнивая пространственно-временные позиции исходного видео и целевой перезаписи.

Rotary Camera Encoding (RoCE)

Мы вводим Rotary Camera Encoding (RoCE) — фазовый сдвиг RoPE, зависящий от камеры, который захватывает и интегрирует многовидовые отношения как внутри, так и между исходным и целевым видео. Интегрируя условия камеры в RoPE, наш метод обобщается на траектории камер и длины видео, которые не были использованы в обучении, что приводит к улучшенной локализации динамических объектов и сохранению статического фона.

Результаты экспериментов

Обширные эксперименты показывают значительные улучшения в управляемости камерой, геометрической согласованности и качестве видео на различных траекториях и длинах.