Проблема блоковой генерации видео

Блоковая генерация видео сталкивается с серьезной проблемой: компромиссом между скоростью и качеством. Модели с небольшим количеством параметров (1.3B) работают всего на 16 FPS, тогда как большие модели (14B) едва достигают 4.5 FPS. Это заставляет пользователей выбирать между отзывчивостью и качеством.

Решение: Блоковое каскадирование

Блоковое каскадирование значительно смягчает этот компромисс благодаря параллелизации без необходимости в обучении. Наш ключевой вывод заключается в том, что для генерации будущих видеоблоков не нужно полностью очищать текущие блоки. Начав генерацию блоков с частично очищенного контекста от предшественников, мы преобразуем последовательные процессы в параллельные каскады, где несколько блоков очищаются одновременно.

Достижения и результаты

Используя 5 графических процессоров, мы достигли почти двукратного ускорения для всех масштабов моделей: модели 1.3B ускорились с 16 до 30 FPS, а модели 14B — с 4.5 до 12.5 FPS. Кроме того, блоковое каскадирование устраняет накладные расходы на кеширование (около 200 мс) во время переключения контекста для интерактивной генерации.

Качество генерации

Обширные оценки, проведенные на нескольких блоковых касуальных процессах, показали, что при переходе от блоковой генерации к каскадной не происходит значительных потерь в качестве генерации.