Введение

Хотя языковые модели уже нашли применение в различных сферах, генерация видео по-прежнему в основном ограничена развлекательными задачами. Видео обладает уникальной способностью передавать информацию о физическом мире, которую сложно выразить только словами. Например, сложно объяснить, как завязать галстук, используя лишь текст.

Новая возможность для предсказания событий

Мы видим недоиспользованную возможность расширить использование видео как нового способа ответа на задачи предсказания следующих событий (Next-Event Prediction, NEP), формализованного как предсказание следующего события в видео (Video-Next-Event Prediction, VNEP). В отличие от традиционной NEP, которая принимает видео и текстовый вопрос для предсказания следующего события, VNEP требует динамических видеоответов. Этот переход от слов к визуальному отображению открывает более интуитивные и адаптированные ответы для процедурного обучения и творческого исследования.

Проблемы и вызовы

Однако выполнение этой задачи остается сложной задачей для существующих моделей, так как оно требует понимания мультимодальных входов, рассуждений, основанных на инструкциях, а также генерации видео с визуальной и семантической согласованностью.

Представляем модель VANS

Для решения этих проблем мы представляем модель VANS, которая использует методы обучения с подкреплением для согласования модели «Язык-Зрение» (Vision-Language Model, VLM) с моделью диффузии видео (Video Diffusion Model, VDM) для VNEP. В центре VANS находится…