Введение

Недавние достижения в области мультимодальных больших языковых моделей (MLLM) и видеоагентных систем значительно улучшили общее понимание видео. Однако, когда речь идет о понимании научных видео и образовании в этой области, требующей интеграции внешних профессиональных знаний и строгого последовательного мышления, существующие подходы часто сталкиваются с трудностями.

Предложение SciEducator

Чтобы преодолеть этот разрыв, мы предлагаем SciEducator — первую итеративную саморазвивающуюся многоагентную систему для понимания научных видео и образования. Наша разработка основана на классическом цикле Деминга из науки управления, и мы реформулируем его философию «Планируй-делай-изучай-действуй» в саморазвивающийся механизм рассуждений и обратной связи, который облегчает интерпретацию сложных научных действий в видео.

Мультимодальный образовательный контент

Кроме того, SciEducator может создавать мультимодальный образовательный контент, адаптированный к конкретным научным процессам, включая текстовые инструкции, визуальные руководства, аудионарации и интерактивные ссылки.

Оценка и тестирование

Для поддержки оценки мы разработали SciVBench — набор тестов, состоящий из 500 пар вопросов и ответов, проверенных экспертами и основанных на литературе, охватывающий пять категорий, включая физические, химические и повседневные явления. Проведенные обширные эксперименты…