SO-Bench: Оценка структурных выходов многомодальных LLM

Введение в многомодальные языковые модели

Многомодальные большие языковые модели (MLLM) все чаще применяются в реальных условиях, где результаты должны быть не только правильными, но и соответствовать заранее установленным схемам данных. Несмотря на достижения в области структурированной генерации текстов, до сих пор отсутствует стандарт, который систематически оценивает извлечение информации, основанное на схемах, и умозаключения на основе визуальных данных.

SO-Bench: Наше решение

В данной работе мы проводим комплексное исследование возможностей визуального структурного вывода для MLLM с помощью нашего специально разработанного стандарта SO-Bench. Он охватывает четыре визуальных домена: пользовательские интерфейсы, естественные изображения, документы и графики.

Состав SO-Bench

• Более 6.5K разнообразных JSON-схем
• 1.8K пар изображений и схем, проверенных людьми

Результаты и выводы

Эксперименты по оценке открытых и современных коммерческих моделей выявили постоянные пробелы в предсказании точных результатов, соответствующих схемам. Это подчеркивает необходимость улучшения многомодального структурированного мышления.

Дальнейшие шаги

Помимо оценки, мы проводим обучающие эксперименты для значительного улучшения способности моделей к структурированному выводу. Мы планируем сделать этот стандарт доступным для сообщества.

Материал носит информационный характер и не является профессиональной консультацией. Часть материалов издания готовится с использованием нейросетевых инструментов и проверяется редакцией по первоисточникам — подробнее в пользовательском соглашении. Нашли неточность или считаете, что материал нарушает ваши права — сообщите редакции, обращения рассматриваются в течение суток.