Введение в FreeAskWorld

С развитием эмбеддед интеллекта, который становится ключевым направлением в исследовании искусственного интеллекта, платформы симуляции должны выходить за рамки простых физических взаимодействий. Они должны уметь захватывать сложные социальные поведения, ориентированные на человека. Мы представляем FreeAskWorld — интерактивную симуляционную платформу, которая интегрирует большие языковые модели (LLMs) для планирования высокоуровневого поведения и семантически обоснованного взаимодействия, основанного на теориях намерений и социальной когници.

Функциональность и возможности

Наша платформа поддерживает масштабируемые и реалистичные симуляции взаимодействия человека и агента. Она включает модульный конвейер генерации данных, адаптированный для разнообразных эмбеддед задач. Чтобы проверить работоспособность платформы, мы расширили классическую задачу навигации в контексте зрения и языка (VLN) в новую настройку, обогащенную интеракцией, где агенты могут активно искать и интерпретировать навигационные указания.

Данные и оценка

Мы представляем и публично выкладываем FreeAskWorld — масштабный набор данных, который включает восстановленные среды, шесть различных типов задач, 16 ключевых категорий объектов, 63,429 аннотированных кадров и более 17 часов данных взаимодействия. Эти данные поддерживают обучение и оценку систем эмбеддед ИИ. Мы также проводим оценку моделей VLN и человеческих участников в условиях как открытого, так и закрытого взаимодействия.