Введение в многократные агентные системы

Многократные агентные системы (MAS) расширяют возможности больших языковых моделей (LLM), переходя от независимого мышления одной модели к координированному интеллекту на уровне системы. Традиционные агенты LLM полагаются на текстовую медиацию для рассуждений и общения. Мы предлагаем новый подход, который позволяет моделям взаимодействовать напрямую в непрерывном скрытом пространстве.

Что такое LatentMAS?

Мы представляем LatentMAS – фреймворк, который не требует обучения и обеспечивает чистое скрытое сотрудничество между агентами LLM. В LatentMAS каждый агент сначала генерирует автогрегативные скрытые мысли через последние скрытые эмбеддинги.

Функции LatentMAS

• Общая скрытая рабочая память, которая сохраняет и передает внутренние представления каждого агента.
• Гарантия безупречного обмена информацией без потерь.
• Теоретические анализы показывают, что LatentMAS достигает более высокой выразительности с меньшей сложностью, чем традиционные текстовые MAS.

Эмпирические результаты

Эмпирические оценки по 9 обширным тестовым наборам, охватывающим рассуждения в математике и науке, понимание общественного мнения и генерацию кода, показывают, что LatentMAS постоянно превосходит сильные модели-одиночки и текстовые MAS. В некоторых случаях достигается увеличение точности до 14,6%.