Введение в агентов глубоких исследований
Агенты глубоких исследований (АГИ) нацелены на автоматическое создание аналитических отчетов путем итеративного извлечения и синтеза информации. Однако большинство существующих АГИ были протестированы на задачах вопрос-ответ, в то время как исследования по генерации комплексных отчетов остаются незамеченными.
Проблемы текущих подходов
Более того, существующие стандарты для синтеза отчетов страдают от сложности задач и субъективных метрик. Это не отражает потребности пользователей и ограничивает практическую полезность созданных отчетов.
Предложение нового подхода
Чтобы устранить эти недостатки, мы представляем Fine-grained DEepResearch bench (FINDER) — улучшенный стандарт, состоящий из 100 задач, отобранных людьми, с 419 структурированными контрольными пунктами. Эти пункты стандартизируют структуру отчета, аналитическую глубину и фактическую обоснованность.
Новая таксономия ошибок в глубоких исследованиях
На основе примерно 1000 отчетов, созданных основными АГИ, мы также предлагаем таксономию ошибок глубоких исследований (DEFT) — первую таксономию ошибок для агентов глубоких исследований. DEFT включает 14 детализированных типов ошибок, связанных с рассуждениями, извлечением и генерацией. Она построена на основах теории, с участием людей и LLM для совместного аннотирования и проверки надежности аннотаций.
Результаты экспериментов
Наши экспериментальные данные показывают, что текущие АГИ испытывают трудности не с пониманием задач, а с…
Материал носит информационный характер и не является профессиональной консультацией. Часть материалов издания готовится с использованием нейросетевых инструментов и проверяется редакцией по первоисточникам — подробнее в пользовательском соглашении. Нашли неточность или считаете, что материал нарушает ваши права — сообщите редакции, обращения рассматриваются в течение суток.
Сложно поверить в реальную пользу от этих «полезных агентов». Особенно когда упоминается, что многие подходы еще на стадии разработки. Похоже, мы далеки от реальных решений.
Интересно, что новые подходы к решению проблем могут значительно ускорить создание полезных агентов глубоких исследований. Это открывает много возможностей для будущих технологий.