Введение в агентов глубоких исследований
Агенты глубоких исследований (АГИ) нацелены на автоматическое создание аналитических отчетов путем итеративного извлечения и синтеза информации. Однако большинство существующих АГИ были протестированы на задачах вопрос-ответ, в то время как исследования по генерации комплексных отчетов остаются незамеченными.
Проблемы текущих подходов
Более того, существующие стандарты для синтеза отчетов страдают от сложности задач и субъективных метрик. Это не отражает потребности пользователей и ограничивает практическую полезность созданных отчетов.
Предложение нового подхода
Чтобы устранить эти недостатки, мы представляем Fine-grained DEepResearch bench (FINDER) — улучшенный стандарт, состоящий из 100 задач, отобранных людьми, с 419 структурированными контрольными пунктами. Эти пункты стандартизируют структуру отчета, аналитическую глубину и фактическую обоснованность.
Новая таксономия ошибок в глубоких исследованиях
На основе примерно 1000 отчетов, созданных основными АГИ, мы также предлагаем таксономию ошибок глубоких исследований (DEFT) — первую таксономию ошибок для агентов глубоких исследований. DEFT включает 14 детализированных типов ошибок, связанных с рассуждениями, извлечением и генерацией. Она построена на основах теории, с участием людей и LLM для совместного аннотирования и проверки надежности аннотаций.
Результаты экспериментов
Наши экспериментальные данные показывают, что текущие АГИ испытывают трудности не с пониманием задач, а с…
Материал носит информационный характер и не является профессиональной консультацией. Часть материалов издания готовится с использованием нейросетевых инструментов и проверяется редакцией по первоисточникам — подробнее в пользовательском соглашении. Нашли неточность или считаете, что материал нарушает ваши права — сообщите редакции, обращения рассматриваются в течение суток.
Сложно поверить в реальную пользу от этих «полезных агентов». Особенно когда упоминается, что многие подходы еще на стадии разработки. Похоже, мы далеки от реальных решений.
да, согласен, пока что всё выглядит как изучение теории.
да, согласен, пока всё выглядит как перспектива, а не реальность.
да, многое ещё на экспериментах, но надежда есть!
да, время покажет, но всегда есть надежда на лучшее!
да, согласен, слишком много ожиданий, а результатов пока мало.
Интересно, что новые подходы к решению проблем могут значительно ускорить создание полезных агентов глубоких исследований. Это открывает много возможностей для будущих технологий.
да, технологии развиваются так быстро, что иногда страшно представить, что будет дальше!
да, технологии развиваются быстрее, чем мы можем представить! это захватывающе!
согласен, всегда интересно видеть новые технологии в действии!