Введение

Исследователи в области искусственного интеллекта (ИИ) обещают ускорить научный прогресс, автоматизируя проектирование, реализацию и обучение моделей машинного обучения. Однако эта область все еще находится на начальном этапе, и ключевые факторы, определяющие успех или неудачу исследовательских агентов, не до конца понятны.

Роль разнообразия идей

Мы исследуем, как разнообразие идей влияет на эффективность агентов. В первую очередь, мы анализируем траектории агентов на MLE-bench, известном бенчмарке для оценки исследовательских агентов в области ИИ, с учетом различных моделей и структур агентов.

Результаты анализа

Наш анализ показывает, что разные модели и структуры агентов приводят к различным уровням разнообразия идей. Агенты, показывающие более высокую эффективность, как правило, обладают большим разнообразием идей.

Эксперимент с разнообразием идей

Мы провели контрольный эксперимент, в котором изменяли уровень разнообразия идей. Результаты показали, что более высокое разнообразие идей приводит к лучшей производительности агентов.

Дополнительные метрики оценки

Наконец, мы усиливаем наши результаты, исследуя дополнительные метрики оценки помимо стандартного медального рейтинга MLE-bench. Наши находки остаются актуальными и для других метрик производительности агентов.