Введение

Рецензирование является основой научной публикации, включая ведущие конференции по машинному обучению, такие как ICLR. С увеличением объема подаваемых материалов важно понимать природу и динамику процесса рецензирования для повышения его эффективности и качества публикуемых работ.

Анализ процессов рецензирования

Мы провели масштабный анализ процессов рецензирования на ICLR 2024 и 2025 годов, сосредоточив внимание на оценках до и после ответов авторов и взаимодействиях между рецензентами и авторами. В нашем исследовании мы рассмотрели:

• Оценки рецензирования;
• Взаимодействие авторов и рецензентов;
• Темпоральные паттерны в подаче рецензий;
• Влияние со-рецензентов.

Методология

Объединив количественный анализ с категоризацией текстов рецензий и дискуссий на основе технологий LLM, мы выделили общие сильные и слабые стороны каждой группы оценок. Также были выявлены тренды в стратегиях ответов, которые наиболее сильно связаны с изменениями в оценках.

Основные результаты

Наши результаты показывают, что начальные оценки и оценки со-рецензентов являются наилучшими предсказателями изменений в оценках во время ответов, что указывает на определенное влияние рецензентов. Ответы авторов играют важную роль в улучшении результатов для пограничных работ, где продуманные ответы могут существенно изменить мнение рецензентов.