Введение

Большие языковые модели (LLMs) демонстрируют частичную способность к прогнозированию в социальных, политических и экономических событиях. Однако их предсказательные способности сильно различаются в зависимости от структуры области и формулировки запроса.

Изучение предсказательной способности

Мы исследуем, как производительность прогнозирования варьируется в зависимости от различных семейств моделей на реальных вопросах о событиях, произошедших после предельной даты модели. Наше исследование включает следующие аспекты:

• Контекст: Как контекст влияет на точность прогнозов.
• Тип вопроса: Как различные типы вопросов влияют на результаты.
• Внешние знания: Как добавление фактической информации изменяет формирование убеждений и модели ошибок.

Результаты исследования

Наши результаты показывают, что способность к прогнозированию является высоко переменной и зависит от того, как и что мы спрашиваем.