Введение

Долгосрочное обучение крупных языковых моделей (LLM) требует поддержания стабильного уровня исследования, чтобы избежать перехода модели к субоптимальному поведению. Энергия (энтропия) играет ключевую роль в этом процессе, так как она контролирует степень исследования и помогает избежать преждевременной сходимости к субоптимальным решениям.

Проблема существующих методов

Существующие методы обучения с подкреплением сталкиваются с трудностями в поддержании подходящего уровня энтропии. Процесс обучения включает в себя смешение положительных и отрицательных образцов, каждый из которых по-разному влияет на энтропию на разных этапах обучения.

Предложенный метод: EntroPIC

Для решения данной проблемы мы предлагаем метод стабилизации энтропии с помощью пропорционально-интегрального управления (EntroPIC). Этот новый подход адаптивно настраивает влияние положительных и отрицательных образцов, динамически изменяя их коэффициенты потерь. Это обеспечивает стабильность энтропии на протяжении всего процесса обучения, что гарантирует эффективное исследование и стабильный прогресс.

Теоретический анализ

Мы предоставляем всесторонний теоретический анализ как для обучающих процессов на основе политики, так и для внеполитических. Это демонстрирует, что EntroPIC эффективен в контроле энтропии при обучении LLM на большом масштабе.

Экспериментальные результаты

Эксперименты показывают, что наш метод успешно поддерживает желаемые уровни энтропии, что позволяет осуществлять стабильное и оптимальное обучение с подкреплением для LLM.