Введение в модели Vision-Language-Action

Модели Vision-Language-Action (VLA) показывают отличные результаты в роботизированной манипуляции, но их эффективность ограничена сильной зависимостью от экспертов и демонстраций. Это приводит к искажению демонстраций и снижению производительности.

Проблемы существующих методов

Обучение с подкреплением (RL) является важной стратегией, позволяющей преодолеть эти ограничения после этапа обучения. Однако текущие методы VLA-RL, в том числе подходы, основанные на групповой оптимизации, сталкиваются с серьезной проблемой: разреженностью вознаграждений. Использование бинарных показателей успеха приводит к потере важной информации о неудачных попытках, что снижает эффективность обучения.

Предложение SRPO

В этой статье мы предлагаем новую рамочную структуру VLA-RL под названием Self-Referential Policy Optimization (SRPO). SRPO устраняет необходимость в внешних демонстрациях и ручной настройке вознаграждений, используя успешные траектории модели, сгенерированные в текущей обучающей партии, в качестве самоссылки. Это позволяет нам назначать вознаграждение за прогресс неудачным попыткам.

Ключевые инновации

Одной из основных инноваций является использование латентных представлений мира для надежной оценки прогресса поведения. Вместо полагания на сырые пиксели или необходимость в специфичной для домена тонкой настройке, мы используем сжатые, переносимые кодировки из латентного пространства модели мира. Эти представления естественным образом фиксируют…