Введение

Современные модели потоков демонстрируют отличное качество, но требуют медленного, итеративного процесса выборки. Для ускорения этого процесса карты потоков можно дистиллировать из предварительно обученных моделей-учителей. Однако традиционный подход требует выборки из внешнего набора данных.

Проблема зависимости от данных

Мы утверждаем, что эта зависимость от данных вводит фундаментальный риск несоответствия между учителем и данными. Статический набор данных может предоставить неполное или даже искаженное представление о полном генеративном потенциале учителя.

Вопрос о необходимости данных

Это подводит нас к вопросу: действительно ли необходима такая зависимость от данных для успешной дистилляции карт потока?

Безданный подход

В данной работе мы исследуем альтернативу, которая не требует данных, и использует только предварительное распределение, которое учитель гарантированно будет следовать по своей конструкции. Это полностью устраняет риск несоответствия.

Практическая реализация

Чтобы продемонстрировать практическую жизнеспособность этого подхода, мы представляем обоснованную структуру, которая обучается предсказывать путь выборки учителя, активно корректируя собственные ошибки, чтобы обеспечить высокое качество.

Результаты

Наш подход превосходит все основанные на данных аналоги и устанавливает новый стандарт на значительном уровне. В частности, дистиллируя из SiT-XL/2+REPA, наш метод достигает…