Масштабирование диффузий с помощью карт потока

Введение

Одним из распространенных методов улучшения диффузионных моделей на этапе тестирования является введение градиента вознаграждения в динамику самой диффузии. Это позволяет получать образцы, которые высоко оцениваются по заданному пользователем вознаграждению. Однако такая процедура часто оказывается плохо поставленной задачей, так как вознаграждения, заданные пользователем, обычно четко определены только на распределении данных в конце генерации.

Проблема и решение

Одним из распространенных обходных путей данной проблемы является использование денойзера для оценки того, каким мог бы быть образец в конце генерации. Мы предлагаем простое решение этой проблемы, работая непосредственно с картой потока.

Используя связь между картой потока и полем скоростей, которое управляет мгновенным транспортом, мы разрабатываем алгоритм под названием Flow Map Trajectory Tilting (FMTT). Этот алгоритм показывает более эффективный подъем по вознаграждению по сравнению со стандартными методами тестирования, которые включают градиент вознаграждения.

Применение подхода

Наш подход может быть использован как для точного выборки с помощью важностного взвешивания, так и для целенаправленного поиска, который выявляет локальные максимумы распределения, наклоненного к вознаграждению. Мы демонстрируем эффективность нашего подхода по сравнению с другими техниками предвосхищения и показываем, как карта потока позволяет работать со сложными функциями вознаграждения.

Материал носит информационный характер и не является профессиональной консультацией. Часть материалов издания готовится с использованием нейросетевых инструментов и проверяется редакцией по первоисточникам — подробнее в пользовательском соглашении. Нашли неточность или считаете, что материал нарушает ваши права — сообщите редакции, обращения рассматриваются в течение суток.