Крах патчей: новый взгляд на моделирование изображений

Введение в крах патчей

Наблюдение за определенными патчами на изображении снижает неопределенность других. Это явление можно назвать крахом патчей. Реализация одного патча уменьшает распределительную энтропию оставшихся патчей, что аналогично коллапсу волновой функции частицы в квантовой механике.

Определение наиболее значимых патчей

Чтобы определить, какие патчи наиболее важны во время коллапса целевой области, мы обучаем автоэнкодер, который мягко выбирает подмножество патчей для восстановления каждого целевого патча. Построение графиков этих зависимостей для каждого патча на основе его рейтинга PageRank позволяет выявить оптимальный порядок патчей для реализации изображения.

Преимущества соблюдения порядка патчей

Соблюдение этого порядка приносит пользу различным методам моделирования изображений с масками:

• Автогенерация изображений: Можем улучшить результаты автогенерации изображений, повторно обучив современную модель MAR.
• Классификация изображений: Мы предлагаем новую настройку для классификации изображений, в которой Vision Transformers видят только патчи с высоким ранком в порядке коллапса. Достаточно видеть 22% таких патчей для достижения высокой точности.

Заключение

В результате этих экспериментов мы предлагаем крах патчей как новую перспективу моделирования изображений, которая способствует повышению эффективности восприятия. Наш проект доступен на GitHub.

Материал носит информационный характер и не является профессиональной консультацией. Часть материалов издания готовится с использованием нейросетевых инструментов и проверяется редакцией по первоисточникам — подробнее в пользовательском соглашении. Нашли неточность или считаете, что материал нарушает ваши права — сообщите редакции, обращения рассматриваются в течение суток.