Введение в сопоставление плотных признаков

Сопоставление плотных признаков направлено на оценку всех соответствий между двумя изображениями 3D-сцены и недавно стало золотым стандартом благодаря высокой точности и надежности. Однако существующие методы сопоставления часто сталкиваются с трудностями или показывают низкие результаты в сложных реальных условиях, а высокоточные модели зачастую работают медленно, что ограничивает их применение.

Подход к решению проблем

В данной статье мы рассматриваем эти слабые места с разных сторон, предлагая ряд систематических улучшений, которые в совокупности приводят к значительно лучшей модели. В частности, мы разрабатываем новую архитектуру сопоставления и функцию потерь, что, в сочетании с разнообразной обучающей выборкой, позволяет нашей модели решать множество сложных задач сопоставления.

Ускорение процесса обучения

Мы также ускоряем обучение за счет раздельного двухступенчатого процесса: сначала сопоставление, затем уточнение. При этом мы значительно сокращаем использование памяти на этапе уточнения с помощью специального ядра CUDA.

Повышение устойчивости модели

Наконец, мы используем современную модель DINOv3 и множество других идей для повышения устойчивости и беспристрастности модели. В нашем обширном наборе экспериментов мы показываем, что новая модель сопоставления устанавливает новый рекорд, обладая значительно большей точностью по сравнению с предшественниками.