Введение

Несмотря на то, что 3D Gaussian Splatting (3DGS) показывает отличные результаты в большинстве конфигураций, он испытывает трудности с обобщением на новые ракурсы в условиях ограниченного количества данных. Это происходит из-за переобучения на разрозненные наблюдения.

Проблема обобщения

Мы рассматриваем оптимизацию 3DGS с точки зрения машинного обучения, представляя синтез новых взглядов как задачу обобщения для непроверенных ракурсов — это направление недостаточно изучено.

Предложение FASR

Мы предлагаем метод регуляризации адаптивной резкости частоты (FASR), который реформулирует цель обучения 3DGS, направляя его на достижение лучших результатов обобщения.

Сравнение с SAM

Хотя метод минимизации резкости (SAM) также снижает резкость ландшафта потерь для улучшения обобщения моделей классификации, его применение к 3DGS оказывается неэффективным из-за различий в задачах. В частности, он препятствует восстановлению высокочастотных деталей из-за чрезмерной регуляризации, тогда как ослабление регуляризации приводит к недостаточной пенализации резкости.

Решение проблемы

Чтобы решить эту проблему, мы отражаем локальную частоту изображений для установки веса регуляризации и радиуса соседства при оценке локальной резкости. Это позволяет избежать артефактов на новых ракурсах и восстанавливать тонкие детали, которые обычно теряются при использовании SAM.