Что такое SAM 3D?

SAM 3D — это генеративная модель, предназначенная для визуально обоснованной реконструкции 3D-объектов. Она предсказывает геометрию, текстуру и расположение объектов на основе одного изображения.

Как работает SAM 3D?

Модель показывает высокие результаты в работе с естественными изображениями, где часто встречаются遮挡ение и беспорядок на сцене. В таких случаях важную роль играют визуальные подсказки из контекста.

Процесс работы

• Используется система с участием человека и модели для аннотирования формы, текстуры и позы объектов.
• Обеспечивается визуально обоснованная 3D-реконструкция на беспрецедентном уровне.

Обучение модели

Мы обучаем модель на основе собранных данных в современном многоступенчатом тренировочном процессе. Он сочетает в себе синтетическую предобученность с реальным выравниванием, что позволяет преодолеть «данные барьер» в 3D.

Результаты

Мы достигли значительных успехов по сравнению с предыдущими работами, получив не менее 5:1 в тестах предпочтений среди людей на реальных объектах и сценах.

Доступность

Мы планируем выпустить наш код и веса модели, а также онлайн-демонстрацию и новый сложный бенчмарк для 3D-реконструкции объектов в дикой природе.