Введение в NaTex

Мы представляем NaTex, уникальную платформу для генерации текстур, которая предсказывает цвет текстуры непосредственно в 3D-пространстве. В отличие от предыдущих методов, основанных на создании 2D изображений с несколькими ракурсами, с использованием геометрически обусловленных моделей многовидовой диффузии (MVD), NaTex избегает ряда недостатков, присущих этому подходу.

Проблемы традиционных подходов

К числу основных проблем относятся:

• Сложности с обработкой закрытых областей, требующих инпейнтинга;
• Трудности в точном согласовании текстуры и меша вдоль границ;
• Поддержание согласованности и целостности между видами как по содержанию, так и по интенсивности цвета.

Подход NaTex

NaTex предлагает новый подход, рассматривающий текстуру как плотное облако цветных точек. Мы вводим концепцию латентной диффузии цвета, которая включает вариационный автокодировщик (VAE) для цветного облака с учетом геометрии и трансформер многоконтрольной диффузии (DiT). Это решение полностью обучается с нуля на 3D-данных для восстановления и генерации текстур.

Точные согласования и управление геометрией

Для обеспечения точного согласования мы вводим управление геометрией, которое обуславливает DiT на основе прямой 3D-пространственной информации через позиционные эмбеддинги и латенты геометрии. Мы совместно разрабатываем архитектуру VAE-DiT, где латенты геометрии извлекаются с помощью специализированной геометрической модели.