Введение

Создание реалистичных 3D городов является основой для мировых моделей, виртуальной реальности и разработки игр. Идеальная городская сцена должна сочетать в себе стилистическое разнообразие, детализацию и управляемость. Однако существующие методы сталкиваются с трудностями в балансировке между творческой гибкостью, предлагаемой текстовой генерацией, и редактируемостью объектов, обеспечиваемой явными структурными представлениями.

MajutsuCity

Мы представляем MajutsuCity — адаптивную платформу для синтеза структурно последовательных и стилистически разнообразных 3D городских сцен на основе естественного языка. MajutsuCity представляет город как композицию управляемых макетов, объектов и материалов, действуя по четырехступенчатой схеме.

Этапы работы

1. Генерация макета города.
2. Подбор 3D объектов и материалов.
3. Настройка и редактирование сцены.
4. Финальная визуализация.

MajutsuAgent

Для расширения возможностей управления за пределами первоначальной генерации мы интегрируем MajutsuAgent — интерактивный агент редактирования, основанный на языке, который поддерживает пять операций на уровне объектов.

MajutsuDataset

Для поддержки фотореалистичной и настраиваемой синтезы сцен мы также создаем MajutsuDataset, качественный мультимодальный набор данных, содержащий 2D семантические макеты и высотные карты, разнообразные 3D строительные объекты и отобранные PBR материалы и небесные коробки, каждый из которых сопровождается подробными аннотациями.