GeoVista: Моделирование визуального восприятия для геолокации

Введение

Современные исследования в области агентного визуального восприятия позволяют глубоко понимать многомодальные данные, но в основном сосредоточены на инструментах манипуляции изображениями. Это создает пробел в разработке более универсальных агентных моделей.

Задача геолокации

В данной работе мы возвращаемся к задаче геолокации, которая требует не только тонкой визуальной привязки, но и веб-поиска для подтверждения или уточнения гипотез в процессе размышлений.

Проблемы существующих бенчмарков

Существующие бенчмарки по геолокации не удовлетворяют потребности в высококачественных изображениях и решении задач локализации для глубокого агентного восприятия.

GeoBench

Мы разработали GeoBench — новый бенчмарк, который включает фотографии и панорамы со всего мира, а также подмножество спутниковых изображений различных городов. Это позволяет строго оценить способности агентных моделей в области геолокации.

GeoVista

Мы также предлагаем GeoVista — агентную модель, которая бесшовно интегрирует использование инструментов в процессе размышлений. Она включает инструмент для увеличения изображения, позволяющий увеличивать интересующие области, и инструмент для веб-поиска, который помогает получать связанную информацию из интернета.

Обучение модели

Мы разработали полный процесс обучения для GeoVista, включая этап супервайзинга для изучения паттернов размышлений и использования инструментов, а затем этап обучения с подкреплением, чтобы дополнительно улучшить качество рассуждений.