Введение в SAM 3
Мы представляем модель Segment Anything Model (SAM) 3 — унифицированную модель, которая обнаруживает, сегментирует и отслеживает объекты на изображениях и видео на основе концептуальных подсказок. Под концептуальными подсказками мы понимаем краткие именные фразы (например, «жёлтый школьный автобус»), примеры изображений или их комбинацию.
Подсказочная концептуальная сегментация (PCS)
Подсказочная концептуальная сегментация (PCS) принимает такие подсказки и возвращает маски сегментации и уникальные идентификаторы для всех совпадающих экземпляров объектов.
Разработка высококачественного датасета
Для улучшения PCS мы создали масштабируемый движок данных, который генерирует высококачественный датасет с 4 миллионами уникальных меток концептов, включая сложные негативные примеры, на изображениях и видео.
Структура модели
Наша модель состоит из детектора на уровне изображения и видеотрекера на основе памяти, которые используют единую архитектуру. Распознавание и локализация разделены с помощью специальной головы присутствия, что увеличивает точность обнаружения.
Преимущества SAM 3
SAM 3 в два раза увеличивает точность существующих систем как в PCS для изображений, так и для видео, а также улучшает предыдущие возможности SAM в задачах визуальной сегментации.
Открытый исходный код и новый бенчмарк
Мы открываем исходный код SAM 3 вместе с новым бенчмарком Segment Anything with Concepts (SA-Co) для подсказочной концептуальной сегментации.
Комментарии
2 комментария на ««SAM 3: Новый уровень сегментации объектов с концептами»»
Интересно, как SAM 3 использует концептуальные подсказки для улучшения сегментации объектов. Это открывает новые возможности в анализе изображений и видео. Как вы видите практическое применение этой модели в реальных проектах?
Интересно, как SAM 3 использует концептуальные подсказки для улучшения сегментации объектов. Какие примеры практического применения этой технологии можно ожидать в будущем?