Введение в сегментацию медицинских изображений

Сегментация медицинских изображений является основой для биомедицинских открытий. Существующие методы часто не обладают универсальностью и требуют значительных временных затрат для ручной аннотации новых клинических приложений.

Представляем MedSAM-3

Мы предлагаем MedSAM-3, модель для сегментации медицинских изображений и видео, которую можно настраивать с помощью текстовых подсказок. Наша модель основана на архитектуре Segment Anything Model (SAM) 3 и дообучена на медицинских изображениях, сопоставленных с семантическими концептуальными метками.

Преимущества MedSAM-3

• Позволяет медицинскую сегментацию концептов с помощью текстовых описаний.
• Обеспечивает точное выделение анатомических структур.
• Использует открытый словарный запас для подсказок, а не только геометрические.

Интеграция с MedSAM-3 Agent

Мы также представляем MedSAM-3 Agent, который объединяет многомодальные крупные языковые модели (MLLMs) для выполнения сложного анализа и итеративного уточнения в процессе работы с агентом.

Результаты экспериментов

Обширные эксперименты на различных медицинских изображениях, включая рентген, МРТ, УЗИ, КТ и видео, показывают, что наш подход значительно превосходит существующие специализированные модели.

Доступность модели

Код и модель будут доступны по адресу: GitHub.