Введение в Medal S

Мы представляем Medal S — модель основы медицинской сегментации, которая поддерживает пространственные и текстовые подсказки в рамках обучаемой системы «под ключ». В отличие от методов, работающих только с текстом и не обладающих пространственным восприятием, Medal S добивается выравнивания на уровне каналов между объемными подсказками и текстовыми векторами, что позволяет устранить неточности, возникающие из-за несовпадения разрешения.

Эффективность обработки

Сохраняя полный 3D-контекст, модель эффективно обрабатывает несколько масок с родным разрешением параллельно, что улучшает производительность многоклассовой сегментации. Легковесный модуль 3D-свёртки позволяет точно уточнять воксельное пространство, используя оба типа подсказок, и поддерживает до 243 классов в таких методах, как КТ, МРТ, ПЭТ, ультразвук и микроскопия в наборе данных BiomedSegFM.

Режимы подсказок

Medal S предлагает два режима подсказок: режим только с текстом, где предсказания модели служат пространственными подсказками для самоуточнения без участия человека, и гибридный режим, включающий ручные аннотации для большей гибкости.

Скорость и динамическая переработка

Для сегментации 24 классов параллельная пространственная подсказка снижает время вывода более чем на 90% по сравнению с последовательной подсказкой. Мы предлагаем динамическое повторное выборку, чтобы решить проблему дисбаланса соотношения целевых патчей, расширяя SAT и nnU-Net для увеличения объема данных.