Введение
Современные модели сегментации поражений на рентгеновских снимках легких (CXRs) имеют ограничения из-за малого количества целевых меток и необходимости использования длинных, детализированных текстов от экспертов. Это создает барьеры для практического применения.
Новая парадигма сегментации
Чтобы решить эти проблемы, мы представляем новую парадигму: сегментация поражений с руководством по инструкциям (ILS). Эта методика предназначена для сегментации различных типов поражений на основе простых и понятных инструкций от пользователя.
Создание набора данных MIMIC-ILS
В рамках данной парадигмы мы разработали MIMIC-ILS — первый крупномасштабный набор данных вопросов и ответов для сегментации поражений на CXR. Он создан с помощью нашей полностью автоматизированной мультимодальной системы, которая генерирует аннотации на основе рентгеновских снимков и соответствующих отчетов.
- MIMIC-ILS содержит 1,1 миллиона пар вопросов и ответов.
- Используется 192 тысячи изображений.
- Включает 91 тысячу уникальных масок сегментации.
- Охватывает семь основных типов поражений.
Модель ROSALIA
Чтобы наглядно продемонстрировать полезность набора данных, мы представляем модель ROSALIA — модель, объединяющая визуальные и языковые данные, которая была дообучена на MIMIC-ILS. ROSALIA может сегментировать различные поражения и предоставлять текстовые объяснения в ответ на пользовательские инструкции.
Модель демонстрирует высокую точность сегментации и текстового ответа в нашей новой задаче, что подчеркивает эффективность нашего подхода.
Метод сегментации поражений с использованием ILS выглядит многообещающе, особенно в контексте набора данных MIMIC-ILS. Интересно, как этот подход может улучшить диагностику заболеваний легких в реальных клинических условиях. Какие еще преимущества, по вашему мнению, могут возникнуть при использовании этого метода?