Введение в OralGPT-Omni
Многофункциональные большие языковые модели (MLLMs) продемонстрировали огромный потенциал в различных медицинских областях, однако стоматология остается недостаточно исследованной. Это связано с нехваткой данных, специфичных для данной области, дефицитом аннотаций от стоматологических экспертов, недостаточным моделированием для различных модальностей и проблемами с надежностью.
Что такое OralGPT-Omni?
В данной статье мы представляем OralGPT-Omni — первую специализированную MLLM для стоматологии, предназначенную для комплексного и надежного анализа различных стоматологических изображений и клинических задач.
TRACE-CoT: Набор данных для понимания диагностики
Чтобы явно отразить диагностическое мышление стоматологов, мы создали TRACE-CoT — набор данных, основанный на клинических сценариях, который отражает процессы принятия решений стоматологических радиологов. Это наблюдение за процессом мышления, в сочетании с нашей предложенной четырехступенчатой моделью обучения, значительно усиливает способность модели к пониманию и анализу стоматологических изображений.
MMOral-Uni: Унифицированный бенчмарк для анализа стоматологических изображений
Параллельно мы представляем MMOral-Uni — первый унифицированный бенчмарк для анализа стоматологических изображений. Он включает 2809 открытых вопросов и ответов, охватывающих пять модальностей и пять задач, и предлагает наиболее полную оценочную систему для MLLMs в цифровой стоматологии на сегодняшний день.
Результаты OralGPT-Omni
OralGPT-Omni достиг общего балла 51.84 в MMOral-Uni, что подчеркивает его эффективность в анализе стоматологических изображений.
Материал носит информационный характер и не является профессиональной консультацией. Часть материалов издания готовится с использованием нейросетевых инструментов и проверяется редакцией по первоисточникам — подробнее в пользовательском соглашении. Нашли неточность или считаете, что материал нарушает ваши права — сообщите редакции, обращения рассматриваются в течение суток.