Введение

Нейронные системы поиска информации показывают отличные результаты в языках с высоким объемом ресурсов, но остаются слабо изученными для морфологически богатых и менее ресурсных языков, таких как турецкий. В настоящее время в области поиска информации на турецком языке доминируют плотные би-кодеры, однако модели с поздним взаимодействием, которые сохраняют представления на уровне токенов для тонкого сопоставления, не были систематически оценены.

Представляем TurkColBERT

Мы представляем TurkColBERT, первую всестороннюю оценку, сравнивающую плотные кодеры и модели с поздним взаимодействием для турецкого поиска информации. Наша двухступенчатая адаптация включает в себя донастройку английских и многоязычных кодеров на задачах NLI/STS на турецком языке, а затем преобразует их в рендереры в стиле ColBERT с использованием PyLate, обученного на MS MARCO-TR.

Оценка моделей

Мы оцениваем 10 моделей на пяти наборах данных BEIR на турецком языке, охватывающих научные, финансовые и аргументативные области. Результаты показывают высокую эффективность параметров: кодер colbert-hash-nano-tr с 1.0 миллиона параметров в 600 раз меньше, чем плотный кодер turkish-e5-large с 600 миллионами параметров, при этом сохраняя более 71% его среднего значения mAP.

Преимущества моделей с поздним взаимодействием

Модели с поздним взаимодействием, которые в 3–5 раз меньше плотных кодеров, значительно превосходят их; ColmmBERT-base-TR показывает увеличение до +13.8% mAP на специфических для области задачах.

Готовность к производству

Для оценки готовности к производству мы сравниваем…