IndicParam: Оценка языковых моделей для индийских языков

Введение

Хотя большие языковые модели успешно справляются с задачами на высокоресурсных многоязычных данных, индийские языки с низкими и очень низкими ресурсами остаются недостаточно оцененными.

Что такое IndicParam?

Мы представляем IndicParam, тщательно составленный набор данных, содержащий более 13,000 вопросов с множественным выбором, охватывающий 11 таких языков:

• Непали
• Гуджарати
• Маратхи
• Одиа (низкоресурсный)
• Догри
• Майтхили
• Раджастханский
• Санскрит
• Бодо
• Сантали
• Конкани (очень низкоресурсные)

Также имеется набор данных с кодовым смешиванием санскрита и английского.

Оценка языковых моделей

Мы оценили 19 языковых моделей, как проприетарных, так и с открытыми весами. Результаты показали, что даже самая высокоэффективная модель GPT-5 достигает лишь 45.0% средней точности, за ней следуют DeepSeek-3.2 (43.1%) и Claude-4.5 (42.7%).

Классификация вопросов

Каждый вопрос мы дополнительно пометили как ориентированный на знания или чисто лексический, чтобы различать фактическое воспоминание и грамматическую компетенцию.

Разнообразие форматов вопросов

Мы также оценили способность языковых моделей обрабатывать различные форматы вопросов, такие как соответствие списков, пары утверждений и причин, а также традиционные вопросы с множественным выбором.

Выводы

IndicParam предоставляет информацию о ограничениях кросс-языкового переноса и устанавливает сложный эталон для индийских языков.

Набор данных доступен по адресу: https://huggingface.co/datasets/bharatgenai/IndicParam.

Материал носит информационный характер и не является профессиональной консультацией. Часть материалов издания готовится с использованием нейросетевых инструментов и проверяется редакцией по первоисточникам — подробнее в пользовательском соглашении. Нашли неточность или считаете, что материал нарушает ваши права — сообщите редакции, обращения рассматриваются в течение суток.