Введение

Мы предлагаем полностью основанный на данных подход к разработке оценщиков взаимной информации (MI). Поскольку любой оценщик MI является функцией наблюдаемой выборки из двух случайных переменных, мы параметризуем эту функцию с помощью нейронной сети (MIST) и обучаем её в режиме end-to-end для предсказания значений MI.

Обучение на мета-наборе данных

Обучение проводится на крупном мета-наборе данных, состоящем из 625,000 синтетических совместных распределений с известными истинными значениями MI. Чтобы справляться с переменным размером выборок и измерениями, мы используем двумерную схему внимания, обеспечивающую инвариантность перестановки для входных выборок.

Квантильная регрессия и неопределенность

Для оценки неопределенности мы оптимизируем функцию потерь квантильной регрессии, что позволяет оценщику приближать распределение выборки MI, а не возвращать одно точечное значение. Эта исследовательская программа отличается от предыдущих работ, так как использует полностью эмпирический подход, жертвуя универсальными теоретическими гарантиями в пользу гибкости и эффективности.

Результаты и выводы

Эмпирически обученные оценщики значительно превосходят классические базовые методы по размерам выборок и измерениям, включая совместные распределения, не виденные во время обучения. Полученные интервалы на основе квантилей хорошо откалиброваны и более надежны, чем интервалы доверия, основанные на бутстрепе.