Введение
Определение точной 3D-движения мяча для настольного тенниса по стандартным однообъективным видео — это сложная задача. Существующие методы, обученные на синтетических данных, плохо работают с шумными и несовершенными детекциями мяча и стола в реальных условиях.
Проблема и решение
Основная причина трудностей связана с отсутствием точных 3D-траекторий и аннотаций вращения для реальных видео. Чтобы решить эту проблему, мы предлагаем новую двухступенчатую схему, которая разделяет задачу на два этапа: восприятие на фронтальной стороне и подъем на задней стороне.
Этапы решения
- Фронтальная сторона: Компоненты на этом этапе обучаются с использованием обширного 2D-надзора из созданного нами набора данных TTHQ.
- Задняя сторона: Сеть для подъема тренируется исключительно на физических синтетических данных.
Устойчивость к артефактам
Мы специально переработали модель подъема, чтобы она была устойчива к распространенным артефактам реального мира, таким как пропущенные детекции и изменяющиеся частоты кадров.
Интеграция компонентов
С помощью детектора мяча и детектора ключевых точек стола, наш подход превращает концептуальную модель подъема в практическое, надежное и высокоэффективное решение для анализа 3D-траектории и вращения мяча в настольном теннисе.