Введение в BioBench
Традиционно точность линейного пробника ImageNet-1K использовалась как стандарт для оценки качества визуальных представлений. Однако сейчас она больше не предсказывает эффективность моделей для научной визуализации.
Проблемы с ImageNet
На основе 46 современных контрольных моделей в области компьютерного зрения, точность ImageNet top-1 объясняет лишь 34% вариации в задачах экологии и неправильно оценивает 30% моделей с точностью выше 75%.
Что такое BioBench?
Мы представляем BioBench — открытый бенчмарк для оценки моделей в экологии, который учитывает недостатки ImageNet. BioBench объединяет:
- 9 публично доступных задач, ориентированных на применение,
- 4 таксономических царства,
- 6 способов получения данных (RGB с дронов, веб-видео, микрофотографии, фотографии на месте и образцы, кадры с фотоловушек),
всего 3.1 миллиона изображений.
Удобство использования BioBench
BioBench предлагает единый API на Python, который позволяет:
- скачивать данные,
- обучать легкие классификаторы на замороженных базах,
- отчитываться о макро-F1 с балансировкой классов (включая метрики для FishNet и FungiCLEF);
Модели ViT-L могут быть оценены за 6 часов на GPU A6000.
Значение BioBench для экологии
BioBench предоставляет новый подход к компьютерному зрению в экологии и служит шаблоном для создания надежных бенчмарков AI-for-science в любой области.
Где найти код и результаты?
Код и предсказания доступны на GitHub, а результаты можно увидеть на веб-сайте.
BioBench действительно представляет собой значительный шаг вперёд в оценке моделей машинного обучения в экологии. Интересно, что он обеспечивает более точные результаты по сравнению с традиционным ImageNet, что может существенно повлиять на развитие экологических приложений. Как вы считаете, какие конкретные области экологии могут извлечь наибольшую пользу из применения BioBench?
Интересно, что BioBench предлагает новый подход к оценке моделей в области экологии. Сравнение с ImageNet подчеркивает значимость этого бенчмарка для более точной оценки производительности. Какие конкретные показатели эффективности моделей вы считаете наиболее важными при использовании BioBench?