FedRE: Рамки для гибридного обучения в федеративных системах

Введение в федеративное обучение

Федеративное обучение (FL) позволяет совместно обучать модели на данных клиентов, не нарушая конфиденциальности. Однако большинство существующих методов FL предполагают однородные архитектуры моделей, что делает это предположение непрактичным из-за гетерогенности данных и ресурсов клиентов.

Проблема и решение

Для решения этой проблемы мы предлагаем Federated Representation Entanglement (FedRE), рамки, основанные на новом виде клиентских знаний, называемом переплетённым представлением.

Как работает FedRE

• Агрегация представлений: Каждый клиент агрегирует свои локальные представления в одно переплетённое представление, используя нормализованные случайные веса.
• Интеграция меток: Эти веса применяются для интеграции соответствующих кодировок меток в переплетённую кодировку меток.
• Обучение глобального классификатора: Переплетённые представления загружаются на сервер для обучения глобального классификатора.

Процесс обучения

В процессе обучения каждое переплетённое представление контролируется по категориям через свою переплетённую кодировку меток. Случайные веса пересampling-ятся на каждом раунде, чтобы внести разнообразие, что помогает снизить чрезмерную уверенность глобального классификатора и способствует более плавным границам принятия решений.

Загрузка представлений

Каждый клиент загружает одно перекрестное переплетённое представление вместе с его переплетённой кодировкой меток, что снижает риск…

Материал носит информационный характер и не является профессиональной консультацией. Часть материалов издания готовится с использованием нейросетевых инструментов и проверяется редакцией по первоисточникам — подробнее в пользовательском соглашении. Нашли неточность или считаете, что материал нарушает ваши права — сообщите редакции, обращения рассматриваются в течение суток.