L'apprendimento federato eterogeneo implementato attraverso la compressione dei modelli (FedMD)
Nel campo dell'apprendimento automatico, un nuovo framework chiamato FedMD sta suscitando scalpore. Sviluppato da Jinhui Xu, Peilong Li, Yiran Chen e Chunguo Wu, questo approccio innovativo mira a risolvere le sfide dell'eterogeneità statistica e del modello nell'apprendimento federato.
FedMD raggiunge questo obiettivo incorporando l'apprendimento trasferibile e la distillazione della conoscenza nel processo di apprendimento federato. A differenza dell'apprendimento federato vanilla, come Federated Averaging (FedAvg), l'architettura del modello dei partecipanti nel framework FedMD non deve essere la stessa.
Sono state condotte esperimenti con 10 partecipanti, ciascuno con reti di convoluzione uniche che variavano per il numero di canali e strati. Questi partecipanti hanno addestrato un modello unico su un dataset pubblico fino alla convergenza, quindi hanno addestrato il proprio piccolo dataset privato utilizzando il modello unico. Hanno calcolato i punteggi di classe sul dataset pubblico durante ciascun round di apprendimento federato e inviato i risultati a un server centrale.
Il server centrale, noto come consenso, calcola e aggiorna il consenso, che è la media dei punteggi di classe. Il consenso o i punteggi di classe aggiornati ora servono come baseline per ulteriori addestramento e affinamento federato.
Ciascun partecipante nel framework FedMD calcola i punteggi di classe tramite distillazione della conoscenza, una tecnica nota come traduttore. La distillazione della conoscenza viene utilizzata per comunicare la conoscenza appresa in base ai punteggi di classe o ai punteggi di probabilità, consentendo a qualsiasi modello agnostico di sfruttare la conoscenza appresa da un modello in un altro.
Viene inoltre utilizzata la trasposizione nell'ambito del framework FedMD perché i dataset privati possono essere piccoli e sfruttare la trasposizione su un grande dataset pubblico può essere vantaggioso per il modello.
Una sfida nell'apprendimento federato è l'eterogeneità dei dati e dei dispositivi, che può rendere difficile per un utente personalizzare il modello globale per sfruttare i propri dati personalizzati. Nella Learning federato vanilla, il server centrale invia un modello globale a ciascun partecipante per l'addestramento e il server aggiorna il modello globale con la media di tutti i gradienti locali.
Il framework FedMD offre un modello globale universale e modelli personalizzati per ciascun partecipante. Nel documento, gli autori si concentrano su un tipo diverso di eterogeneità: le differenze nei modelli locali. I 10 partecipanti, utilizzando il framework FedMD, hanno raggiunto la precisione di stato dell'arte su MNIST e CIFAR10.
Per coloro che sono interessati ad approfondire, l'algoritmo completo del framework FedMD è descritto nel documento "[3] Daliang Li, Junpu Wang. 'FedMD: Heterogenous Federated Learning via Model Distillation.'". Questo sviluppo promettente nell'apprendimento federato potrebbe aprire la strada a soluzioni di apprendimento automatico più personalizzate ed efficaci.
Leggi anche:
- Tre donne anziane, affezionatamente chiamate nonne di Kaha Aden, costituiscono una parte significativa della comunità.
- Treyarch esprime l'ambizione di creare qualcosa di completamente diverso.
- Laureato in ingegneria alla NASA che si impegna a costruire robot per le giunture di marijuana
- WinZO entra nel mercato statunitense con il debutto di ZO TV, dopo la cessazione delle operazioni di gioco con soldi reali in India
){kind=link}