Què és l'aprenentatge federat?

Què és l'aprenentatge federat?

El mètode tradicional d'entrenament de models d'IA implica configurar servidors on els models s'entrenen sobre dades, sovint mitjançant l'ús d'una plataforma informàtica basada en núvol. Tanmateix, durant els últims anys ha sorgit una forma alternativa de creació de models, anomenada aprenentatge federat. Aprenentatge federat porta els models d'aprenentatge automàtic a la font de dades, en lloc de portar les dades al model. L'aprenentatge federat enllaça diversos dispositius computacionals en un sistema descentralitzat que permet que els dispositius individuals que recullen dades ajudin a entrenar el model.

En un sistema d'aprenentatge federat, els diferents dispositius que formen part de la xarxa d'aprenentatge tenen cadascun una còpia del model al dispositiu. Els diferents dispositius/clients entrenar la seva pròpia còpia del model utilitzant les dades locals del client, i després els paràmetres/pesos dels models individuals s'envien a un dispositiu mestre, o servidor, que agrega els paràmetres i actualitza el model global. Aquest procés d'entrenament es pot repetir fins que s'aconsegueix el nivell de precisió desitjat. En resum, la idea que hi ha darrere de l'aprenentatge federat és que cap de les dades d'entrenament es transmet mai entre dispositius o entre parts, només les actualitzacions relacionades amb el model.

L'aprenentatge federat es pot dividir en tres passos o fases diferents. L'aprenentatge federat normalment comença amb un model genèric que actua com a línia de base i s'entrena en un servidor central. En el primer pas, aquest model genèric s'envia als clients de l'aplicació. Aquestes còpies locals s'entrenen després sobre les dades generades pels sistemes del client, aprenent i millorant el seu rendiment.

En el segon pas, tots els clients envien els seus paràmetres de model apresos al servidor central. Això passa periòdicament, en un horari establert.

En el tercer pas, el servidor agrega els paràmetres apresos quan els rep. Després d'agregar els paràmetres, el model central s'actualitza i es comparteix una vegada més amb els clients. Aleshores es repeteix tot el procés.

El benefici de tenir-ne una còpia del model dels diferents dispositius és que les latències de xarxa es redueixen o s'eliminen. També s'eliminen els costos associats a compartir dades amb el servidor. Altres avantatges dels mètodes d'aprenentatge federat inclouen el fet que els models d'aprenentatge federat es conserven la privadesa i les respostes dels models es personalitzen per a l'usuari del dispositiu.

Alguns exemples de models d'aprenentatge federat inclouen motors de recomanació, models de detecció de fraus i models mèdics. Els motors de recomanació de mitjans, del tipus que fan servir Netflix o Amazon, es podrien entrenar amb dades recollides de milers d'usuaris. Els dispositius client entrenarien els seus propis models separats i el model central aprendria a fer millors prediccions, tot i que els punts de dades individuals serien únics per als diferents usuaris. De la mateixa manera, els models de detecció de fraus utilitzats pels bancs es poden entrenar en patrons d'activitat des de molts dispositius diferents, i un grapat de bancs diferents podrien col·laborar per formar un model comú. Pel que fa a un model d'aprenentatge mèdic federat, diversos hospitals podrien unir-se per formar un model comú que pogués reconèixer possibles tumors mitjançant exploracions mèdiques.

Tipus d'aprenentatge federat

Esquemes d'aprenentatge federats normalment entren en una de les dues classes diferents: sistemes multipartidista i sistemes unipartidista. Els sistemes d'aprenentatge federats d'un sol partit s'anomenen "partit únic" perquè només una sola entitat és responsable de supervisar la captura i el flux de dades a tots els dispositius client de la xarxa d'aprenentatge. Els models que existeixen als dispositius client s'entrenen en dades amb la mateixa estructura, tot i que els punts de dades solen ser únics per als diferents usuaris i dispositius.

A diferència dels sistemes d'un sol partit, els sistemes multipartidista són gestionats per dues o més entitats. Aquestes entitats cooperen per formar un model compartit utilitzant els diferents dispositius i conjunts de dades als quals tenen accés. Els paràmetres i les estructures de dades solen ser similars entre els dispositius que pertanyen a les múltiples entitats, però no han de ser exactament iguals. En canvi, es fa un preprocessament per estandarditzar les entrades del model. Es podria utilitzar una entitat neutral per agregar els pesos establerts pels dispositius únics per a les diferents entitats.

Marcs per a l'aprenentatge federat

Els marcs populars utilitzats per a l'aprenentatge federat inclouen Tensorflow federat, Federated AI Technology Enabler (FATE)i PySyft. PySyft és una biblioteca d'aprenentatge federada de codi obert basada en la biblioteca d'aprenentatge profund PyTorch. PySyft està pensat per garantir un aprenentatge profund privat i segur entre servidors i agents mitjançant càlculs xifrats. Mentrestant, Tensorflow Federated és un altre marc de codi obert construït a la plataforma Tensorflow de Google. A més de permetre als usuaris crear els seus propis algorismes, Tensorflow Federated permet als usuaris simular una sèrie d'algoritmes d'aprenentatge federat inclosos en els seus propis models i dades. Finalment, FATE també és un marc de codi obert dissenyat per Webank AI i té la intenció de proporcionar a l'ecosistema d'IA federada un marc informàtic segur.

Reptes d'aprenentatge federat

Com que l'aprenentatge federat és encara força incipient, una sèrie de reptes encara s'han de negociar per tal d'aconseguir tot el seu potencial. Les capacitats d'entrenament dels dispositius de punta, l'etiquetatge i estandardització de dades i la convergència de models són obstacles potencials per als enfocaments d'aprenentatge federat.

Les capacitats computacionals dels dispositius de punta, quan es tracta de formació local, s'han de tenir en compte a l'hora de dissenyar enfocaments d'aprenentatge federat. Tot i que la majoria de telèfons intel·ligents, tauletes i altres dispositius compatibles amb IoT són capaços d'entrenar models d'aprenentatge automàtic, això normalment dificulta el rendiment del dispositiu. S'hauran de fer compromisos entre la precisió del model i el rendiment del dispositiu.

Etiquetar i estandarditzar les dades és un altre repte que han de superar els sistemes d'aprenentatge federats. Els models d'aprenentatge supervisat requereixen dades de formació que estiguin etiquetades de manera clara i coherent, cosa que pot ser difícil de fer als molts dispositius client que formen part del sistema. Per aquest motiu, és important desenvolupar canalitzacions de dades de models que apliquen automàticament etiquetes d'una manera estandarditzada en funció dels esdeveniments i les accions dels usuaris.

El temps de convergència dels models és un altre repte per a l'aprenentatge federat, ja que els models d'aprenentatge federat solen trigar més a convergir que els models entrenats localment. El nombre de dispositius implicats en la formació afegeix un element d'imprevisibilitat a l'entrenament del model, ja que els problemes de connexió, les actualitzacions irregulars i fins i tot els diferents temps d'ús de les aplicacions poden contribuir a augmentar el temps de convergència i a disminuir la fiabilitat. Per aquest motiu, les solucions d'aprenentatge federat solen ser més útils quan proporcionen avantatges significatius respecte a la formació centralitzada d'un model, com ara casos en què els conjunts de dades són extremadament grans i distribuïts.

Foto: Jeromemetronome via Wikimedia Commons, CC By SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)