Mikä on yhdistetty oppiminen?

Mikä on yhdistetty oppiminen?

Perinteiseen tekoälymallien koulutusmenetelmään kuuluu palvelimien perustaminen, joissa malleja koulutetaan dataan, usein pilvipohjaisen laskenta-alustan avulla. Muutaman viime vuoden aikana on kuitenkin syntynyt vaihtoehtoinen mallinluontimuoto, jota kutsutaan liittoutuneeksi oppimiseksi. Yhdistetty oppiminen tuo koneoppimismalleja tietolähteeseen sen sijaan, että tuo data malliin. Federated learning yhdistää useita laskentalaitteita hajautetuksi järjestelmäksi, jonka avulla yksittäiset dataa keräävät laitteet voivat auttaa mallin koulutuksessa.

Liittetyssä oppimisjärjestelmässä oppimisverkkoon kuuluvilla eri laitteilla on jokaisella kopio mallista laitteessa. Eri laitteet/asiakkaat kouluttaa oman kopionsa mallista käyttäen asiakkaan paikallisia tietoja, ja sitten yksittäisten mallien parametrit/painot lähetetään päälaitteeseen tai palvelimeen, joka kokoaa parametrit ja päivittää globaalin mallin. Tätä koulutusprosessia voidaan sitten toistaa, kunnes haluttu tarkkuustaso on saavutettu. Lyhyesti sanottuna yhdistyneen oppimisen ideana on, että mitään koulutusdataa ei koskaan siirretä laitteiden välillä tai osapuolten välillä, vain malliin liittyvät päivitykset.

Yhdistetty oppiminen voidaan jakaa kolmeen eri vaiheeseen tai vaiheeseen. Yhdistetty oppiminen alkaa tyypillisesti yleisellä mallilla, joka toimii perustana ja jota koulutetaan keskuspalvelimella. Ensimmäisessä vaiheessa tämä yleinen malli lähetetään sovelluksen asiakkaille. Nämä paikalliset kopiot koulutetaan sitten asiakasjärjestelmien tuottamiin tietoihin, jotka oppivat ja parantavat niiden suorituskykyä.

Toisessa vaiheessa kaikki asiakkaat lähettävät oppimansa malliparametrit keskuspalvelimelle. Tämä tapahtuu säännöllisesti, tietyn aikataulun mukaan.

Kolmannessa vaiheessa palvelin kokoaa opitut parametrit, kun se vastaanottaa ne. Kun parametrit on koottu yhteen, keskusmalli päivitetään ja jaetaan vielä kerran asiakkaille. Sitten koko prosessi toistuu.

- hyötyä kopion saamisesta Eri laitteiden mallin mukaan verkon latenssit pienenevät tai poistetaan. Myös tiedon jakamiseen palvelimen kanssa liittyvät kustannukset eliminoituvat. Muita liittoutuneiden oppimismenetelmien etuja ovat se, että liittoutuneiden oppimismallien yksityisyys säilyy ja mallivastaukset räätälöidään laitteen käyttäjälle.

Esimerkkejä yhdistetyistä oppimismalleista ovat suositusmoottorit, petosten havaitsemismallit ja lääketieteelliset mallit. Netflixin tai Amazonin käyttämiä mediasuositusmoottoreita voitaisiin kouluttaa tuhansilta käyttäjiltä kerättyjen tietojen perusteella. Asiakaslaitteet kouluttaisivat omat erilliset mallinsa ja keskusmalli oppisivat tekemään parempia ennusteita, vaikka yksittäiset datapisteet olisivatkin eri käyttäjien yksilöllisiä. Samoin pankkien käyttämiä petosten havaitsemismalleja voidaan kouluttaa useiden eri laitteiden toimintamalleihin, ja kourallinen eri pankkeja voisi tehdä yhteistyötä yhteisen mallin kouluttamiseksi. Lääketieteellisen liittoutuneen oppimismallin kannalta useat sairaalat voisivat yhdistää yhteisen mallin, joka tunnistaa mahdolliset kasvaimet lääketieteellisten skannausten avulla.

Federated Learning -tyypit

Yhdistetyt oppimismallit kuuluvat tyypillisesti johonkin kahdesta eri luokasta: monipuoluejärjestelmät ja yhden osapuolen järjestelmät. Yhden osapuolen liittoutuneita oppimisjärjestelmiä kutsutaan "yhden osapuolen", koska vain yksi entiteetti on vastuussa tietojen keräämisen ja kulun valvonnasta kaikissa oppimisverkon asiakaslaitteissa. Asiakaslaitteissa olevat mallit on koulutettu dataan, jolla on sama rakenne, vaikka datapisteet ovat tyypillisesti yksilöllisiä eri käyttäjille ja laitteille.

Toisin kuin yhden osapuolen järjestelmiä, usean osapuolen järjestelmiä hallinnoi kaksi tai useampi kokonaisuus. Nämä entiteetit tekevät yhteistyötä kouluttaakseen jaetun mallin käyttämällä erilaisia ​​laitteita ja tietojoukkoja, joihin heillä on pääsy. Parametrit ja tietorakenteet ovat tyypillisesti samanlaisia ​​useisiin entiteeteihin kuuluvissa laitteissa, mutta niiden ei tarvitse olla täysin samoja. Sen sijaan tehdään esikäsittely mallin syötteiden standardoimiseksi. Neutraalia kokonaisuutta voidaan käyttää eri entiteeteille ainutlaatuisten laitteiden määrittämien painojen yhdistämiseen.

Federated Learningin viitekehykset

Yhdistettyyn oppimiseen käytettyjä suosittuja puitteita ovat mm Tensorflow Federated, Federated AI Technology Enabler (FATE)ja PySyft. PySyft on avoimen lähdekoodin yhdistetty oppimiskirjasto, joka perustuu PyTorchiin syväoppimiskirjastoon. PySyft on tarkoitettu varmistamaan yksityinen, turvallinen syväoppiminen palvelimien ja agenttien välillä salattua laskentaa käyttäen. Samaan aikaan Tensorflow Federated on toinen avoimen lähdekoodin kehys, joka on rakennettu Googlen Tensorflow-alustalle. Sen lisäksi, että käyttäjät voivat luoda omia algoritmejaan, Tensorflow Federated antaa käyttäjille mahdollisuuden simuloida useita mukana olevia yhdistettyjä oppimisalgoritmeja omilla malleillaan ja tiedoillaan. Lopuksi, FATE on myös avoimen lähdekoodin kehys, jonka Webbank AI on suunnitellut, ja sen on tarkoitus tarjota Federated AI -ekosysteemille turvallinen laskentakehys.

Federated Learning Challenges

Koska liittoutunut oppiminen on vielä melko syntymässä, useita haasteita on vielä neuvoteltava, jotta se saavuttaisi täyden potentiaalinsa. Reunalaitteiden koulutusominaisuudet, tietojen merkitseminen ja standardointi sekä mallien konvergenssi ovat mahdollisia esteitä yhdistetyille oppimismenetelmille.

Reunalaitteiden laskennalliset kyvyt paikallisen koulutuksen osalta on otettava huomioon suunniteltaessa yhdistettyjä oppimismenetelmiä. Vaikka useimmat älypuhelimet, tabletit ja muut IoT-yhteensopivat laitteet pystyvät opettamaan koneoppimismalleja, tämä tyypillisesti heikentää laitteen suorituskykyä. Mallin tarkkuuden ja laitteen suorituskyvyn välillä on tehtävä kompromisseja.

Tietojen merkitseminen ja standardointi on toinen haaste, joka liittoutuneiden oppimisjärjestelmien on voitettava. Valvotut oppimismallit edellyttävät koulutusdataa, joka on merkitty selkeästi ja johdonmukaisesti, mikä voi olla vaikeaa tehdä monilla järjestelmään kuuluvilla asiakaslaitteilla. Tästä syystä on tärkeää kehittää mallitietoputkia, jotka käyttävät tunnisteita automaattisesti standardoidulla tavalla tapahtumien ja käyttäjien toimien perusteella.

Mallin konvergenssiaika on toinen haaste yhdistetylle oppimiselle, koska liittoutuneiden oppimismallien lähentyminen kestää yleensä kauemmin kuin paikallisesti koulutettujen mallien. Koulutukseen osallistuvien laitteiden määrä lisää mallikoulutukseen ennakoimattomuutta, sillä yhteysongelmat, epäsäännölliset päivitykset ja jopa erilaiset sovellusten käyttöajat voivat lisätä konvergenssiaikaa ja heikentää luotettavuutta. Tästä syystä yhdistetyt oppimisratkaisut ovat tyypillisesti hyödyllisimpiä, kun ne tarjoavat merkittäviä etuja mallin keskitettyyn koulutukseen verrattuna, kuten tapaukset, joissa tietojoukot ovat erittäin suuria ja hajautettuja.

Kuva: Jeromemetronome Wikimedia Commonsin kautta, CC, SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)