Kas yra Federacinis mokymasis?

Kas yra Federacinis mokymasis?

Tradicinis dirbtinio intelekto modelių mokymo metodas apima serverių, kuriuose modeliai mokomi naudoti duomenis, kūrimą, dažnai naudojant debesų kompiuterijos platformą. Tačiau per pastaruosius kelerius metus atsirado alternatyvi modelio kūrimo forma, vadinama federaciniu mokymusi. Federuotas mokymasis perkelia mašininio mokymosi modelius į duomenų šaltinį, o ne perkelia duomenis į modelį. Apjungtas mokymasis sujungia kelis skaičiavimo įrenginius į decentralizuotą sistemą, kuri leidžia atskiriems įrenginius, kurie renka duomenis, padėti mokyti modelį.

Sujungtoje mokymosi sistemoje įvairūs įrenginiai, kurie yra mokymosi tinklo dalis, turi modelio kopiją įrenginyje. Įvairūs įrenginiai / klientai apmokyti savo modelio kopiją naudojant vietinius kliento duomenis, o tada atskirų modelių parametrai/svoriai siunčiami į pagrindinį įrenginį arba serverį, kuris sujungia parametrus ir atnaujina visuotinį modelį. Šis mokymo procesas gali būti kartojamas tol, kol bus pasiektas norimas tikslumo lygis. Trumpai tariant, jungtinio mokymosi idėja yra ta, kad jokie mokymo duomenys niekada nėra perduodami tarp įrenginių ar tarp šalių, tik su modeliu susiję atnaujinimai.

Apjungtas mokymasis gali būti suskirstytas į tris skirtingus etapus arba etapus. Apjungtas mokymasis paprastai prasideda nuo bendro modelio, kuris veikia kaip pradinis ir yra mokomas centriniame serveryje. Pirmajame etape šis bendras modelis išsiunčiamas programos klientams. Tada šios vietinės kopijos apmokomos naudojant klientų sistemų generuojamus duomenis, mokomasi ir gerinant jų veikimą.

Antrame etape visi klientai siunčia išmoktus modelio parametrus į centrinį serverį. Tai vyksta periodiškai, pagal nustatytą grafiką.

Trečiame žingsnyje serveris sujungia išmoktus parametrus, kai juos gauna. Sujungus parametrus, centrinis modelis atnaujinamas ir dar kartą dalijamasi su klientais. Tada visas procesas kartojamas.

Šios nauda turėti kopiją Įvairiuose įrenginiuose tinklo delsos sumažinamos arba pašalinamos. Taip pat pašalinamos išlaidos, susijusios su dalijimusi duomenimis su serveriu. Kiti jungtinio mokymosi metodų pranašumai yra tai, kad jungtiniai mokymosi modeliai išsaugomi privatumu, o modelių atsakymai yra pritaikyti įrenginio naudotojui.

Apjungtų mokymosi modelių pavyzdžiai yra rekomendacijų varikliai, sukčiavimo aptikimo modeliai ir medicininiai modeliai. Žiniasklaidos rekomendacijų varikliai, tokie kaip „Netflix“ ar „Amazon“, gali būti apmokyti remiantis duomenimis, surinktais iš tūkstančių vartotojų. Kliento įrenginiai mokytų savo atskirus modelius, o centrinis modelis išmoktų geriau prognozuoti, net jei atskiri duomenų taškai būtų unikalūs skirtingiems vartotojams. Panašiai bankų naudojami sukčiavimo aptikimo modeliai gali būti mokomi pagal veiklos modelius iš daugelio skirtingų įrenginių, o keletas skirtingų bankų galėtų bendradarbiauti kurdami bendrą modelį. Kalbant apie medicinos federacinio mokymosi modelį, kelios ligoninės galėtų susivienyti ir parengti bendrą modelį, kuris galėtų atpažinti galimus navikus atliekant medicininius nuskaitymus.

Federacinio mokymosi tipai

Apjungtos mokymosi schemos paprastai patenka į vieną iš dviejų skirtingų klasių: kelių partijų sistemos ir vienos partijos sistemos. Vienos šalies susietos mokymosi sistemos vadinamos „vienos šalies“, nes tik vienas subjektas yra atsakingas už duomenų fiksavimo ir srauto visuose mokymosi tinkle klientų įrenginiuose priežiūrą. Kliento įrenginiuose esantys modeliai yra mokomi naudojant tos pačios struktūros duomenis, nors duomenų taškai paprastai yra unikalūs įvairiems vartotojams ir įrenginiams.

Priešingai nei vienos partijos sistemos, daugiašales sistemas valdo du ar daugiau subjektų. Šie subjektai bendradarbiauja, kad išmokytų bendrą modelį, naudodami įvairius įrenginius ir duomenų rinkinius, prie kurių jie turi prieigą. Parametrai ir duomenų struktūros paprastai yra panašios visuose įrenginiuose, priklausančiuose keliems objektams, tačiau jie neturi būti visiškai vienodi. Vietoj to atliekamas išankstinis apdorojimas, siekiant standartizuoti modelio įvestis. Neutralus subjektas gali būti naudojamas svoriams, kuriuos nustato unikalūs skirtingiems objektams skirti įrenginiai.

Susijusio mokymosi sistemos

Tarp populiarių sistemų, naudojamų jungtiniam mokymuisi, yra Tensorflow Federated, Federacinė AI technologijos įgalinimo priemonė (FATE)ir PySyft. PySyft yra atvirojo kodo sujungtoji mokymosi biblioteka, pagrįsta giluminio mokymosi biblioteka PyTorch. PySyft skirtas užtikrinti privatų, saugų gilų mokymąsi tarp serverių ir agentų, naudojant šifruotą skaičiavimą. Tuo tarpu „Tensorflow Federated“ yra dar viena atvirojo kodo sistema, sukurta „Google“ Tensorflow platformoje. Be to, kad vartotojai gali kurti savo algoritmus, „Tensorflow Federated“ leidžia vartotojams imituoti daugybę įtrauktų susietų mokymosi algoritmų pagal savo modelius ir duomenis. Galiausiai, FATE taip pat yra atvirojo kodo sistema, kurią sukūrė „Webank AI“, ir ji skirta suteikti Federacinei AI ekosistemai saugią skaičiavimo sistemą.

Susiję mokymosi iššūkiai

Kadangi jungtinis mokymasis vis dar gana besivystantis, nemažai iššūkių dar reikia derėtis, kad būtų išnaudotas visas jos potencialas. Kraštinių įrenginių mokymo galimybės, duomenų ženklinimas ir standartizavimas bei modelių konvergencija yra galimos kliūtys jungtiniam mokymosi metodui.

Kuriant jungtinio mokymosi metodus, reikia atsižvelgti į krašto įrenginių skaičiavimo galimybes, kai kalbama apie vietinį mokymą. Nors dauguma išmaniųjų telefonų, planšetinių kompiuterių ir kitų su daiktų internetu suderinamų įrenginių gali mokyti mašininio mokymosi modelius, tai paprastai trukdo įrenginio veikimui. Reikės daryti kompromisus tarp modelio tikslumo ir įrenginio veikimo.

Duomenų ženklinimas ir standartizavimas yra dar vienas iššūkis, kurį turi įveikti jungtinės mokymosi sistemos. Prižiūrimi mokymosi modeliai reikalauja, kad mokymo duomenys būtų aiškiai ir nuosekliai pažymėti, o tai gali būti sunku atlikti daugelyje klientų įrenginių, kurie yra sistemos dalis. Dėl šios priežasties svarbu sukurti modelių duomenų vamzdynus, kurie automatiškai standartizuotu būdu pritaikytų etiketes pagal įvykius ir vartotojo veiksmus.

Modelio konvergencijos laikas yra dar vienas jungtinio mokymosi iššūkis, nes jungtinio mokymosi modeliai paprastai susilieja ilgiau nei vietoje parengti modeliai. Mokymuose dalyvaujančių įrenginių skaičius prideda nenuspėjamumo modelio mokymui, nes ryšio problemos, nereguliarūs atnaujinimai ir net skirtingas programų naudojimo laikas gali padidinti konvergencijos laiką ir sumažinti patikimumą. Dėl šios priežasties jungtiniai mokymosi sprendimai paprastai yra naudingiausi, kai suteikia reikšmingų pranašumų, palyginti su centralizuotu modelio mokymu, pavyzdžiui, kai duomenų rinkiniai yra labai dideli ir paskirstyti.

Nuotrauka: Jeromemetronome per Wikimedia Commons, CC By SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)