X'inhu Tagħlim Federat?

X'inhu Tagħlim Federat?

Il-metodu tradizzjonali tat-taħriġ tal-mudelli tal-IA jinvolvi t-twaqqif ta’ servers fejn il-mudelli jiġu mħarrġa fuq id-dejta, ħafna drabi permezz tal-użu ta’ pjattaforma tal-kompjuters ibbażata fuq il-cloud. Madankollu, matul l-aħħar ftit snin qamet forma alternattiva ta’ ħolqien ta’ mudell, imsejħa tagħlim federat. Tagħlim federat iġib mudelli ta 'tagħlim tal-magni għas-sors tad-dejta, aktar milli jġib id-dejta għall-mudell. It-tagħlim federat jgħaqqad flimkien apparati komputazzjonali multipli f'sistema deċentralizzata li tippermetti lill-apparati individwali li jiġbru d-dejta biex jgħinu fit-taħriġ tal-mudell.

F'sistema ta' tagħlim federat, id-diversi apparati li huma parti min-netwerk tat-tagħlim għandhom kull wieħed kopja tal-mudell fuq l-apparat. L-apparati/klijenti differenti iħarrġu l-kopja tagħhom stess tal-mudell bl-użu tad-dejta lokali tal-klijent, u mbagħad il-parametri/piżijiet mill-mudelli individwali jintbagħtu lil apparat ewlieni, jew server, li jaggrega l-parametri u jaġġorna l-mudell globali. Dan il-proċess ta' taħriġ jista' mbagħad jiġi ripetut sakemm jintlaħaq livell mixtieq ta' preċiżjoni. Fil-qosor, l-idea wara t-tagħlim federat hija li l-ebda dejta tat-taħriġ qatt ma tiġi trażmessa bejn apparati jew bejn partijiet, huma biss l-aġġornamenti relatati mal-mudell.

It-tagħlim federat jista' jinqasam fi tliet stadji jew fażijiet differenti. It-tagħlim federat tipikament jibda b'mudell ġeneriku li jaġixxi bħala linja bażi u huwa mħarreġ fuq server ċentrali. Fl-ewwel pass, dan il-mudell ġeneriku jintbagħat lill-klijenti tal-applikazzjoni. Dawn il-kopji lokali mbagħad jiġu mħarrġa fuq data ġġenerata mis-sistemi tal-klijenti, biex jitgħallmu u jtejbu l-prestazzjoni tagħhom.

Fit-tieni pass, il-klijenti kollha jibagħtu l-parametri tal-mudell tgħallmu tagħhom lis-server ċentrali. Dan jiġri perjodikament, fuq skeda stabbilita.

Fit-tielet pass, is-server jaggrega l-parametri mgħallma meta jirċevihom. Wara li l-parametri jiġu aggregati, il-mudell ċentrali jiġi aġġornat u maqsum għal darb'oħra mal-klijenti. Il-proċess kollu mbagħad jirrepeti.

il benefiċċju li jkollok kopja tal-mudell fuq il-mezzi varji huwa li latencies tan-netwerk huma mnaqqsa jew eliminati. L-ispejjeż assoċjati mal-qsim tad-dejta mas-server huma eliminati wkoll. Benefiċċji oħra tal-metodi tat-tagħlim federat jinkludu l-fatt li l-mudelli tat-tagħlim federat huma ppreservati l-privatezza, u r-risponsi tal-mudelli huma personalizzati għall-utent tal-apparat.

Eżempji ta' mudelli ta' tagħlim federat jinkludu magni ta' rakkomandazzjoni, mudelli ta' skoperta ta' frodi, u mudelli mediċi. Magni ta 'rakkomandazzjoni tal-midja, tat-tip użati minn Netflix jew Amazon, jistgħu jiġu mħarrġa fuq data miġbura minn eluf ta' utenti. L-apparati tal-klijenti jħarrġu l-mudelli separati tagħhom stess u l-mudell ċentrali jitgħallem jagħmel previżjonijiet aħjar, anke jekk il-punti tad-dejta individwali jkunu uniċi għall-utenti differenti. Bl-istess mod, mudelli ta’ skoperta ta’ frodi użati mill-banek jistgħu jiġu mħarrġa fuq mudelli ta’ attività minn ħafna apparati differenti, u numru żgħir ta’ banek differenti jistgħu jikkollaboraw biex iħarrġu mudell komuni. F'termini ta 'mudell ta' tagħlim federat mediku, sptarijiet multipli jistgħu jingħaqdu biex iħarrġu mudell komuni li jista 'jirrikonoxxi tumuri potenzjali permezz ta' skans mediċi.

Tipi ta' Tagħlim Federat

Skemi ta' tagħlim federati tipikament jaqgħu f'waħda minn żewġ klassijiet differenti: sistemi b'ħafna partiti u sistemi b'parti waħda. Is-sistemi ta’ tagħlim federat ta’ parti waħda jissejħu “parti waħda” għaliex entità waħda biss hija responsabbli biex tissorvelja l-qbid u l-fluss tad-dejta fl-apparati kollha tal-klijenti fin-netwerk tat-tagħlim. Il-mudelli li jeżistu fuq it-tagħmir tal-klijenti huma mħarrġa fuq data bl-istess struttura, għalkemm il-punti tad-data huma tipikament uniċi għad-diversi utenti u apparati.

B'kuntrast mas-sistemi b'parti waħda, is-sistemi b'ħafna parti huma ġestiti minn żewġ entitajiet jew aktar. Dawn l-entitajiet jikkooperaw biex iħarrġu mudell kondiviż billi jużaw id-diversi apparati u settijiet tad-dejta li għandhom aċċess għalihom. Il-parametri u l-istrutturi tad-dejta huma tipikament simili madwar l-apparati li jappartjenu għall-entitajiet multipli, iżda m'għandhomx għalfejn ikunu eżattament l-istess. Minflok, isir ipproċessar minn qabel biex jiġu standardizzati l-inputs tal-mudell. Entità newtrali tista' tiġi impjegata biex taggrega l-piżijiet stabbiliti mill-apparat uniku għall-entitajiet differenti.

Oqfsa għat-Tagħlim Federat

Oqfsa popolari użati għat-tagħlim federat jinkludu Tensorflow Federated, Federated AI Technology Enabler (FATE), u PySyft. PySyft hija librerija ta' tagħlim federat ta' sors miftuħ ibbażata fuq il-librerija ta' tagħlim profond PyTorch. PySyft huwa maħsub biex jiżgura tagħlim fil-fond privat u sikur bejn is-servers u l-aġenti li jużaw komputazzjoni kriptata. Sadanittant, Tensorflow Federated huwa qafas ieħor ta 'sors miftuħ mibni fuq il-pjattaforma Tensorflow ta' Google. Minbarra li jippermetti lill-utenti joħolqu l-algoritmi tagħhom stess, Tensorflow Federated jippermetti lill-utenti jissimulaw numru ta 'algoritmi ta' tagħlim federat inklużi fuq il-mudelli u d-dejta tagħhom stess. Fl-aħħarnett, FATE huwa wkoll qafas ta 'sors miftuħ iddisinjat minn Webank AI, u huwa maħsub biex jipprovdi lill-ekosistema AI Federata b'qafas ta' kompjuters sigur.

Sfidi ta' Tagħlim Federat

Billi t-tagħlim federat għadu pjuttost imwieled, numru ta’ sfidi għad iridu jiġu nnegozjati sabiex tikseb il-potenzjal sħiħ tagħha. Il-kapaċitajiet tat-taħriġ tal-apparati tat-tarf, it-tikkettar u l-istandardizzazzjoni tad-dejta, u l-konverġenza tal-mudelli huma ostakli potenzjali għal approċċi ta 'tagħlim federat.

L-abbiltajiet komputazzjonali tal-apparati tat-tarf, meta niġu għat-taħriġ lokali, jeħtieġ li jiġu kkunsidrati meta jitfasslu approċċi ta 'tagħlim federat. Filwaqt li l-biċċa l-kbira tal-ismartphones, it-tablets, u apparat ieħor kompatibbli IoT huma kapaċi jħarrġu mudelli ta 'tagħlim tal-magni, dan tipikament ifixkel il-prestazzjoni tal-apparat. Se jkollhom isiru kompromessi bejn l-eżattezza tal-mudell u l-prestazzjoni tal-apparat.

It-tikkettar u l-istandardizzazzjoni tad-dejta huma sfida oħra li s-sistemi ta' tagħlim federat iridu jegħlbu. Mudelli ta’ tagħlim sorveljat jeħtieġu data ta’ taħriġ li tkun ittikkettata b’mod ċar u konsistenti, li jista’ jkun diffiċli li jsir fil-ħafna apparati tal-klijenti li huma parti mis-sistema. Għal din ir-raġuni, huwa importanti li jiġu żviluppati pipelines tad-dejta mudell li awtomatikament japplikaw tikketti b'mod standardizzat ibbażat fuq avvenimenti u azzjonijiet tal-utent.

Il-ħin tal-konverġenza tal-mudell huwa sfida oħra għat-tagħlim federat, peress li l-mudelli tat-tagħlim federat tipikament jieħdu aktar żmien biex jikkonverġu minn mudelli mħarrġa lokalment. In-numru ta 'apparati involuti fit-taħriġ iżid element ta' imprevedibbiltà mat-taħriġ tal-mudell, peress li kwistjonijiet ta 'konnessjoni, aġġornamenti irregolari, u anke ħinijiet ta' użu ta 'applikazzjoni differenti jistgħu jikkontribwixxu għal ħin ta' konverġenza akbar u affidabilità mnaqqsa. Għal din ir-raġuni, is-soluzzjonijiet tat-tagħlim federat huma tipikament l-aktar utli meta jipprovdu vantaġġi sinifikanti fuq it-taħriġ ċentrali ta' mudell, bħal każijiet fejn settijiet ta' dejta huma estremament kbar u mqassma.

Ritratt: Jeromemetronome permezz tal-Wikimedia Commons, CC By SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)