Co je to federované učení?

Co je to federované učení?

Tradiční metoda trénování modelů umělé inteligence zahrnuje nastavení serverů, kde jsou modely trénovány na datech, často pomocí cloudové výpočetní platformy. V posledních několika letech se však objevila alternativní forma vytváření modelů, nazývaná federované učení. Federované učení přináší modely strojového učení ke zdroji dat, místo aby data přinášela do modelu. Federované učení spojuje více výpočetních zařízení do decentralizovaného systému, který umožňuje jednotlivým zařízením, která shromažďují data, pomáhat při trénování modelu.

Ve federovaném výukovém systému mají různá zařízení, která jsou součástí výukové sítě, kopii modelu na zařízení. Různá zařízení/klienti trénují svou vlastní kopii modelu pomocí lokálních dat klienta a poté jsou parametry/váhy z jednotlivých modelů odeslány do hlavního zařízení nebo serveru, který agreguje parametry a aktualizuje globální model. Tento tréninkový proces lze poté opakovat, dokud není dosaženo požadované úrovně přesnosti. Stručně řečeno, myšlenka federovaného učení spočívá v tom, že žádná z trénovacích dat se nikdy nepřenáší mezi zařízeními nebo mezi stranami, ale pouze aktualizace související s modelem.

Federované učení lze rozdělit do tří různých kroků nebo fází. Federované učení obvykle začíná obecným modelem, který funguje jako základní linie a je trénován na centrálním serveru. V prvním kroku je tento generický model odeslán klientům aplikace. Tyto místní kopie jsou pak trénovány na datech generovaných klientskými systémy, učí se a zlepšují jejich výkon.

Ve druhém kroku všichni klienti pošlou své naučené parametry modelu na centrální server. To se děje pravidelně, podle stanoveného plánu.

Ve třetím kroku server agreguje naučené parametry, když je obdrží. Po agregaci parametrů je centrální model aktualizován a znovu sdílen s klienty. Celý proces se pak opakuje.

Jedno výhodu mít kopii modelu na různých zařízeních je, že latence sítě jsou sníženy nebo eliminovány. Odpadají také náklady spojené se sdílením dat se serverem. Mezi další výhody metod federovaného učení patří skutečnost, že modely federovaného učení jsou chráněny soukromím a odpovědi modelu jsou přizpůsobeny pro uživatele zařízení.

Příklady modelů federovaného učení zahrnují nástroje doporučení, modely detekce podvodů a lékařské modely. Nástroje pro doporučení médií typu používaného Netflixem nebo Amazonem by mohly být trénovány na datech shromážděných od tisíců uživatelů. Klientská zařízení by trénovala své vlastní samostatné modely a centrální model by se naučil dělat lepší predikce, i když by jednotlivé datové body byly pro různé uživatele jedinečné. Podobně lze modely odhalování podvodů používané bankami trénovat na vzorcích činnosti z mnoha různých zařízení a hrstka různých bank by mohla spolupracovat na trénování společného modelu. Pokud jde o model lékařského federovaného učení, více nemocnic by se mohlo spojit a trénovat společný model, který by dokázal rozpoznat potenciální nádory prostřednictvím lékařských skenů.

Typy federovaného učení

Federovaná výuková schémata obvykle spadají do jedné ze dvou různých tříd: systémy s více stranami a systémy s jednou stranou. Jednostranné federované výukové systémy se nazývají „jednostranné“, protože pouze jedna entita je zodpovědná za dohled nad zachycováním a tokem dat napříč všemi klientskými zařízeními ve výukové síti. Modely, které existují na klientských zařízeních, jsou trénovány na datech se stejnou strukturou, ačkoli datové body jsou typicky jedinečné pro různé uživatele a zařízení.

Na rozdíl od systémů s jednou stranou jsou systémy s více stranami spravovány dvěma nebo více subjekty. Tyto entity spolupracují na trénování sdíleného modelu pomocí různých zařízení a datových sad, ke kterým mají přístup. Parametry a datové struktury jsou typicky podobné napříč zařízeními, která patří k více entitám, ale nemusí být úplně stejné. Místo toho se provádí předběžné zpracování, aby se standardizovaly vstupy modelu. K agregaci vah stanovených zařízeními jedinečnými pro různé entity může být použita neutrální entita.

Rámce pro federované učení

Mezi oblíbené rámce používané pro federované učení patří Tensorflow Federated, Federated AI Technology Enabler (FATE), a PySyft. PySyft je open-source federovaná výuková knihovna založená na hluboké výukové knihovně PyTorch. PySyft je určen k zajištění soukromého, bezpečného hlubokého učení napříč servery a agenty pomocí šifrovaných výpočtů. Mezitím Tensorflow Federated je další open-source framework postavený na platformě Tensorflow společnosti Google. Kromě toho, že uživatelům umožňuje vytvářet vlastní algoritmy, Tensorflow Federated umožňuje uživatelům simulovat řadu zahrnutých federovaných výukových algoritmů na jejich vlastních modelech a datech. A konečně, FATE je také open-source framework navržený Webank AI a jeho cílem je poskytnout ekosystému Federated AI bezpečný výpočetní rámec.

Federované vzdělávací výzvy

Vzhledem k tomu, že federované učení je stále poměrně rodící se řadu výzev musí být ještě vyjednáno, aby mohl plně využít svůj potenciál. Tréninkové schopnosti okrajových zařízení, označování dat a standardizace a konvergence modelů představují potenciální překážky pro federované vzdělávací přístupy.

Výpočetní schopnosti okrajových zařízení, pokud jde o místní školení, je třeba vzít v úvahu při navrhování přístupů federovaného učení. Zatímco většina smartphonů, tabletů a dalších zařízení kompatibilních s IoT je schopna trénovat modely strojového učení, obvykle to omezuje výkon zařízení. Mezi přesností modelu a výkonem zařízení bude nutné udělat kompromisy.

Označování a standardizace dat je další výzvou, kterou musí federované výukové systémy překonat. Modely učení pod dohledem vyžadují tréninková data, která jsou jasně a konzistentně označena, což může být obtížné na mnoha klientských zařízeních, která jsou součástí systému. Z tohoto důvodu je důležité vyvinout modelové datové kanály, které automaticky aplikují štítky standardizovaným způsobem na základě událostí a akcí uživatele.

Doba konvergence modelu je další výzvou pro federované učení, protože konvergence federovaných modelů učení obvykle trvá déle než místně trénované modely. Počet zařízení zapojených do školení přidává do školení modelu prvek nepředvídatelnosti, protože problémy s připojením, nepravidelné aktualizace a dokonce různé doby používání aplikací mohou přispět ke zvýšení doby konvergence a snížení spolehlivosti. Z tohoto důvodu jsou řešení federovaného učení obvykle nejužitečnější, když poskytují smysluplné výhody oproti centrálnímu trénování modelu, jako jsou případy, kdy jsou datové sady extrémně velké a distribuované.

Foto: Jeromemetronome přes Wikimedia Commons, CC By SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)