Шта је федерално учење?

Шта је федерално учење?

Традиционални метод обуке АИ модела укључује постављање сервера на којима се модели обучавају на подацима, често коришћењем рачунарске платформе засноване на облаку. Међутим, у последњих неколико година појавио се алтернативни облик креирања модела, који се зове федерално учење. Федерално учење доноси моделе машинског учења извору података, уместо да доводи податке у модел. Федерално учење повезује више рачунарских уређаја у децентрализовани систем који омогућава појединачним уређајима који прикупљају податке да помогну у обучавању модела.

У федералном систему учења, различити уређаји који су део мреже за учење имају копију модела на уређају. Различити уређаји/клијенти обуче сопствену копију модела користећи локалне податке клијента, а затим се параметри/тежине из појединачних модела шаљу главном уређају или серверу, који агрегира параметре и ажурира глобални модел. Овај процес обуке се затим може понављати све док се не постигне жељени ниво тачности. Укратко, идеја која стоји иза федералног учења је да се ниједан од података о обуци никада не преноси између уређаја или између страна, већ само ажурирања везана за модел.

Федеративно учење се може поделити на три различита корака или фазе. Федерално учење обично почиње са генеричким моделом који делује као основа и који се обучава на централном серверу. У првом кораку, овај генерички модел се шаље клијентима апликације. Ове локалне копије се затим обучавају на подацима које генерише клијентски систем, учећи и побољшавајући њихов учинак.

У другом кораку, сви клијенти шаљу своје научене параметре модела на централни сервер. Ово се дешава периодично, по одређеном распореду.

У трећем кораку, сервер агрегира научене параметре када их прими. Након што су параметри агрегирани, централни модел се ажурира и још једном дели са клијентима. Тада се цео процес понавља.

корист од поседовања копије модела на различитим уређајима је да су кашњења мреже смањена или елиминисана. Трошкови повезани са дељењем података са сервером су такође елиминисани. Остале предности метода федералног учења укључују чињеницу да су модели федералног учења очувани приватност, а одговори модела су персонализовани за корисника уређаја.

Примери модела удруженог учења укључују машине за препоруке, моделе за откривање превара и медицинске моделе. Механизми за медијске препоруке, типа који користе Нетфлик или Амазон, могли би се обучити на подацима прикупљеним од хиљада корисника. Клијентски уређаји би обучавали сопствене засебне моделе, а централни модел би научио да прави боља предвиђања, иако би појединачне тачке података биле јединствене за различите кориснике. Слично томе, модели откривања превара које користе банке могу се обучити на обрасцима активности са много различитих уређаја, а неколицина различитих банака би могла да сарађује како би обучила заједнички модел. Што се тиче медицинског федералног модела учења, више болница би се могло удружити како би обучило заједнички модел који би могао препознати потенцијалне туморе путем медицинских скенирања.

Типови федералног учења

Шеме федералног учења обично спадају у једну од две различите класе: вишепартијски системи и једнопартијски системи. Једнопартијски федерални системи за учење се називају „сингле-парти“ јер је само један ентитет одговоран за надгледање прикупљања и протока података на свим клијентским уређајима у мрежи за учење. Модели који постоје на клијентским уређајима обучени су за податке са истом структуром, иако су тачке података обично јединствене за различите кориснике и уређаје.

За разлику од једнопартијских система, вишепартијским системима управљају два или више ентитета. Ови ентитети сарађују како би обучили заједнички модел користећи различите уређаје и скупове података којима имају приступ. Параметри и структуре података су обично слични на свим уређајима који припадају више ентитета, али не морају бити потпуно исти. Уместо тога, врши се претходна обрада да би се стандардизовали улази модела. Неутрални ентитет се може користити за агрегирање тежина које су успоставили уређаји јединствени за различите ентитете.

Оквири за федерално учење

Популарни оквири који се користе за удружено учење укључују Тенсорфлов Федератед, Федератед АИ Тецхнологи Енаблер (ФАТЕ), и ПиСифт. ПиСифт је библиотека отвореног кода за федерално учење заснована на библиотеци дубоког учења ПиТорцх. ПиСифт је намењен да обезбеди приватно, безбедно дубоко учење преко сервера и агената који користе шифровано рачунање. У међувремену, Тенсорфлов Федератед је још један оквир отвореног кода изграђен на Гоогле-овој Тенсорфлов платформи. Поред омогућавања корисницима да креирају сопствене алгоритме, Тенсорфлов Федератед омогућава корисницима да симулирају велики број укључених алгоритама федералног учења на сопственим моделима и подацима. Коначно, ФАТЕ је такође оквир отвореног кода који је дизајнирао Вебанк АИ, а намењен је да обезбеди екосистему Федератед АИ безбедан рачунарски оквир.

Изазови федералног учења

Како је удружено учење још увек у поприличном настајању, низ изазова треба још преговарати како би остварио свој пуни потенцијал. Могућности обуке рубних уређаја, означавање података и стандардизација и конвергенција модела су потенцијалне препреке за приступе федералног учења.

Рачунске способности рубних уређаја, када је у питању локална обука, треба узети у обзир приликом дизајнирања приступа удруженог учења. Док већина паметних телефона, таблета и других ИоТ компатибилних уређаја може да обучи моделе машинског учења, то обично омета перформансе уређаја. Мораће се направити компромис између тачности модела и перформанси уређаја.

Означавање и стандардизација података је још један изазов који федерални системи учења морају превазићи. Модели учења под надзором захтевају податке о обуци који су јасно и доследно означени, што може бити тешко урадити на многим клијентским уређајима који су део система. Из тог разлога, важно је развити модел цевовода података који аутоматски примењују ознаке на стандардизован начин на основу догађаја и радњи корисника.

Време конвергенције модела је још један изазов за удружено учење, пошто је моделима федералног учења обично потребно више времена да се конвергирају од локално обучених модела. Број уређаја укључених у обуку додаје елемент непредвидивости обуци модела, јер проблеми са везом, нередовна ажурирања, па чак и различита времена употребе апликација могу допринети повећању времена конвергенције и смањеној поузданости. Из тог разлога, решења за удружено учење су обично најкориснија када пружају значајне предности у односу на централно обучавање модела, као што су случајеви у којима су скупови података изузетно велики и дистрибуирани.

Фотографија: Јеромеметроном преко Викимедиа Цоммонс, ЦЦ Би СА 4.0 (хттпс://ен.википедиа.орг/вики/Филе:Федератед_леарнинг_процесс_централ_цасе.пнг)