Што е федерално учење?

Што е федерално учење?

Традиционалниот метод за обука на модели со вештачка интелигенција вклучува поставување сервери каде моделите се обучуваат на податоци, често преку употреба на компјутерска платформа базирана на облак. Меѓутоа, во текот на изминатите неколку години се појави алтернативна форма на создавање модел, наречена федеративно учење. Федерирано учење ги носи моделите за машинско учење до изворот на податоци, наместо да ги носи податоците до моделот. Федерираното учење поврзува повеќе компјутерски уреди во децентрализиран систем кој им овозможува на поединечните уреди кои собираат податоци да помогнат во обуката на моделот.

Во федеративниот систем за учење, различните уреди кои се дел од мрежата за учење имаат секој примерок од моделот на уредот. Различните уреди/клиенти тренираат сопствена копија од моделот користејќи ги локалните податоци на клиентот, а потоа параметрите/тежините од поединечните модели се испраќаат до главниот уред или сервер, кој ги собира параметрите и го ажурира глобалниот модел. Овој процес на обука потоа може да се повтори додека не се постигне посакуваното ниво на точност. Накратко, идејата зад федеративно учење е дека ниту еден од податоците за обука никогаш не се пренесува помеѓу уредите или помеѓу страните, туку само ажурирањата поврзани со моделот.

Федерираното учење може да се подели на три различни чекори или фази. Федерираното учење обично започнува со генерички модел кој делува како основна линија и се обучува на централен сервер. Во првиот чекор, овој генерички модел се испраќа до клиентите на апликацијата. Овие локални копии потоа се обучуваат за податоци генерирани од системите на клиентите, учење и подобрување на нивните перформанси.

Во вториот чекор, сите клиенти ги испраќаат своите научени параметри на моделот до централниот сервер. Ова се случува периодично, на одреден распоред.

Во третиот чекор, серверот ги собира научените параметри кога ги прима. Откако ќе се соберат параметрите, централниот модел се ажурира и се споделува уште еднаш со клиентите. Целиот процес потоа се повторува.

на корист од поседување копија на моделот на различни уреди е дека мрежните доцнења се намалуваат или елиминираат. Трошоците поврзани со споделување податоци со серверот се исто така елиминирани. Други придобивки од федеративните методи на учење го вклучуваат фактот дека федеративните модели на учење се зачувани приватноста, а одговорите на моделите се персонализирани за корисникот на уредот.

Примери на федерирани модели за учење вклучуваат мотори за препораки, модели за откривање измами и медицински модели. Моторите за препораки за медиуми, од типот што ги користат Netflix или Amazon, би можеле да бидат обучени за податоци собрани од илјадници корисници. Клиентските уреди би тренирале свои посебни модели и централниот модел би научил да прави подобри предвидувања, иако поединечните точки на податоци би биле единствени за различни корисници. Слично на тоа, моделите за откривање измами што ги користат банките може да се обучат за модели на активност од многу различни уреди, а неколку различни банки би можеле да соработуваат за да обучат заеднички модел. Во однос на медицинскиот федерален модел на учење, повеќе болници би можеле да се здружат за да обучат заеднички модел кој би можел да препознае потенцијални тумори преку медицински скенирања.

Видови на федерално учење

Федерирани шеми за учење обично спаѓаат во една од двете различни класи: повеќепартиски системи и еднопартиски системи. Еднопартиските федерирани системи за учење се нарекуваат „еднострани“ затоа што само еден ентитет е одговорен за надгледување на снимањето и протокот на податоци низ сите клиенти-уреди во мрежата за учење. Моделите што постојат на клиентските уреди се обучени за податоци со иста структура, иако точките за податоци обично се уникатни за различни корисници и уреди.

За разлика од еднопартиските системи, повеќепартиските системи се управувани од два или повеќе ентитети. Овие ентитети соработуваат за да обучат заеднички модел со користење на различни уреди и сетови на податоци до кои имаат пристап. Параметрите и структурите на податоци обично се слични на уредите што припаѓаат на повеќе ентитети, но тие не мора да бидат сосема исти. Наместо тоа, се врши претходна обработка за да се стандардизираат влезовите на моделот. Може да се користи неутрален ентитет за да се соберат тежините утврдени од уредите уникатни за различните ентитети.

Рамки за федерално учење

Популарните рамки што се користат за федеративно учење вклучуваат Федериран тензорфло, Федериран овозможувач на вештачка интелигенција (FATE), и PySyft. PySyft е федерирана библиотека за учење со отворен код базирана на библиотеката за длабоко учење PyTorch. PySyft е наменет да обезбеди приватно, безбедно длабоко учење низ серверите и агентите користејќи шифрирана пресметка. Во меѓувреме, Tensorflow Federated е уште една рамка со отворен код изградена на платформата Tensorflow на Google. Покрај тоа што им овозможува на корисниците да креираат свои алгоритми, Tensorflow Federated им овозможува на корисниците да симулираат голем број вклучени федерирани алгоритми за учење на нивните сопствени модели и податоци. Конечно, FATE е исто така рамка со отворен код дизајнирана од Webank AI и има за цел да му обезбеди на Федералниот екосистем за вештачка интелигенција безбедна компјутерска рамка.

Федерирани предизвици за учење

Бидејќи федеративното учење сè уште е прилично зачеток, голем број на предизвици сè уште треба да се преговара за да го постигне својот целосен потенцијал. Способностите за обука на рабните уреди, етикетирањето и стандардизацијата на податоците и конвергенцијата на моделите се потенцијални пречки за федеративните пристапи за учење.

Пресметковните способности на рабните уреди, кога станува збор за локална обука, треба да се земат предвид при дизајнирање на федерирани пристапи за учење. Додека повеќето паметни телефони, таблети и други уреди компатибилни со IoT се способни да обучуваат модели за машинско учење, ова обично ги попречува перформансите на уредот. Ќе треба да се направат компромиси помеѓу точноста на моделот и перформансите на уредот.

Етикетирањето и стандардизирањето на податоците е уште еден предизвик што мора да го надминат федеративните системи за учење. Моделите за надгледувано учење бараат податоци за обука кои се јасно и доследно означени, што може да биде тешко да се направи кај многуте клиенти-уреди кои се дел од системот. Поради оваа причина, важно е да се развијат цевководи за податоци за модели кои автоматски ги применуваат етикетите на стандардизиран начин врз основа на настани и дејства на корисникот.

Времето на конвергенција на моделот е уште еден предизвик за федеративно учење, бидејќи на моделите за федерално учење обично им треба подолго време за да се спојат отколку на локално обучените модели. Бројот на уреди вклучени во обуката додава елемент на непредвидливост на обуката за моделот, бидејќи проблемите со поврзувањето, нередовните ажурирања, па дури и различните времиња на користење на апликациите можат да придонесат за зголемено време на конвергенција и намалена доверливост. Поради оваа причина, федеративните решенија за учење вообичаено се најкорисни кога обезбедуваат значајни предности во однос на централното обучување на моделот, како што се случаите каде збирките на податоци се исклучително големи и дистрибуирани.

Фото: Jeromemetronome преку Wikimedia Commons, CC By SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)