Какво е федеративно обучение?

Какво е федеративно обучение?

Традиционният метод за обучение на AI модели включва настройка на сървъри, където моделите се обучават на данни, често чрез използването на облачна изчислителна платформа. През последните няколко години обаче се появи алтернативна форма на създаване на модел, наречена федеративно обучение. Федерално обучение пренася модели за машинно обучение към източника на данни, вместо да пренася данните към модела. Обединеното обучение свързва множество изчислителни устройства в децентрализирана система, която позволява на отделните устройства, които събират данни, да подпомагат обучението на модела.

В система за обединено обучение, всяко от различните устройства, които са част от мрежата за обучение, има копие на модела на устройството. Различните устройства/клиенти обучават собствено копие на модела като се използват локалните данни на клиента и след това параметрите/теглата от отделните модели се изпращат до главно устройство или сървър, който агрегира параметрите и актуализира глобалния модел. След това този процес на обучение може да се повтори, докато се постигне желаното ниво на точност. Накратко, идеята зад федеративното обучение е, че нито една от данните за обучение не се предава между устройства или между страни, а само актуализациите, свързани с модела.

Обединеното обучение може да бъде разделено на три различни стъпки или фази. Обединеното обучение обикновено започва с общ модел, който действа като базова линия и се обучава на централен сървър. В първата стъпка този общ модел се изпраща на клиентите на приложението. След това тези локални копия се обучават върху данни, генерирани от клиентските системи, като се учат и подобряват тяхната производителност.

Във втората стъпка всички клиенти изпращат своите научени параметри на модела до централния сървър. Това се случва периодично, по определен график.

В третата стъпка сървърът агрегира научените параметри, когато ги получи. След като параметрите се агрегират, централният модел се актуализира и споделя още веднъж с клиентите. След това целият процес се повтаря.

- полза от наличието на копие на модела на различните устройства е, че мрежовите закъснения са намалени или елиминирани. Разходите, свързани със споделянето на данни със сървъра, също се елиминират. Други предимства на методите за обединено обучение включват факта, че моделите за обединено обучение са запазени поверителността и отговорите на модела са персонализирани за потребителя на устройството.

Примери за обединени модели на обучение включват двигатели за препоръки, модели за откриване на измами и медицински модели. Механизмите за медийни препоръки, от типа, използван от Netflix или Amazon, могат да бъдат обучени на данни, събрани от хиляди потребители. Клиентските устройства ще обучават свои собствени отделни модели и централният модел ще се научи да прави по-добри прогнози, въпреки че отделните точки от данни ще бъдат уникални за различните потребители. По същия начин моделите за откриване на измами, използвани от банките, могат да бъдат обучени на модели на дейност от много различни устройства и няколко различни банки биха могли да си сътрудничат, за да обучат общ модел. По отношение на модела на обединено медицинско обучение, множество болници биха могли да се обединят, за да обучат общ модел, който може да разпознава потенциални тумори чрез медицински сканирания.

Видове федеративно обучение

Обединени схеми за обучение обикновено попадат в един от два различни класа: многопартийни системи и еднопартийни системи. Едностранните обединени системи за обучение се наричат ​​„едностранни“, защото само един субект е отговорен за надзора на улавянето и потока на данни през всички клиентски устройства в мрежата за обучение. Моделите, които съществуват на клиентските устройства, се обучават на данни със същата структура, въпреки че точките от данни обикновено са уникални за различните потребители и устройства.

За разлика от еднопартийните системи, многопартийните системи се управляват от два или повече субекта. Тези субекти си сътрудничат, за да обучат споделен модел, като използват различните устройства и набори от данни, до които имат достъп. Параметрите и структурите на данни обикновено са сходни за устройствата, принадлежащи към множеството обекти, но не е задължително да са абсолютно еднакви. Вместо това се извършва предварителна обработка за стандартизиране на входовете на модела. Неутрален обект може да бъде използван за агрегиране на теглата, установени от устройствата, уникални за различните обекти.

Рамки за федеративно обучение

Популярните рамки, използвани за обединено обучение, включват Tensorflow Федеративен, Federated AI Technology Enabler (FATE), и PySyft. PySyft е обединена библиотека за обучение с отворен код, базирана на библиотеката за дълбоко обучение PyTorch. PySyft е предназначен да осигури лично, сигурно задълбочено обучение между сървъри и агенти, използващи криптирани изчисления. Междувременно Tensorflow Federated е друга рамка с отворен код, изградена върху платформата Tensorflow на Google. В допълнение към възможността на потребителите да създават свои собствени алгоритми, Tensorflow Federated позволява на потребителите да симулират редица включени обединени алгоритми за обучение върху свои собствени модели и данни. И накрая, FATE също е рамка с отворен код, проектирана от Webank AI, и има за цел да предостави на Федеративната AI екосистема сигурна компютърна рамка.

Предизвикателства за обединено обучение

Тъй като федеративното обучение е все още в доста зараждащ се период, редица предизвикателства все още трябва да бъдат договорени, за да постигне пълния си потенциал. Възможностите за обучение на крайните устройства, етикетирането и стандартизацията на данни и конвергенцията на моделите са потенциални пречки за подходите за обединено обучение.

Изчислителните способности на крайните устройства, когато става въпрос за локално обучение, трябва да се вземат предвид при проектирането на подходи за обединено обучение. Докато повечето смартфони, таблети и други устройства, съвместими с IoT, могат да обучават модели за машинно обучение, това обикновено възпрепятства производителността на устройството. Ще трябва да се направят компромиси между точността на модела и производителността на устройството.

Етикетирането и стандартизирането на данни е друго предизвикателство, което системите за обединено обучение трябва да преодолеят. Моделите за контролирано обучение изискват данни за обучение, които са ясно и последователно етикетирани, което може да бъде трудно да се направи в многото клиентски устройства, които са част от системата. Поради тази причина е важно да се разработят моделни канали за данни, които автоматично прилагат етикети по стандартизиран начин въз основа на събития и потребителски действия.

Времето за сближаване на модела е друго предизвикателство за обединеното обучение, тъй като моделите за обединено обучение обикновено отнемат повече време за сближаване от моделите с локално обучение. Броят на устройствата, включени в обучението, добавя елемент на непредсказуемост към обучението на модела, тъй като проблеми с връзката, нередовни актуализации и дори различни времена на използване на приложения могат да допринесат за увеличено време за конвергенция и намалена надеждност. Поради тази причина решенията за обединено обучение обикновено са най-полезни, когато предоставят значими предимства пред централното обучение на модел, като например случаи, когато наборите от данни са изключително големи и разпределени.

Снимка: Jeromemetronome чрез Wikimedia Commons, CC By SA 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)