제휴 학습이란 무엇입니까?

제휴 학습이란 무엇입니까?

AI 모델을 훈련하는 전통적인 방법에는 종종 클라우드 기반 컴퓨팅 플랫폼을 사용하여 모델이 데이터에 대해 훈련되는 서버를 설정하는 것이 포함됩니다. 그러나 지난 몇 년 동안 연합 학습이라는 대안적인 형태의 모델 생성이 등장했습니다. 연합 학습 데이터를 모델로 가져오는 대신 기계 학습 모델을 데이터 소스로 가져옵니다. 연합 학습은 여러 계산 장치를 분산형 시스템으로 연결하여 데이터를 수집하는 개별 장치가 모델 훈련을 지원할 수 있도록 합니다.

연합 학습 시스템에서는 학습 네트워크에 속한 다양한 기기가 각각 기기에 모델 사본을 가지고 있습니다. 각 기기/클라이언트는 클라이언트의 로컬 데이터를 사용하여 자체 모델 사본을 학습하고, 개별 모델의 매개변수/가중치는 마스터 기기 또는 서버로 전송되어 매개변수를 집계하고 글로벌 모델을 업데이트합니다. 이 학습 과정은 원하는 정확도 수준에 도달할 때까지 반복될 수 있습니다. 간단히 말해, 연합 학습의 기본 개념은 학습 데이터가 기기 간 또는 당사자 간에 전송되지 않고, 모델과 관련된 업데이트만 전송된다는 것입니다.

연합 학습은 세 가지 단계로 나눌 수 있습니다. 연합 학습은 일반적으로 기준선 역할을 하고 중앙 서버에서 훈련되는 일반 모델로 시작합니다. 첫 번째 단계에서 이 일반 모델은 애플리케이션의 클라이언트로 전송됩니다. 그런 다음 이러한 로컬 복사본은 클라이언트 시스템에서 생성된 데이터에 대해 교육을 받고 성능을 학습하고 개선합니다.

두 번째 단계에서 클라이언트는 모두 학습된 모델 매개변수를 중앙 서버로 보냅니다. 이것은 정해진 일정에 따라 주기적으로 발생합니다.

세 번째 단계에서 서버는 학습된 매개변수를 수신할 때 집계합니다. 매개변수가 집계된 후 중앙 모델이 업데이트되고 클라이언트와 다시 한 번 공유됩니다. 그런 다음 전체 프로세스가 반복됩니다.

The 사본의 이점 다양한 장치에 대한 모델의 특징은 네트워크 대기 시간이 줄거나 제거된다는 것입니다. 서버와 데이터를 공유하는 것과 관련된 비용도 제거됩니다. 연합 학습 방법의 다른 이점으로는 연합 학습 모델이 프라이버시가 보호되고 모델 응답이 장치 사용자를 위해 개인화된다는 사실이 있습니다.

연합 학습 모델의 예로는 추천 엔진, 사기 탐지 모델 및 의료 모델이 있습니다. Netflix 또는 Amazon에서 사용하는 유형의 미디어 추천 엔진은 수천 명의 사용자로부터 수집한 데이터로 학습할 수 있습니다. 개별 데이터 포인트가 다른 사용자에게 고유하더라도 클라이언트 장치는 별도의 자체 모델을 교육하고 중앙 모델은 더 나은 예측을 수행하는 방법을 학습합니다. 마찬가지로 은행에서 사용하는 사기 탐지 모델은 다양한 장치의 활동 패턴에 대해 교육을 받을 수 있으며 소수의 다른 은행이 공통 모델을 교육하기 위해 협력할 수 있습니다. 의료 연합 학습 모델 측면에서 여러 병원이 팀을 이루어 의료 스캔을 통해 잠재적인 종양을 인식할 수 있는 공통 모델을 교육할 수 있습니다.

제휴 학습의 유형

제휴 학습 스키마 일반적으로 두 가지 클래스 중 하나에 속합니다.: 다당제와 일당제. 단일 당사자 연합 학습 시스템은 단일 엔티티만이 학습 네트워크의 모든 클라이언트 장치에서 데이터 캡처 및 흐름을 감독할 책임이 있기 때문에 "단일 당사자"라고 합니다. 클라이언트 장치에 존재하는 모델은 동일한 구조의 데이터에 대해 훈련되지만 데이터 포인트는 일반적으로 다양한 사용자 및 장치에 고유합니다.

단일 당사자 시스템과 달리 다중 당사자 시스템은 둘 이상의 엔터티가 관리합니다. 이러한 엔터티는 액세스할 수 있는 다양한 장치와 데이터 세트를 활용하여 공유 모델을 교육하기 위해 협력합니다. 매개 변수와 데이터 구조는 일반적으로 여러 엔터티에 속하는 장치에서 유사하지만 정확히 동일할 필요는 없습니다. 대신 모델의 입력을 표준화하기 위해 사전 처리가 수행됩니다. 서로 다른 개체에 고유한 장치에 의해 설정된 가중치를 집계하기 위해 중립 개체가 사용될 수 있습니다.

제휴 학습을 위한 프레임워크

연합 학습에 사용되는 인기 있는 프레임워크는 다음과 같습니다. 텐서플로 연합, 연합 AI 기술 인에이블러(FATE)및 파이 시프트. PySyft는 딥 러닝 라이브러리인 PyTorch를 기반으로 하는 오픈 소스 연합 학습 라이브러리입니다. PySyft는 암호화된 계산을 사용하여 서버와 에이전트에서 개인적이고 안전한 딥 러닝을 보장하기 위한 것입니다. 한편 Tensorflow Federated는 Google의 Tensorflow 플랫폼에 구축된 또 다른 오픈 소스 프레임워크입니다. Tensorflow Federated는 사용자가 자신의 알고리즘을 만들 수 있도록 하는 것 외에도 사용자가 자신의 모델과 데이터에 포함된 여러 제휴 학습 알고리즘을 시뮬레이션할 수 있도록 합니다. 마지막으로 FATE는 Webank AI가 설계한 오픈 소스 프레임워크이기도 하며 Federated AI 에코시스템에 안전한 컴퓨팅 프레임워크를 제공하기 위한 것입니다.

제휴 학습 과제

연합 학습은 아직 초기 단계이므로 여러 가지 도전 잠재력을 최대한 발휘하려면 여전히 협상이 필요합니다. 에지 장치의 교육 기능, 데이터 레이블 지정 및 표준화, 모델 융합은 연합 학습 접근 방식의 잠재적 장애물입니다.

연합 학습 접근 방식을 설계할 때 로컬 교육과 관련하여 에지 장치의 계산 능력을 고려해야 합니다. 대부분의 스마트폰, 태블릿 및 기타 IoT 호환 장치는 기계 학습 모델을 교육할 수 있지만 일반적으로 장치의 성능을 저하시킵니다. 모델 정확도와 장치 성능 간에 타협이 이루어져야 합니다.

데이터 레이블 지정 및 표준화는 연합 학습 시스템이 극복해야 하는 또 다른 과제입니다. 감독 학습 모델에는 명확하고 일관되게 레이블이 지정된 교육 데이터가 필요하며 시스템의 일부인 많은 클라이언트 장치에서 수행하기 어려울 수 있습니다. 이러한 이유로 이벤트 및 사용자 작업을 기반으로 표준화된 방식으로 레이블을 자동으로 적용하는 모델 데이터 파이프라인을 개발하는 것이 중요합니다.

연합 학습 모델은 일반적으로 로컬에서 훈련된 모델보다 수렴하는 데 더 오래 걸리므로 모델 수렴 시간은 연합 학습의 또 다른 과제입니다. 훈련에 관련된 장치의 수는 연결 문제, 불규칙한 업데이트 및 다른 응용 프로그램 사용 시간조차도 수렴 시간 증가 및 안정성 감소에 기여할 수 있으므로 모델 훈련에 예측 불가능한 요소를 추가합니다. 이러한 이유로 연합 학습 솔루션은 일반적으로 데이터 세트가 매우 크고 분산된 인스턴스와 같이 모델을 중앙에서 교육하는 것보다 의미 있는 이점을 제공할 때 가장 유용합니다.

사진: Wikimedia Commons를 통한 Jeromemetronome, CC By SA 4.0(https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)