AI 101
퓨샷 러닝이란 무엇입니까?
퓨샷 학습(Few-shot learning)이란 아주 적은 양의 훈련 데이터를 이용해 AI 모델을 개발하는 데 사용되는 다양한 알고리즘과 기법을 말한다. 퓨샷 학습은 AI 모델이 비교적 적은 수의 훈련 인스턴스에 노출된 후 새로운 데이터를 인식하고 분류할 수 있도록 노력합니다. 퓨샷 훈련은 일반적으로 많은 양의 훈련 데이터가 사용되는 전통적인 기계 학습 모델 훈련 방법과 대조됩니다. 퓨샷 학습이란 주로 컴퓨터 비전에 사용됩니다.
퓨샷 학습에 대한 더 나은 직관력을 개발하기 위해 개념을 더 자세히 살펴보겠습니다. 우리는 퓨샷 학습의 동기와 개념을 살펴보고 다양한 유형의 퓨샷 학습을 살펴보고 높은 수준에서 퓨샷 학습에 사용되는 일부 모델을 다룰 것입니다. 마지막으로 퓨샷 학습을 위한 몇 가지 응용 프로그램을 살펴보겠습니다.
퓨샷 학습이란 무엇입니까?
"Few-shot learning"은 기계 학습 모델을 교육하는 방법을 설명합니다. 최소한의 데이터로. 일반적으로 기계 학습 모델은 대량의 데이터에 대해 훈련되며 클수록 좋습니다. 그러나 퓨샷 학습은 몇 가지 다른 이유로 중요한 기계 학습 개념입니다.
퓨샷 학습을 사용하는 한 가지 이유는 기계 학습 모델을 교육하는 데 필요한 데이터의 양을 크게 줄일 수 있어 대규모 데이터 세트에 레이블을 지정하는 데 필요한 시간을 단축할 수 있기 때문입니다. 마찬가지로, 퓨샷 학습은 공통 데이터 세트를 사용하여 다른 샘플을 생성할 때 다양한 작업에 대한 특정 기능을 추가할 필요성을 줄입니다. 퓨샷 학습은 이상적으로 모델을 더 강력하게 만들고 더 적은 데이터를 기반으로 객체를 인식할 수 있도록 하여 표준인 고도로 전문화된 모델과 달리 더 일반적인 모델을 생성할 수 있습니다.
컴퓨터 비전 문제의 특성상 대용량 데이터나 유연한 모델이 필요하기 때문에 퓨샷 학습은 컴퓨터 비전 분야에서 가장 일반적으로 사용됩니다.
하위 카테고리
"few-shot" 학습이라는 문구는 실제로 아주 적은 훈련 예제를 사용하는 학습 유형 중 하나일 뿐입니다. "몇 가지" 훈련 예제를 사용하고 있기 때문에 최소한의 데이터로 훈련하는 것과 관련된 소수 학습의 하위 범주가 있습니다. "원샷(one-shot)" 학습은 객체의 이미지를 한 번만 본 후 객체를 인식하도록 모델을 가르치는 것과 관련된 또 다른 유형의 모델 교육입니다. 원샷 학습과 소수 학습에서 사용되는 일반적인 전술은 동일합니다. "퓨샷(few-shot)" 학습이라는 용어는 모델이 매우 적은 데이터로 훈련되는 모든 상황을 설명하는 포괄적인 용어로 사용될 수 있습니다.
퓨샷 학습에 대한 접근 방식
대부분의 퓨샷 학습 접근 방식은 데이터 수준 접근 방식, 매개 변수 수준 접근 방식 및 메트릭 기반 접근 방식의 세 가지 범주 중 하나에 속할 수 있습니다.
데이터 수준 접근 방식
퓨샷 학습에 대한 데이터 수준 접근 방식은 개념상 매우 간단합니다. 교육 데이터가 충분하지 않을 때 모델을 교육하려면 더 많은 교육 데이터를 얻을 수 있습니다. 데이터 과학자가 가지고 있는 학습 데이터의 양을 늘리기 위해 사용할 수 있는 다양한 기술이 있습니다.
유사한 교육 데이터는 분류자를 교육하는 정확한 대상 데이터를 백업할 수 있습니다. 예를 들어 특정 종류의 개를 인식하도록 분류기를 훈련하고 있지만 분류하려는 특정 종의 이미지가 많지 않은 경우 분류기가 개를 구성하는 일반적인 특징을 결정하는 데 도움이 되는 개의 이미지를 많이 포함할 수 있습니다. .
데이터 증대는 분류기에 대한 더 많은 훈련 데이터를 생성할 수 있습니다. 여기에는 일반적으로 분류자가 다른 각도에서 이미지를 검사하도록 기존 이미지를 회전하는 것과 같이 기존 교육 데이터에 변환을 적용하는 작업이 포함됩니다. GAN은 또한 가지고 있는 훈련 데이터의 몇 가지 확실한 예에서 학습한 내용을 기반으로 새로운 훈련 예를 생성하는 데 사용할 수 있습니다.
매개변수 수준 접근
메타 학습
퓨샷 학습에 대한 한 가지 매개변수 수준 접근 방식은 "메타 학습". 메타 학습에는 다음이 포함됩니다. 모델에게 배우는 방법 가르치기 기계 학습 작업에서 중요한 기능은 무엇입니까? 이는 모델의 매개변수 공간을 탐색하는 방법을 규제하는 방법을 생성하여 수행할 수 있습니다.
메타 학습은 교사 모델과 학생 모델의 두 가지 모델을 사용합니다. "교사" 모델과 "학생" 모델. 교사 모델은 매개변수 공간을 캡슐화하는 방법을 배우는 반면 학생 알고리즘은 데이터 세트의 실제 항목을 인식하고 분류하는 방법을 학습합니다. 다시 말해 교사 모델은 모델을 최적화하는 방법을 배우고 학생 모델은 분류하는 방법을 배웁니다. Teacher 모델의 출력은 학생 모델을 훈련하는 데 사용되며 학생 모델이 너무 적은 훈련 데이터로 인해 발생하는 큰 매개변수 공간을 협상하는 방법을 보여줍니다. 따라서 메타 학습의 "메타"입니다.
퓨샷 학습 모델의 주요 문제 중 하나는 고차원 공간이 자주 있기 때문에 훈련 데이터에 쉽게 과대적합될 수 있다는 것입니다. 모델의 매개변수 공간을 제한하면 이 문제가 해결되며, 정규화 기술을 적용하고 적절한 손실 함수를 선택하여 달성할 수 있지만, 교사 알고리즘을 사용하면 소수 샷 모델의 성능을 획기적으로 향상시킬 수 있습니다.
퓨샷 학습 분류기 모델(학생 모델)은 제공된 적은 양의 훈련 데이터를 기반으로 일반화하려고 노력할 것이며 교사 모델이 고차원 매개변수 공간을 통해 지시할 때 정확성이 향상될 수 있습니다. 이 일반 아키텍처를 "그라디언트 기반" 메타 학습기라고 합니다.
그래디언트 기반 메타 학습자를 교육하는 전체 프로세스는 다음과 같습니다.
- 기본 학습자(교사) 모델 만들기
- 지원 세트에서 기본 학습자 모델 훈련
- 기본 학습자가 쿼리 세트에 대한 예측을 반환하도록 합니다.
- 분류 오류에서 파생된 손실에 대해 메타 학습자(학생)를 교육합니다.
메타 학습의 변형
모델에 구애받지 않는 메타 학습 위에서 다룬 기본 그래디언트 기반 메타 학습 기술을 보강하는 데 사용되는 방법입니다.
위에서 다룬 것처럼 그래디언트 기반 메타 학습자는 교사 모델에서 얻은 이전 경험을 사용합니다. 스스로를 미세 조정하기 위해 및 보다 정확한 예측 제공 소량의 훈련 데이터에 대해. 그러나 임의로 초기화된 매개변수로 시작하면 모델이 여전히 잠재적으로 데이터를 과적합할 수 있음을 의미합니다. 이를 피하기 위해 교사 모델/기본 모델의 영향을 제한하여 "모델에 구애받지 않는" 메타 학습자를 만듭니다. 교사 모델의 예측에 대한 손실에 대해 학생 모델을 직접 교육하는 대신 학생 모델은 자체 예측에 대한 손실에 대해 교육을 받습니다.
모델에 구애받지 않는 메타 학습자를 교육하는 모든 에피소드에 대해:
- 현재 메타 학습자 모델의 복사본이 생성됩니다.
- 복사본은 기본 모델/교사 모델의 도움으로 훈련됩니다.
- 복사본은 교육 데이터에 대한 예측을 반환합니다.
- 계산된 손실은 메타 학습자를 업데이트하는 데 사용됩니다.
메트릭 학습
몇 번의 학습 모델 설계에 대한 메트릭 학습 접근 방식 일반적으로 포함 전에, 기본 거리 메트릭 사용 데이터 세트의 샘플을 비교합니다. 코사인 거리와 같은 메트릭 학습 알고리즘은 지원 샘플과의 유사성을 기반으로 쿼리 샘플을 분류하는 데 사용됩니다. 이미지 분류기의 경우 이는 표면적 특성의 유사성에 따라 이미지를 분류하는 것을 의미합니다. 지원 이미지 세트를 선택하고 임베딩 벡터로 변환한 후 쿼리 세트에 대해 동일한 작업을 수행한 다음 벡터화된 쿼리 세트에 가장 가까운 값을 가진 클래스를 선택하는 분류기로 두 벡터의 값을 비교합니다. .
보다 발전된 메트릭 기반 솔루션은 "프로토타입 네트워크". 원형 네트워크 클러스터 데이터 포인트는 위에서 설명한 메트릭 기반 분류와 클러스터링 모델을 함께 결합합니다. K-평균 클러스터링에서와 마찬가지로 클러스터의 중심은 지원 및 쿼리 세트의 클래스에 대해 계산됩니다. 그런 다음 유클리드 거리 측정법을 적용하여 쿼리 세트와 지지대 세트의 중심 사이의 차이를 결정하고 더 가까운 지지대 클래스에 쿼리 세트를 할당합니다.
대부분의 다른 소수 학습 접근 방식은 위에서 다룬 핵심 기술의 변형일 뿐입니다.
퓨샷 학습을 위한 애플리케이션
퓨샷 학습은 컴퓨터 비전, 자연어 처리, 로봇공학, 의료, 신호 처리 등 데이터 과학의 다양한 하위 분야에 적용됩니다.
컴퓨터 비전 공간에서 퓨샷 학습을 위한 애플리케이션에는 효율적인 문자 인식, 이미지 분류, 객체 인식, 객체 추적, 동작 예측 및 동작 위치 파악이 포함됩니다. 퓨샷 학습을 위한 자연어 처리 애플리케이션에는 번역, 문장 완성, 사용자 의도 분류, 감정 분석 및 다중 레이블 텍스트 분류가 포함됩니다. 퓨샷 학습은 로봇 공학 분야에서 사용되어 로봇이 단 몇 번의 데모를 통해 작업에 대해 학습하고 로봇이 작업을 수행하고 이동하고 주변 세계를 탐색하는 방법을 배우도록 할 수 있습니다. 퓨샷 약물 발견은 AI 헬스케어의 새로운 영역입니다. 마지막으로, 퓨샷 학습에는 소리 데이터를 분석하는 과정인 음향 신호 처리에 대한 응용 프로그램이 있어 AI 시스템이 단 몇 개의 사용자 샘플 또는 한 사용자에서 다른 사용자로의 음성 변환을 기반으로 음성을 복제할 수 있습니다.
