메타러닝이란?

메타러닝이란?

머신러닝 분야에서 가장 빠르게 성장하는 연구 분야 중 하나는 다음과 같습니다. 메타 학습. 기계 학습 맥락에서 메타 학습은 기계 학습 알고리즘을 사용하여 다른 기계 학습 모델의 교육 및 최적화를 지원하는 것입니다. 메타 러닝이 점점 대중화되고 메타 러닝 기법이 발전함에 따라 메타 러닝이 무엇인지 이해하고 다양한 방법으로 응용할 수 있는 감각을 갖는 것이 유익합니다. 메타 학습의 이면에 있는 아이디어를 살펴보겠습니다. 메타 학습의 종류, 뿐만 아니라 메타 학습을 사용할 수 있는 몇 가지 방법도 있습니다.

메타 학습이라는 용어는 Donald Maudsley가 사람들이 배운 것을 형성하기 시작하는 과정을 설명하기 위해 만들어졌으며 "자신이 내면화한 인식, 질문, 학습 및 성장 습관을 점점 더 통제하게 됩니다". 나중에 인지 과학자와 심리학자들은 메타 학습을 "학습 방법을 배우는 것"이라고 설명했습니다.

메타 러닝의 머신 러닝 버전의 경우 "학습 방법 학습"이라는 일반적인 아이디어가 AI 시스템에 적용됩니다. AI의 의미에서 메타 학습은 인공 지능 기계가 다양한 복잡한 작업을 수행하는 방법을 학습하고 하나의 작업을 학습하는 데 사용한 원칙을 다른 작업에 적용하는 능력입니다. AI 시스템은 일반적으로 많은 작은 하위 작업의 마스터링을 통해 작업을 수행하도록 훈련되어야 합니다. 이 교육은 시간이 오래 걸릴 수 있으며 AI 에이전트는 한 작업 중에 배운 지식을 다른 작업으로 쉽게 이전하지 않습니다. 메타 학습 모델과 기술을 만들면 AI가 학습 방법을 일반화하고 새로운 기술을 더 빨리 습득하는 데 도움이 될 수 있습니다.

메타 학습의 유형

옵티마이저 메타러닝

메타 학습은 이미 존재하는 신경망의 성능을 최적화하기 위해 종종 사용됩니다. 옵티마이저 메타 학습 방법은 일반적으로 기본 신경망의 성능을 향상시키기 위해 다른 신경망의 하이퍼파라미터를 조정하여 작동합니다. 결과적으로 대상 네트워크는 훈련 중인 작업을 더 잘 수행해야 합니다. 메타 학습 옵티마이저의 한 예는 네트워크를 사용하여 그라데이션 하강 결과.

Few-Shot 메타 학습

몇 번의 메타 학습 접근 방식은 교육 데이터 세트에서 보이지 않는 데이터 세트로 일반화할 수 있는 심층 신경망을 엔지니어링하는 것입니다. 퓨샷 분류의 인스턴스는 일반 분류 작업과 유사하지만 대신 데이터 샘플이 전체 데이터 세트입니다. 이 모델은 다양한 학습 작업/데이터 세트에 대해 교육을 받은 다음 다양한 교육 작업 및 보이지 않는 데이터에서 최고의 성능을 발휘하도록 최적화됩니다. 이 접근 방식에서는 단일 학습 샘플이 여러 클래스로 분할됩니다. 이는 각 교육 샘플/데이터 세트가 잠재적으로 총 4개의 샷에 대해 두 개의 클래스로 구성될 수 있음을 의미합니다. 이 경우 전체 훈련 작업은 4-shot 2-class 분류 작업으로 설명될 수 있습니다.

퓨샷 학습에서 아이디어는 개별 훈련 샘플이 최소화되고 네트워크가 몇 장의 사진을 본 후에 객체를 식별하는 방법을 학습할 수 있다는 것입니다. 이것은 아이가 몇 장의 그림을 본 후에 물체를 구별하는 법을 배우는 것과 매우 유사합니다. 이 접근 방식은 원샷 생성 모델 및 메모리 증강 신경망과 같은 기술을 만드는 데 사용되었습니다.

메트릭 메타 학습

메트릭 기반 메타 학습은 신경망을 활용하여 메트릭이 효과적으로 사용되고 있는지, 네트워크 또는 네트워크가 목표 메트릭에 도달하고 있는지 확인하는 것입니다. 메트릭 메타 학습은 네트워크를 훈련하고 메트릭 공간을 학습하는 데 몇 가지 예만 사용된다는 점에서 퓨샷 학습과 유사합니다. 동일한 메트릭이 다양한 도메인에서 사용되며 네트워크가 메트릭에서 벗어나면 실패한 것으로 간주됩니다.

반복 모델 메타 학습

순환 모델 메타 학습은 순환 신경망 및 유사한 장단기 기억 네트워크에 메타 학습 기술을 적용한 것입니다. 이 기술은 RNN/LSTM 모델을 훈련하여 데이터 세트를 순차적으로 학습한 다음 이 훈련된 모델을 다른 학습자의 기초로 사용하여 작동합니다. 메타 학습자는 초기 모델을 훈련하는 데 사용된 특정 최적화 알고리즘을 사용합니다. 메타 학습기의 상속된 매개변수화를 통해 메타 학습기는 신속하게 초기화 및 수렴할 수 있지만 여전히 새로운 시나리오에 맞게 업데이트할 수 있습니다.

메타 학습은 어떻게 작동합니까?

메타 학습이 수행되는 정확한 방법은 모델과 당면한 작업의 특성에 따라 다릅니다. 그러나 일반적으로 메타 학습 과제는 매개변수 복사를 포함합니다. 첫 번째 네트워크의 두 번째 네트워크/옵티마이저의 매개변수로.

메타 학습에는 두 가지 교육 프로세스가 있습니다. 메타 학습 모델은 일반적으로 기본 모델에 대한 여러 단계의 교육이 수행된 후에 교육됩니다. 기본 모델을 교육하는 순방향, 역방향 및 최적화 단계 후에 최적화 모델에 대한 순방향 교육 패스가 수행됩니다. 예를 들어, 기본 모델에 대한 XNUMX~XNUMX단계 교육 후 메타 손실이 계산됩니다. 메타 손실이 계산된 후 각 메타 매개변수에 대한 그래디언트가 계산됩니다. 이 작업이 발생한 후 최적화 프로그램의 메타 매개변수가 업데이트됩니다.

메타 손실을 계산할 수 있는 한 가지 가능성은 초기 모델의 포워드 트레이닝 패스를 완료한 다음 이미 계산된 손실을 결합하는 것입니다. 특정 시점에서 ADAM 또는 SGD와 같은 개별 최적화 프로그램을 사용해야 하지만 메타 옵티마이저는 또 다른 메타 학습자가 될 수도 있습니다.

많은 딥 러닝 모델에는 수십만 또는 수백만 개의 매개변수가 있을 수 있습니다. 완전히 새로운 매개변수 집합을 가진 메타 학습자를 생성하는 것은 계산 비용이 많이 들기 때문에 일반적으로 좌표 공유라는 전술이 사용됩니다. 좌표 공유에는 기본 모델에서 단일 매개변수를 학습한 다음 다른 모든 매개변수 대신 해당 매개변수를 복제하도록 메타 학습자/옵티마이저를 엔지니어링하는 작업이 포함됩니다. 그 결과 옵티마이저가 보유한 매개변수는 모델의 매개변수에 의존하지 않습니다.