앙상블 학습이란 무엇입니까?

가장 강력한 기계 학습 기술 중 하나는 앙상블 학습입니다. 앙상블 배우기 예측의 신뢰성과 정확성을 향상시키기 위해 여러 기계 학습 모델을 사용하는 것입니다. 그러나 여러 기계 학습 모델을 사용하면 어떻게 더 정확한 예측이 가능할까요? 앙상블 학습 모델을 만드는 데 어떤 기술이 사용됩니까? 앙상블 모델을 사용하는 근거와 앙상블 모델을 생성하는 기본 방법을 살펴보면서 이러한 질문에 대한 답을 탐색할 것입니다.

앙상블 학습이란 무엇입니까?

간단히 말해서 앙상블 학습은 여러 기계 학습 모델을 훈련하고 그 출력을 함께 결합하는 프로세스입니다. 서로 다른 모델은 하나의 최적 예측 모델을 생성하기 위한 기반으로 사용됩니다. 다양한 개별 기계 학습 모델 세트를 결합하면 전체 모델의 안정성이 향상되어 보다 정확한 예측이 가능합니다. 앙상블 학습 모델은 개별 모델보다 더 신뢰할 수 있는 경우가 많기 때문에 많은 기계 학습 대회에서 종종 XNUMX위를 차지합니다.

엔지니어가 앙상블 학습 모델을 만드는 데 사용할 수 있는 다양한 기술이 있습니다. 간단한 앙상블 학습 기술에는 다양한 모델의 출력 평균화와 같은 것이 포함되며, 특히 많은 기본 학습자/모델의 예측을 함께 결합하기 위해 개발된 더 복잡한 방법과 알고리즘이 있습니다.

앙상블 훈련 방법을 사용하는 이유는 무엇입니까?

기계 학습 모델은 다양한 이유로 서로 다를 수 있습니다. 서로 다른 기계 학습 모델이 모집단 데이터의 서로 다른 샘플에서 작동할 수 있고, 서로 다른 모델링 기술이 사용될 수 있으며, 서로 다른 가설이 사용될 수 있습니다.

많은 사람들과 퀴즈 게임을 하고 있다고 상상해 보십시오. 혼자 팀을 꾸리다 보면 알고 있는 주제도 있고 모르는 주제도 많을 수밖에 없습니다. 이제 당신이 다른 사람들과 팀을 이루어 게임을 하고 있다고 가정해 봅시다. 당신과 마찬가지로 그들은 자신의 전문 분야에 대한 지식을 가지고 있고 다른 주제에 대한 지식은 없습니다. 그러나 지식이 결합되면 더 많은 필드에 대해 더 정확한 추측을 할 수 있고 팀에서 지식이 부족한 주제의 수가 줄어듭니다. 이는 정확도를 높이고 오류를 최소화하기 위해 서로 다른 팀원(개별 모델)의 예측을 결합하는 앙상블 학습의 기본 원리와 동일합니다.

통계학자들이 증명했다 많은 사람들이 주어진 질문에 대해 가능한 답의 범위가 있는 정답을 추측하도록 요청받았을 때 그들의 모든 답은 확률 분포를 형성합니다. 정답을 진정으로 아는 사람은 확신을 가지고 정답을 선택하는 반면, 오답을 선택한 사람은 예상되는 오답의 범위에 걸쳐 자신의 추측을 분산시킬 것입니다. 퀴즈 게임의 예로 돌아가서, 당신과 당신의 두 친구가 정답이 A라는 것을 알고 있다면, 당신 세 명 모두 A에 투표할 것이고, 반면 답을 모르는 팀의 다른 세 사람은 틀릴 가능성이 높습니다. B, C, D 또는 E를 추측합니다. 결과는 A가 XNUMX표를 가지고 있고 다른 답변은 최대 XNUMX 또는 XNUMX표만 가질 가능성이 높습니다.

모든 모델에는 약간의 오류가 있습니다. 위에서 설명한 이유로 모델 자체가 다르기 때문에 한 모델에 대한 오류는 다른 모델에서 생성된 오류와 다릅니다. 모든 오류를 검사할 때 오류는 하나 또는 다른 답변 주위에 모여 있지 않고 오히려 흩어져 있습니다. 잘못된 추측은 본질적으로 가능한 모든 오답에 분산되어 서로를 상쇄합니다. 한편, 서로 다른 모델의 올바른 추측은 참 정답 주위에 모여 있습니다. 앙상블 트레이닝 방법을 사용할 때, 정답은 더 큰 신뢰성으로 찾을 수 있습니다.

간단한 앙상블 훈련 방법

간단한 앙상블 훈련 방법은 일반적으로 통계 요약 기술예측 세트의 모드, 평균 또는 가중 평균을 결정하는 것과 같은 s.

모드는 일련의 숫자 내에서 가장 자주 발생하는 요소를 나타냅니다. 모드를 얻기 위해 개별 학습 모델은 예측을 반환하고 이러한 예측은 최종 예측에 대한 투표로 간주됩니다. 예측의 평균을 결정하는 것은 가장 가까운 정수로 반올림된 예측의 산술 평균을 계산하여 간단히 수행됩니다. 마지막으로, 가중 평균은 예측을 생성하는 데 사용되는 모델에 다른 가중치를 할당하여 계산할 수 있으며 가중치는 해당 모델의 인지된 중요성을 나타냅니다. 클래스 예측의 수치 표현은 0에서 1.0까지의 가중치와 함께 곱해지고 개별 가중치 예측이 함께 합산되며 결과는 가장 가까운 정수로 반올림됩니다.

고급 앙상블 훈련 방법

세 가지 기본 고급 앙상블 훈련 기술이 있으며 각각 특정 유형의 기계 학습 문제를 처리하도록 설계되었습니다. "배깅" 기술 동일한 관찰을 기반으로 할 때 예측 결과가 얼마나 다른지를 나타내는 분산과 함께 모델 예측의 분산을 줄이는 데 사용됩니다. "부스팅" 기술 모델의 편향과 싸우기 위해 사용됩니다. 마지막으로, "스태킹" 일반적으로 예측을 개선하는 데 사용됩니다.

앙상블 학습 방법 자체는 일반적으로 순차적 방법과 병렬 앙상블 방법의 두 그룹 중 하나로 나눌 수 있습니다.

순차 앙상블 방법은 기본 학습자/모델이 순차적으로 생성되기 때문에 "순차적"이라는 이름을 얻습니다. 순차 방법의 경우 기본 아이디어는 더 정확한 예측을 얻기 위해 기본 학습자 간의 의존성을 이용한다는 것입니다. 레이블이 잘못 지정된 예제는 가중치가 조정되지만 적절하게 레이블이 지정된 예제는 동일한 가중치를 유지합니다. 새로운 학습자가 생성될 때마다 가중치가 변경되고 정확도가 향상됩니다.

순차 앙상블 모델과 달리 병렬 앙상블 방법은 기본 학습자를 병렬로 생성합니다. 병렬 앙상블 학습을 수행할 때 개별 학습자의 예측을 평균화하여 일반적인 오류율을 줄일 수 있으므로 기본 학습자가 독립성을 갖는다는 사실을 활용하는 것이 아이디어입니다.

앙상블 훈련 방법은 본질적으로 동질적이거나 이질적일 수 있습니다. 대부분의 앙상블 학습 방법은 동질적입니다. 즉, 단일 유형의 기본 학습 모델/알고리즘을 사용합니다. 반대로 이기종 앙상블은 서로 다른 학습 알고리즘을 사용하여 학습자를 다양화하고 다양화하여 정확도를 최대한 높입니다.

앙상블 학습 알고리즘의 예

앙상블 부스팅의 시각화. 사진: Wikimedia Commons를 통한 Sirakorn, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

순차 앙상블 방법의 예는 다음과 같습니다. 에이다부스트, XGBoost및 그라디언트 트리 부스팅. 이들은 모두 부스팅 모델입니다. 이러한 부스팅 모델의 목표는 약하고 실적이 저조한 학습자를 더 강력한 학습자로 전환하는 것입니다. AdaBoost 및 XGBoost와 같은 모델은 무작위로 추측하는 것보다 약간 더 잘 수행하는 많은 약한 학습자로 시작합니다. 학습이 계속되면 가중치가 데이터에 적용되고 조정됩니다. 이전 교육 라운드에서 학습자가 잘못 분류한 인스턴스에는 더 많은 가중치가 부여됩니다. 이 프로세스가 원하는 수의 교육 라운드에 대해 반복된 후 가중치 합계(회귀 작업의 경우) 및 가중치 투표(분류 작업의 경우)를 통해 예측이 결합됩니다.

배깅 학습 과정. 사진: Wikimedia Commons를 통한 SeattleDataGuy, CC BY SA 4.0(https://commons.wikimedia.org/wiki/File:Bagging.png)

병렬 앙상블 모델의 예는 랜덤 포레스트 분류기이며 Random Forests도 배깅 기술의 한 예입니다. "배깅"이라는 용어는 "부트스트랩 집계"에서 유래되었습니다. 기본 학습자가 예측을 수행하는 데 사용하는 "부트스트랩 샘플링"이라는 샘플링 기술을 사용하여 전체 데이터 세트에서 샘플을 가져옵니다. 분류 작업의 경우 기본 모델의 출력이 투표를 사용하여 집계되는 반면 회귀 작업의 경우 함께 평균화됩니다. Random Forests는 개별 결정 트리를 기본 학습자로 사용하고 앙상블의 각 트리는 데이터 세트의 다른 샘플을 사용하여 구축됩니다. 기능의 임의 하위 집합도 트리를 생성하는 데 사용됩니다. 신뢰할 수 있는 예측을 제공하기 위해 모두 함께 결합된 고도로 무작위화된 개별 의사 결정 트리로 이어집니다.

앙상블 스태킹의 시각화. 사진: Wikimedia Commons를 통한 Supun Setunga, CC BY SA 4.0(https://commons.wikimedia.org/wiki/File:Stacking.png)

스태킹 앙상블 기법 측면에서 다중 회귀 또는 분류 모델은 더 높은 수준의 메타 모델을 통해 함께 결합됩니다. 하위 수준의 기본 모델은 전체 데이터 세트를 공급받아 학습합니다. 그런 다음 기본 모델의 출력은 메타 모델을 교육하는 기능으로 사용됩니다. 누적 앙상블 모델은 본질적으로 이질적인 경우가 많습니다.