GPT-3 : 언어 모델에 대한 샷 학습이 거의 없습니까?

지난 몇 년 동안 AI 및 ML 업계에서는 연구원들이 다운스트림 전송 작업을 위해 매우 유연하고 작업에 구애받지 않는 방식으로 NLP 방식을 구현할 수 있게 되면서 NLP 시스템의 개발 및 적용이 급격히 증가하는 것을 목격했습니다. 

처음에는 단어 벡터를 사용한 단일 레이어 표현이었고 이후 작업별 아키텍처에 공급되었습니다. 다음으로 더 나은 표현을 형성하기 위해 다층 표현 및 상황별 상태를 사용하는 것은 RNN 아키텍처였습니다. 그리고 가장 최근에는 이러한 네트워크를 미세 조정하여 작업별 아키텍처의 필요성을 완전히 제거한 전송 언어 모델 또는 사전 훈련된 반복 모델이 있습니다. 

전송 언어 모델은 질문에 답하기, 독해 또는 텍스트 블록, 텍스트 수반 등과 같은 어려운 작업에서 엄청난 발전을 가져왔기 때문에 NLP 업계에서 주요 전환점이 된 것으로 입증되었습니다. 

그러나 장점에도 불구하고 전송 언어 모델은 작업에서 원하는 성능을 달성하기 위해 작업별 미세 조정 또는 작업별 데이터 세트가 필요하므로 큰 제한이 있습니다. 또한 전송 언어 모델을 사용하려면 개발자가 특정 작업과 관련된 수십만 개의 예제로 데이터 세트를 미세 조정해야 합니다. 

작업별 데이터 세트 및 작업별 미세 조정에 대한 요구 사항을 제거하는 것이 여러 가지 이유로 NLP 업계에 매우 바람직하고 유익하다는 것은 말할 필요도 없습니다. 

기존 사전 훈련된 전송 언어 모델 또는 순환 모델 관련 문제

• 실용성 및 적용성의 제한

무엇보다도 각 작업에 대해 레이블이 지정된 데이터가 있는 대규모 데이터 세트의 요구 사항으로 인해 언어 모델의 적용 가능성과 실용성이 제한됩니다. 언어 모델은 짧은 이야기 생성부터 문법 오류 수정, 개념에 대한 예 생성에 이르기까지 다양한 작업에서 응용 프로그램을 찾습니다. 때로는 레이블이 지정된 데이터가 포함된 대규모 감독 데이터 세트를 수집하는 것이 어려운 작업이며, 특히 모든 개별 작업에 대해 프로세스를 반복해야 하는 경우 더욱 그렇습니다. 

• 훈련 데이터에서 허위 상관관계 활용

모델의 표현력과 결합된 훈련 분포의 제한 및 협소함은 훈련 데이터에서 허위 상관 관계를 활용할 수 있는 잠재력을 근본적으로 성장시킬 수 있습니다. 훈련 데이터를 활용할 가능성은 미세 조정 및 사전 훈련 패러다임 중에 문제를 초래할 수 있습니다. 왜냐하면 전송 언어 모델은 사전 훈련 중에 많은 양의 정보를 흡수하는 방식으로 설계되었기 때문입니다. 

게다가, 이전 모델에 대한 작업에 따르면 대형 모델이 매번 더 나은 배포 결과를 가져오지 않는 것으로 나타났습니다. 또한 이러한 패러다임에서 일반화를 수행하면 모델이 훈련 데이터에 매우 구체적이고 훈련 데이터의 범위를 벗어나는 상황에서는 제대로 작동하지 않기 때문에 성능이 저하될 수 있다는 것도 나타났습니다. 

• 인간 학습과의 비교

마지막으로 언어 전달 모델과 비교할 때 인간은 대부분의 언어 작업을 학습할 때 대규모 교육 데이터 세트가 필요하지 않습니다. 대부분의 경우 인간이 특정 수준의 경쟁력을 가지고 언어 작업을 이해하고 수행하는 데는 사람의 자연 언어에 대한 간단한 지시나 언어 작업에 대한 간단한 시연이 적합합니다. 

인간의 적응 능력은 다양한 기술 세트 사이를 전환하거나 함께 혼합하여 방언 중에 더 나은 성능을 발휘할 수 있게 하므로 현재 NLP 시스템의 기능을 넘어서는 수많은 실질적인 이점을 가지고 있습니다. 

메타 학습 및 GPT-3 문제 해결

위 문제에 대한 가능한 해결책은 모델이 훈련 중에 패턴을 인식하는 더 크고 광범위한 기술 및 능력 세트를 개발할 수 있게 하고 간섭 중에 이러한 학습된 능력을 사용하여 적응할 수 있도록 하는 최신 ML의 개념인 메타 학습을 사용하는 것입니다. 신속하게 또는 필요한 작업을 인식합니다. 

Meta Learning은 "라는 기술을 통해 언어 모델 아키텍처에서 구현되고 있습니다.상황에 맞는 학습”는 사전 훈련된 언어 모델의 텍스트 입력을 작업 사양으로 사용합니다. 이 과정에서 모델은 자연어 명령에 따라 조건을 설정하고 몇 가지 데모를 사용할 수도 있으며 모델은 다음 단계를 예측하여 나머지 작업을 완료할 것으로 예상됩니다. 

Meta Learning의 유일한 주요 문제점은 긍정적인 잠재력을 보여주었음에도 불구하고 자연어 구조의 미세 조정 접근 방식에 비해 여전히 열등하며, 언어 과제를 극복하기 위한 실용적인 방법이 되기 위해서는 추가적인 개선이 필요하다는 것입니다. 

메타러닝 외에도 인기를 얻고 있는 또 다른 방법은 변환기 언어 모델의 용량을 늘리는 것입니다. 지난 몇 년 동안 전송 모델은 다음과 같은 기능을 통해 용량이 크게 증가했습니다. RNSS18 100억 개의 매개변수가 있는 모델, DCLT18 300억 개의 매개변수가 있는 모델, RWC19 1.5억 개의 매개변수를 가진 모델, SSP19 8억 개의 매개변수를 가진 모델, RSR19 11억 개의 매개변수를 갖춘 모델과 TUR20 17억 개의 매개변수가 있는 모델입니다. 

모델의 용량을 늘리거나 매개변수를 늘리면 역사적으로 텍스트 합성이 향상되었으며, 다운스트림 작업과 관련된 로그 손실도 규모에 따라 개선되는 원활한 추세를 따른다는 표시가 있습니다. 

이는 3억 개가 넘는 매개변수를 가진 GPT-175 모델로 이어지며, 출시 당시에는 가장 높은 용량을 가진 전송 언어 모델이었습니다. 이제 GPT-3 모델에 대해 이야기하겠습니다. 

GPT-3 모델 소개

GPT-3는 OpenAI가 175년에 출시한 2020억 개 이상의 매개변수를 갖춘 자동 공격적 언어 모델입니다. GPT-3도 대형 언어 모델 이전 모델과 마찬가지로 GPT-2 모델은 컨볼루션 기반 아키텍처를 사용하여 텍스트 데이터를 생성하는 디코더 전용 딥 러닝 변환기 모델입니다. 

GPT-3 모델은 자체 컨텍스트 학습 능력을 측정하고, GPT-3 모델은 3개 이상의 NLP 데이터 세트와 여러 가지 새로운 작업에 대해 평가됩니다. 모든 개별 작업에 대해 GPT-XNUMX 모델은 세 가지 조건으로 평가됩니다.

• 소수의 샷 학습 또는 상황 내 학습: 소수의 샷 학습에서 GPT-3 모델은 모델의 컨텍스트 창에 잘 맞을 수 있는 만큼의 분포를 허용합니다. 
• 원샷 학습: 원샷 학습에서는 모델이 한 번의 시연만 허용합니다. 
• 제로샷 학습: 제로샷 학습에서는 시연이 없으며 모델에 제공되는 자연어로 된 지침만 있습니다. 

대체로 GPT-3 모델 제로샷 및 원샷 설정에서 원하는 성능을 달성하고, 퓨샷 설정에서는 대부분의 경우 최첨단 전송 모델보다 성능이 뛰어납니다. 또한 GPT-3 모델은 즉석 추론을 테스트하도록 설계된 자연어 작업에서 원샷 및 제로샷 설정에서 잘 수행되거나 문장 뒤에 새로운 단어 사용, 단어 해독 또는 산술 수행과 같은 빠른 주의가 필요합니다. 운영. 반면 GPT-3 모델은 몇 장의 샷 설정에서 작동할 때 인간 평가자를 통과할 때 인간의 글과 유사한 합성 뉴스 기사를 생성합니다. 

GPT-3 모델: 접근 방식

GPT-3 모델은 모델, 데이터, 훈련으로 구성된 기존의 사전 훈련 접근 방식을 사용하며 RWC-19 전이 언어 모델이 따르는 사전 훈련 프로세스와 유사합니다. GPT-3 모델은 모델 크기, 데이터 세트 크기, 데이터 세트 다양성을 확장하고 훈련 기간을 늘립니다. 

또한 이 모델은 RWC-19 모델의 접근 방식과 다시 한번 유사한 상황 내 학습 접근 방식을 사용하지만 데이터 세트의 컨텍스트 내에서 학습 패턴에 대한 다양한 설정을 체계적으로 탐색하여 상황을 약간 조정합니다. 

이제 이러한 설정을 살펴보고 GTP-3 모델이 다양한 설정에서 어떻게 작동하는지 평가해 보겠습니다. 

미세 조정

모델을 미세 조정하는 것은 전송의 전통적인 접근 방식이었습니다. 언어 모델이 접근 방식에는 원하는 작업과 관련된 지도 데이터 세트에서 모델을 훈련하여 사전 훈련된 모델의 가중치를 업데이트하는 작업이 포함되며, 프로세스 중에 수십만 개의 레이블이 지정된 예제가 사용됩니다. 

미세 조정 접근 방식은 수많은 벤치마크에서 강력한 성능을 반환하므로 유익합니다. 반면, 미세 조정 접근 방식 사용의 주요 제한점은 모든 개별 작업에 대해 새롭고 큰 데이터 세트가 필요하고 훈련 데이터 세트의 허위 기능을 활용할 가능성이 있으며 잠재적으로 인간 성능과 불공평한 비교를 초래할 수 있다는 것입니다. , 그리고 분포 외에 대한 일반화가 좋지 않습니다. 

GPT-3 모델의 현재 범위에서는 작업에 구애받지 않는 성능으로 인해 미세 조정 접근 방식을 구현하지 않지만 향후 GPT-3 모델에는 미세 조정이 적용될 수 있습니다. 

몇 번의 샷

Few Shot은 GPT-3 모델이 간섭 중에 컨디셔닝으로 작업에 대한 몇 가지 시연을 제공하지만 모델의 가중치는 업데이트되지 않는 설정을 나타내는 용어입니다. 몇 가지 샷 설정에서 데이터세트에는 일반적으로 컨텍스트와 원하는 완성도(예: 프랑스어 문장 및 영어 번역)가 포함된 예가 있습니다. 몇 번의 샷 설정은 모델에게 K 컨텍스트 및 완성의 예를 제공한 다음 모델에 하나의 최종 컨텍스트를 제공하고 모델이 완성을 제공할 것으로 기대합니다. 

소수 샷 학습 설정의 주요 장점은 작업별 데이터의 필요성을 크게 줄이고, 미세 조정된 대규모 데이터 세트에서 좁은 분포를 학습할 가능성을 줄인다는 것입니다. 반면, 소수 샷 학습을 사용하는 주요 단점은 소수 샷 설정에서 제공되는 결과가 기대에 미치지 못하며, 미세 조정된 다른 최신 모델과 비교했을 때 상당히 좋지 않다는 것입니다. 

하나의 샷

원샷 설정에서는 모델에 단 하나의 데모만 제공되며, 나머지는 프리샷 설정과 유사합니다. 원샷 설정이 전이 언어 모델에서 중요한 이유는 세 가지 설정 중에서 원샷 설정이 작업이 사람에게 전달되는 방식과 가장 유사하기 때문입니다. 대부분의 작업에서 작업을 한 번만 데모하는 것이 일반적이기 때문입니다. 그렇지 않으면 작업의 맥락을 이해하기 어려울 수 있습니다. 

제로 샷

제로샷 설정에서는 시연이 없으며 모델에 작업을 설명하는 자연어 지침이 제공됩니다. 제로 샷 방법은 최대의 편의성을 제공하고 견고하며 허위 상관 관계를 방지하는 방법이지만 세 가지 설정 중 가장 까다로운 방법이기도 합니다. 어떤 경우에는 우리 인간조차도 데모를 먼저 보지 않고는 작업의 맥락을 파악하기 어렵기 때문입니다. 

그럼에도 불구하고 일부 작업의 경우 제로샷 설정은 인간이 자연어 작업을 가장 가깝게 수행하는 방식과 유사한 설정입니다. 

위 그림은 영어 문장을 가져와서 프랑스어로 번역하는 자연어 작업을 수행할 때의 Few Shot, One Shot, Zero Shot 설정을 비교한 것입니다. 

GPT-3: 모델 아키텍처

GPT-3 모델은 GPT-2 모델에서 사용된 것과 동일한 아키텍처를 사용하며, 대안을 사용하는 것을 제외하고 GPT 모델에서 사용된 것과 같은 사전 정규화, 수정된 초기화 및 가역 토큰화 기술을 포함합니다. Sparse Transformer와 유사하게 로컬로 묶인 희소 주의 패턴 및 변환기 레이어의 교대 밀집 레이어에 대한 전략입니다. 

모델 크기에 대한 모델 성능의 의존성을 연구하기 위해 개발자는 8억 125만 개에서 175억 개 이상의 매개변수까지 세 가지 크기의 서로 다른 3개 모델 크기를 훈련했으며, 그 중 마지막 매개변수를 GPT-XNUMX 모델이라고 합니다. . LLM 모델과 관련된 이전 연구에서는 충분한 양의 훈련 데이터를 사용하여 검증 손실을 스케일링하는 것이 크기의 함수로서 대략적인 평활 거듭제곱 법칙이 되어야 함을 나타냈습니다. 다양한 크기의 학습 모델을 통해 개발자는 다운스트림 언어 작업과 검증 손실에 대한 가설을 테스트할 수 있습니다. 

위 그림은 GPT-8 개발에 사용된 3가지 모델의 크기와 아키텍처를 비교합니다. 여기서 n(params)은 훈련 가능한 패턴의 총 수를 정의하고, n(layers)는 모델의 총 레이어 수를 정의하며, d(model)는 병목 현상의 각 레이어에 있는 단위 수를 정의하고, d(head)는 정의합니다. 각 주의 헤드의 크기. 각 모델의 컨텍스트 창은 2048개의 토큰과 동일합니다. 

또한 노드 간 데이터 전송을 최소화하기 위해 모델은 차원의 깊이와 너비를 따라 GPU 전체에 걸쳐 분할됩니다. 각 모델의 아키텍처 매개변수는 컴퓨팅 효율성과 로드 밸런싱을 기반으로 선택되어 GPU 전체에서 모델 레이아웃의 정밀도를 최대화합니다. 

교육 데이터 세트

일반적으로 대규모 언어 모델은 최근 개발로 크게 확장된 데이터 세트를 사용하며, 3조 개가 넘는 다양한 단어로 구성된 Common Crawl 데이터 세트로 완성됩니다. 데이터 세트의 크기는 동일한 시퀀스를 여러 번 업데이트하지 않고도 GPT-XNUMX 모델을 훈련하기에 충분합니다. 그러나 연구 및 성능 분석에 따르면 일반 크롤링 데이터세트의 가볍게 필터링된 버전이나 필터링되지 않은 버전은 선별된 데이터세트에 비해 품질이 낮은 것으로 나타났습니다. 

데이터세트의 평균 품질 문제를 해결하기 위해 개발자는 데이터세트의 품질을 향상시키는 3단계를 수행했습니다. 

1. 개발자는 고품질 참조 말뭉치와 유사한 범위를 기반으로 Common Crawl 데이터세트 버전을 다운로드하고 필터링했습니다. 
2. 개발자는 과적합의 효과적인 측정으로 보류된 검증 세트의 무결성을 유지하고 중복을 방지하기 위해 데이터 세트 전체에서 문서 수준에서 퍼지 복제를 수행했습니다. 
3. 또한 개발자는 Common Crawl 데이터세트를 보강하고 데이터세트의 다양성을 더욱 높이기 위해 훈련 데이터에 고품질 참조 자료를 추가했습니다. 

다음 그림은 GPT-3 모델을 학습하는 데 사용된 데이터 세트의 최종 비율 또는 혼합을 보여줍니다. Common Crawl 데이터는 필터링 전에 45TB 이상의 일반 텍스트로 구성되었으며 필터링 후에는 570GB의 데이터로 줄어들었습니다. 이는 약 400억 바이트 쌍으로 인코딩된 토큰과 동일합니다. 학습에서 더 높은 품질로 간주되는 데이터 세트는 크기에 대한 데이터 세트 비율을 샘플링하는 대신 더 자주 샘플링된다는 점에 유의해야 합니다. 결과적으로 Books2 및 Common Crawl과 같은 데이터 세트는 학습 중에 한 번 미만으로 샘플링되는 반면 다른 데이터 세트는 여러 번 샘플링됩니다. 이를 통해 모델은 더 높은 품질의 학습 데이터로 학습하는 대가로 약간의 과적합을 허용할 수 있습니다. 

많은 양의 콘텐츠를 기억하고 학습할 수 있는 대용량 인터넷 데이터에 대해 사전 훈련된 대규모 언어 모델에 대한 중요한 우려 사항은 사전 학습 중에 개발 또는 테스트 세트를 확인함으로써 다운스트림 작업이 오염될 수 있다는 것입니다. 훈련 과정. 이러한 잠재적인 오염을 줄이기 위해 개발자는 GPT-3에 대해 연구된 벤치마크의 테스트 및 개발 세트와 중복되는 부분을 검색하고 이러한 중복되는 부분을 제거하려고 시도했습니다. 

위 이미지는 GPT-3 모델 교육 중에 사용된 총 컴퓨팅을 보여줍니다. 이 모델은 신경 언어 모델에 대한 확장 법칙을 사용하여 일반적인 것보다 적은 토큰으로 훨씬 더 큰 모델을 훈련합니다. 결과적으로 GPT-3 모델과 GPT-10 모델보다 3배 작은 RoBERTa-Large 모델 모두 사전 학습 과정에서 하루에 거의 50페타플롭의 컴퓨팅을 사용했습니다. 

평가

소수의 샷 학습의 경우, 모델은 해당 작업의 훈련 데이터 세트에서 무작위로 K개의 예제를 컨디셔닝으로 추출하여 평가 데이터 세트에 있는 각 예제를 평가하고 작업에 따라 1개 또는 2개의 줄 바꿈으로 구분합니다. Storycloze 및 LAMBADA의 경우 모델은 감독 훈련 세트를 사용할 수 없기 때문에 개발 세트에서 조건부 예제를 추출하고 테스트 세트에서 이를 평가합니다. Winograd의 경우 데이터 세트가 하나만 존재하므로 조건 지정 샘플은 이 데이터 세트에서 직접 가져옵니다. 

K는 0부터 모델의 컨텍스트 창에서 허용하는 최대값인 n까지의 범위에 있는 모든 값이 될 수 있습니다.내선 = 모든 모델에 대해 2048이며 일반적으로 약 10~100개의 예에 적합합니다. K 값이 클수록 더 나은 결과가 나오는 경우가 많지만 항상 그런 것은 아닙니다. 모델에 테스트 세트가 있고 별도의 개발 세트를 사용할 수 있는 경우 모델은 개발 세트의 몇 가지 K 값을 실험하고 결과를 기반으로 합니다. , 테스트 세트에서 최상의 값을 실행합니다. 

또한 여러 옵션 중에서 올바른 완성을 선택해야 하는 작업에 대해 개발자는 K개의 수정 예시와 컨텍스트 완성을 제공하고 후속으로 컨텍스트의 한 예시만 제공하여 LM 가능성을 기준으로 작업을 비교합니다. 각 완료의. 이진 분류가 필요한 작업의 경우 모델은 종종 더 의미론적으로 더 의미 있는 이름으로 옵션을 제공한 다음 작업을 객관식으로 처리하고 때로는 RSR 모델 및 아키텍처에서 수행되는 것과 유사한 작업을 구성합니다. 

자유 형식 완성이 필요한 작업의 경우 모델은 RSR 프레임워크에서 사용된 것과 동일한 매개변수(길이 4의 빔 및 0.6의 페널티)를 사용하여 빔 검색을 사용합니다. 그런 다음 데이터 세트의 표준에 따라 F1 유사성 점수, 완전 일치 또는 BLEU를 사용하여 모델의 점수를 매깁니다. 

결과

위 그림은 이전 섹션에서 설명한 대로 GPT-8 모델 아키텍처에 사용된 3개 모델에 대한 훈련 곡선을 표시합니다. KMH 언어 모델의 결과와 유사하게 GPT-3 모델의 성능은 학습 계산을 효과적으로 사용할 때 적절한 법칙을 따릅니다. 추세가 XNUMX배 더 확장되는 경우에만 법칙과 약간의 차이가 있습니다. 교차 엔트로피 손실의 개선은 훈련 코퍼스의 허위 세부 사항을 모델링한 결과일 수 있다는 생각이 사람들에게 떠오를 수 있습니다. 그러나 교차 엔트로피 손실이 개선되면 다양한 NLP 작업의 광범위한 스펙트럼에 걸쳐 전반적인 성능이 지속적으로 향상됩니다. 

광범위한 교육 데이터에 대한 8가지 모델을 평가하기 전에 데이터세트는 유사한 작업을 나타내는 8가지 카테고리로 그룹화됩니다. 이러한 카테고리는

1. 전통적인 언어 모델링 작업과 Cloze 작업 또는 문장/단락 완성 작업과 같은 언어 모델링과 유사한 작업에 대한 평가입니다. 
2. "밀폐식" 질의 응답 과제에 대한 평가. 
3. 모델의 언어 간 번역 능력 평가(특히 원샷 및 퓨샷)
4. Winograd Schema와 유사한 작업에서 모델 성능을 평가합니다. 
5. 상식적 추론이나 질문 답변이 포함된 데이터세트를 평가합니다. 
6. 독해 과제를 평가합니다. 
7. SuperGLUE 벤치마크 제품군을 평가합니다. 
8. NLI를 탐색합니다. 

언어 모델링, 완성 및 Cloze 작업

이 섹션에서는 전통적인 언어 모델링 작업뿐만 아니라 관심 단어 하나를 예측하거나 단락이나 문장을 완성하거나 텍스트를 완성하는 작업에 대해 GPT-3 모델의 성능을 평가합니다. 간략하게 자세히 논의해 보겠습니다. 

언어 모델링

GPT-3 모델은 PTB 또는 펜트리 뱅크 데이터셋에 대한 제로샷 복잡도를 계산합니다. 위키피디아 관련 작업은 모델의 훈련 데이터에 이미 포함되어 있으므로 제외되었으며, 3억 단어 벤치마크 또한 데이터셋이 훈련 데이터셋 내에 포함됨에 따라 상당한 마찰을 유발하기 때문에 제외되었습니다. 그러나 PTB 데이터셋은 현대 인터넷보다 앞서 존재하기 때문에 이러한 문제를 해결합니다. GPT-15 모델 아키텍처에서 가장 큰 모델은 PTB 데이터셋에 대한 새로운 SOTA(Short-Short-Test)를 20.50포인트라는 상당한 차이로 달성했으며, XNUMX의 복잡도를 달성했습니다. 

람바다

LAMBADA 데이터세트는 단락이나 텍스트의 장거리 종속성에 대한 모델 모델링을 테스트하는 데 사용됩니다. 이는 모델이 문맥에 대한 단락을 읽은 후 문장의 마지막 단어를 예측하도록 요청받는다는 의미입니다. 또한 언어 모델의 지속적인 확장으로 인해 벤치마크에서 수익이 감소합니다. 

GPT-3 모델은 LAMBADA에서 76%의 정확도를 달성했으며 이전 최고 모델보다 8% 이상의 이득을 얻었습니다. 또한 LAMBADA 모델은 데이터 세트에서 고전적으로 발생하는 방식으로 문제를 해결하므로 소수 학습의 유연성을 보여줍니다. LAMBADA에서 문장의 완성은 일반적으로 문장의 마지막 단어이지만, 언어 모델은 이를 알 수 없으므로 올바른 결말뿐만 아니라 단락의 다른 연속에도 확률을 할당합니다. 

또한 GPT-3 모델에 제공된 예제가 특정 방식으로 수정되면 모델은 이전 모델에 비해 86% 이상 증가한 18% 이상의 정확도를 반환합니다. 또한 결과는 몇 번의 샷 설정에서 모델 성능이 모델 크기의 증가에 비례하여 증가한다는 것을 나타냅니다. 이 전략은 GPT-3 아키텍처에서 가장 작은 모델을 20% 줄이면서도 3억 개의 매개변수를 사용하는 기본 GPT-175 모델의 정확도를 10% 향상시킵니다. 

비공개 도서 질문 답변

비공개 책 질문 응답은 광범위한 사실 지식을 기반으로 질문에 대답하는 GPT-3 모델의 능력을 측정하려는 시도입니다. 이러한 질문에는 가능한 쿼리 수가 많은 경우가 많기 때문에 작업은 일반적으로 검색된 텍스트에 대한 답변에 대한 응답을 생성하는 방법을 학습하는 모델과 함께 모델이 관련 텍스트를 찾을 수 있도록 하는 정보 검색 시스템을 사용하여 달성됩니다. 질문. 

위 이미지는 GPT-3 모델의 결과를 다른 모델과 비교하고 다른 데이터세트에서 실행한 결과를 비교합니다. TriviaQA 데이터 세트에서 모델은 제로샷 설정에서 64.3%의 정확도 점수를 달성한 반면, 원샷 및 소수 설정에서 각각 68%, 71.2%의 정확도 점수를 달성했습니다. 

제로 샷 설정의 GPT-3 모델이 미세 조정된 T5-11B 모델보다 14% 이상 성능이 우수하다는 것을 분명히 알 수 있습니다. 

위 그림은 GPT-3 모델의 성능이 모델 크기의 증가에 따라 원활하게 증가하는 것을 보여줍니다. 성능은 언어 모델이 용량이 증가함에 따라 데이터 세트에서 계속 학습한다는 것을 나타냅니다. 

최종 생각

GPT-3가 언어 모델이 할 수 있는 한계를 뛰어넘는 데 도움이 되었기 때문에 GPT-3는 LLM 업계에서 혁명적인 단계라고 해도 무방할 것입니다. 현재까지 가장 진보되고 정확한 대규모 언어 모델인 GPT-3의 길을 닦은 것은 GPT-4의 개발과 장애물 극복이었습니다.