AI 모델 및 플랫폼

NLP의 부흥과 트랜스포머 모델 | T5, BERT, GPT에 대한 포괄적인 분석

게시일 2023년 11월 8일

업데이트일 2026년 5월 22일

작성자

Aayush Mittal Mittal

자연어 처리(NLP)는 최근 몇 년 동안 가장 큰 영향을 미친 발전을 경험했습니다. 이것은 주로 트랜스포머 아키텍처 덕분에 가능했습니다. 이러한 발전은 기계가 인간의 언어를 이해하고 생성하는 능력을 향상시키는 것뿐만 아니라 검색 엔진부터 대화형 AI까지 다양한 응용 프로그램의 풍경을 재정의했습니다.

트랜스포머의 중요성을 완전히 이해하기 위해서는 먼저 트랜스포머 이전의 기초가 되는 기술들을 살펴보아야 합니다.

트랜스포머 이전의 초기 NLP 기술

워드 임베딩: 원-핫에서 워드2벡까지

전통적인 NLP 접근 방식에서 단어의 표현은 종종 문자 그대로였으며 의미적 또는 구문적 이해가 부족했습니다. 원-핫 인코딩은 이러한 제한의 대표적인 예입니다.

원-핫 인코딩은 범주형 변수를 이진 벡터 표현으로 변환하는 과정으로, 하나의 비트만 “핫”으로 설정하고 나머지는 “콜드”로 설정합니다. NLP의 contexto에서 각 단어는 원-핫 벡터로 표현되며, 각 벡터의 크기는 어휘의 크기이고 각 단어는 해당 어휘 목록의 인덱스에 해당하는 위치에 1을 갖는 벡터로 표현됩니다.

원-핫 인코딩의 예

假设我们有一个只有五个 단어의 작은 어휘: [“king”, “queen”, “man”, “woman”, “child”]. 각 단어의 원-핫 인코딩 벡터는 다음과 같을 것입니다:

“king” -> [1, 0, 0, 0, 0]
“queen” -> [0, 1, 0, 0, 0]
“man” -> [0, 0, 1, 0, 0]
“woman” -> [0, 0, 0, 1, 0]
“child” -> [0, 0, 0, 0, 1]

수학적 표현

어휘의 크기를 $V$ 로, i번째 단어의 원-핫 벡터 표현을 $w_{i}$ 로 나타내면, $w_{i}$ 의 수학적 표현은 다음과 같습니다:

$w_{i} = [0, 0, \dots, 1, \dots, 0, 0]$ $i번째 위치에 1이고 나머지 위치는 0인 경우$

원-핫 인코딩의 주요 단점은 각 단어를 고립된 개체로 취급하며, 다른 단어와의 관계를 고려하지 않는다는 것입니다. 이는 희소하고 고차원적인 벡터를 생성하며, 단어에 대한 의미적 또는 구문적 정보를 포착하지 못합니다.

워드 임베딩, 특히 워드2벡의 도입은 NLP에서 중요한 순간이었습니다. 2013년 Google의 Tomas Mikolov가 이끄는 팀에 의해 개발된 워드2벡은 단어를 밀도 벡터 공간에 표현하여, 대규모 텍스트 코퍼스 내에서 단어의 문맥을 기반으로 구문적 및 의미적 단어 관계를 포착했습니다.

원-핫 인코딩과 달리 워드2벡은 밀도 벡터를 생성하며, 通常 수백 개의 차원을 가집니다. 유사한 문맥에서 나타나는 단어는 벡터 공간에서 서로 가깝게 위치하게 됩니다.

예를 들어, 가상적인 3차원 공간에서 워드2벡 모델을 훈련시킨 후 단어를 표현하면 다음과 같을 수 있습니다:

“king” -> [0.2, 0.1, 0.9]
“queen” -> [0.21, 0.13, 0.85]
“man” -> [0.4, 0.3, 0.2]
“woman” -> [0.41, 0.33, 0.27]
“child” -> [0.5, 0.5, 0.1]

이러한 숫자는 허구이지만, 유사한 단어가 유사한 벡터를 가짐을 보여줍니다.

수학적 표현

단어의 워드2벡 임베딩을 $v_{w}$ , 임베딩 공간의 차원을 $d$ 로 나타내면, $v_{w}$ 는 다음과 같이 표현될 수 있습니다:

$v_{w} = [v_{1}, v_{2}, \dots, v_{d}]$ $where each v_{i} is a floating-point number representing a feature of the word in the embedding space.$

의미적 관계

워드2벡은 복잡한 관계도 포착할 수 있습니다. 예를 들어, 워드2벡 임베딩에서 포착되는 유명한 관계는 다음과 같습니다:

$vector(“king”) - vector(“man”) + vector(“woman”) \approx vector(“queen”)$

이것은 워드2벡이 훈련过程에서 단어 벡터를 조정하여 코퍼스에서 공통의 문맥을 공유하는 단어가 벡터 공간에서 가깝게 위치하도록 하는데 있습니다.

워드2벡은 두 가지 주요 아키텍처, 즉 Continuous Bag-of-Words (CBOW)와 Skip-Gram을 사용하여 단어의 분산 표현을 생성합니다. CBOW는 주변 문맥 단어로부터 타겟 단어를 예측하며, Skip-Gram은 타겟 단어로부터 문맥 단어를 예측합니다. 이것은 기계가 단어의 사용법과 의미를 더 세련된 방법으로 이해할 수 있게 하였습니다.

시퀀스 모델링: RNN과 LSTM

NLP 분야가 발전함에 따라, 시퀀스 데이터를 이해하는 것이 중요해졌으며, 이는 기계 번역, 텍스트 요약, 감정 분석과 같은 작업에 필수적이었습니다. 순환 신경망(RNN)은 이러한 응용 프로그램의 주된 기술이 되었으며, 순차적 데이터를 처리하는 능력과 기억을 유지하는 능력 덕분에 vậy입니다.

그러나 RNN에는 한계가 있었습니다. 장거리 의존성을 처리하는 데 어려움을 겪었으며, 소멸하는 기울기 문제로 인해 장거리 시퀀스에서 정보가 손실되었습니다.

1997년 Sepp Hochreiter와 Jürgen Schmidhuber에 의해 도입된 Long Short-Term Memory(LSTM) 네트워크는 이러한 문제를 해결했습니다. LSTM에는 입력 게이트,忘却 게이트, 출력 게이트와 같은 게이트가 있으며, 정보의 흐름을 제어합니다. 이러한 게이트는 어떤 정보를 저장할지, 업데이트할지, 또는 버릴지 결정하며, 네트워크가 장거리 의존성을 유지하고, 다양한 NLP 작업에서 성능을 크게 향상시킵니다.

트랜스포머 아키텍처

NLP의 풍경은 2017년 Vaswani 등에 의해 발표된 “Attention is All You Need”라는 랜드마크 논문에서 트랜스포머 모델이 도입됨으로써劇的に 변했습니다. 트랜스포머 아키텍처는 RNN과 LSTM의 순차적 처리에서 벗어나, ‘자체 주의’라는 메커니즘을 사용하여 입력 데이터의 다른 부분의 중요성을 가중합니다.

트랜스포머의 핵심 아이디어는 입력 데이터를 한 번에 처리할 수 있다는 것입니다. 이는 더 많은 병렬화와 결과적으로 훈련 속도의 상당한 증가를 가능하게 합니다. 자체 주의 메커니즘은 모델이 입력 데이터의 다른 부분에 집중할 수 있게 하며, 이는 단어와 단어 사이의 관계를 이해하는 데 중요합니다.

트랜스포머의 인코더와 디코더

원래 트랜스포머 모델, 즉 Vaswani 등에 의해 발표된 “Attention is All You Need” 논문에서 설명된 아키텍처는 두 가지 주요 부분으로 나뉩니다: 인코더와 디코더. 두 부분 모두 동일한 일반 구조를 갖지만, 서로 다른 목적을 갖습니다.

인코더

역할: 인코더의 역할은 입력 데이터를 처리하여, 요소 사이의 관계를 포착하는 표현을 생성하는 것입니다. 이 부분은 새로운 콘텐츠를 생성하지 않으며, 디코더가 사용할 수 있는 상태로 입력을 변환합니다.
기능: 각 인코더 레이어에는 자체 주의 메커니즘과 피드 포워드 신경망이 있습니다. 자체 주의 메커니즘은 인코더의 각 위치에서 이전 레이어의 모든 위치에 주의를 기울일 수 있게 합니다.
컨텍스트 임베딩: 인코더의 출력은 입력 시퀀스를 고차원 공간에서 나타내는 일련의 벡터입니다. 이러한 벡터는 컨텍스트 임베딩으로 불리며, 개별 단어뿐만 아니라 단어의 문맥도 포함합니다.

디코더

역할: 디코더의 역할은 입력을 받은 후, 순차적으로 출력 데이터를 생성하는 것입니다. 이는 텍스트 생성과 같은 작업에 적합합니다.
기능: 디코더 레이어도 자체 주의 메커니즘을 포함하며, 후속 위치에 대한 주의를 방지하기 위해 마스킹됩니다. 또한, 디코더 레이어에는 인코더의 출력에 주의를 기울이는 두 번째 주의 메커니즘이 포함되어, 입력의 컨텍스트를 생성 과정에 통합합니다.
순차적 생성 능력: 이는 디코더가 시퀀스를 한 번에 하나씩 생성할 수 있는 능력을 말합니다. 예를 들어, 텍스트를 생성할 때, 디코더는 이미 생성한 단어 시퀀스와 인코더에서 제공된 컨텍스트를 기반으로 다음 단어를 예측합니다.

인코더와 디코더 내의 이러한 서브 레이어는 모델이 복잡한 NLP 작업을 처리하는 데 중요합니다. 특히, 멀티 헤드 주의 메커니즘은 모델이 시퀀스의 다른 부분에 선택적으로 주의를 기울일 수 있게 하며, 문맥에 대한 풍부한 이해를 제공합니다.

트랜스포머를 활용하는 인기 모델

트랜스포머 모델의 초기 성공에 이어, 다양한 작업을 위한 새로운 모델들이 등장했습니다. 각 모델은独自의 혁신과 최적화를 가지고 있습니다.

BERT (Bidirectional Encoder Representations from Transformers): 2018년 Google에 의해 도입된 BERT는, 대규모 코퍼스에서 마스킹 언어 모델링과 다음 문장 예측을 통해 사전 훈련된 언어 표현을革命적으로 변화시켰습니다. BERT는 풍부한 양방향 컨텍스트를 포착하며, 다양한 NLP 작업에서 최첨단 결과를 달성했습니다.

BERT

T5 (Text-to-Text Transfer Transformer): 2020년 Google에 의해 도입된 T5는, 모든 NLP 작업을 텍스트-텍스트 문제로 재정의합니다. 이는 모델을 다양한 작업에 적용하는 과정을 단순화하며, 번역, 요약, 질문 답변과 같은 작업에 사용될 수 있습니다.

T5 Architecture

GPT (Generative Pre-trained Transformer): OpenAI에 의해 개발된 GPT 모델은, 대규모 텍스트 데이터에서 사전 훈련된 후 다양한 작업에 미세 조정될 수 있습니다. GPT-1에서 시작하여 2023년 GPT-4까지, 이러한 모델은 학술 및 상업적 AI 응용 프로그램에서 매우 영향력이 있습니다.

GPT Architecture

T5, BERT, GPT 모델을 비교하는 더 자세한 내용은 다음과 같습니다:

1. 토큰화 및 어휘

BERT: 워드피스 토큰화를 사용하며, 어휘 크기는 약 30,000 토큰입니다.
GPT: 바이트 페어 인코딩(BPE)을 사용하며, 어휘 크기는 크며(GPT-3의 경우 175,000개입니다).
T5: 문장피스 토큰화를 사용하며, 텍스트를 원시 형태로 취급하여 사전 분할된 단어가 필요하지 않습니다.

2. 사전 훈련 목표

BERT: 마스킹 언어 모델링(MLM)과 다음 문장 예측(NSP).
GPT: 인과 언어 모델링(CLM), 각 토큰이 시퀀스의 다음 토큰을 예측합니다.
T5: 노이즈가 있는 텍스트를 원래 텍스트로 복원하는 데노이징 목표를 사용합니다.

3. 입력 표현

BERT: 토큰, 세그먼트, 위치 임베딩을 결합하여 입력을 표현합니다.
GPT: 토큰과 위치 임베딩을 결합하며, 문장 쌍 작업에는 세그먼트 임베딩이 필요하지 않습니다.
T5: 토큰 임베딩만 사용하며, 주의 메커니즘에서 상대적 위치 인코딩을 추가합니다.

4. 주의 메커니즘

BERT: 절대적 위치 인코딩을 사용하며, 각 토큰이 왼쪽과 오른쪽의 모든 토큰에 주의를 기울일 수 있습니다.
GPT: 절대적 위치 인코딩을 사용하며, 주의는 이전 토큰으로만 제한됩니다.
T5: 상대적 위치 편향을 사용하며, 위치 임베딩 대신 사용합니다.

5. 모델 아키텍처

BERT: 인코더 전용 아키텍처로, 여러 트랜스포머 블록 레이어를 가지고 있습니다.
GPT: 디코더 전용 아키텍처로, 여러 레이어를 가지고 있지만, 생성 작업을 위해 설계되었습니다.
T5: 인코더-디코더 아키텍처로, 인코더와 디코더 모두 트랜스포머 레이어로 구성됩니다.

6. 미세 조정 접근법

BERT: 사전 훈련된 모델의 최종 숨겨진 상태를 다운스트림 작업에 추가 출력 레이어와 함께 적응시킵니다.
GPT: 트랜스포머 위에 선형 레이어를 추가하고, 동일한 인과 언어 모델링 목표를 사용하여 다운스트림 작업을 미세 조정합니다.
T5: 모든 작업을 텍스트-텍스트 문제로 변환하며, 모델을 입력 시퀀스에서 대상 시퀀스를 생성하도록 미세 조정합니다.

7. 훈련 데이터 및 규모

BERT: 북스 코퍼스와 영어 위키백과에서 훈련되었습니다.
GPT: GPT-2와 GPT-3는 인터넷에서 추출된 다양한 데이터셋에서 훈련되었으며, GPT-3는 더 큰 코퍼스인 Common Crawl에서 훈련되었습니다.
T5: “Colossal Clean Crawled Corpus”에서 훈련되었습니다. 이는 Common Crawl의 큰 규모이며 깨끗한 버전입니다.

8. 컨텍스트 및 양방향성 처리

BERT: 양방향 컨텍스트를 동시에 이해하도록 설계되었습니다.
GPT: 앞으로의 컨텍스트만 이해하도록 훈련되었습니다.
T5: 인코더에서 양방향 컨텍스트를 모델링할 수 있으며, 디코더에서 앞으로의 컨텍스트를 모델링할 수 있습니다.

9. 다운스트림 작업에 대한 적응성

BERT: 각 다운스트림 작업에 대해 작업별 헤드 레이어와 미세 조정이 필요합니다.
GPT: 생성 작업에 적합하며, 구조의 최소한의 변경으로 작업을 수행할 수 있습니다.
T5: 모든 작업을 “텍스트-텍스트” 문제로 처리하므로, 새로운 작업에 쉽게 적용할 수 있습니다.

10. 해석 가능성 및 설명 가능성

BERT: 양방향성으로 인해 풍부한 컨텍스트 임베딩을 제공하지만, 해석하기가 더 어려울 수 있습니다.
GPT: 앞으로의 컨텍스트는 더 직접적으로 이해할 수 있지만, 양방향 컨텍스트의 깊이를 缺乏합니다.
T5: 인코더-디코더 프레임워크는 처리 단계를 명확하게 분리하지만, 생성 특성으로 인해 분석하기가 복잡할 수 있습니다.

트랜스포머의 NLP에 대한 영향

트랜스포머는 NLP 분야를革命적으로 변화시켰습니다. 시퀀스 데이터를 병렬로 처리할 수 있게 해주어, 대규모 신경망을 훈련하는 속도와 효율성을 크게 향상시켰습니다. 또한, 자체 주의 메커니즘을 도입하여, 모델이 입력 데이터의 다른 부분에 주의를 기울일 수 있게 하였습니다. 이는 번역, 질문 답변, 텍스트 요약과 같은 다양한 NLP 작업에서 전례 없는 향상을 가져왔습니다.

현재 연구는 트랜스포머 기반 모델이 무엇을 달성할 수 있는지의 경계를 계속해서 확장하고 있습니다. GPT-4와 그 동시대 모델들은 더 크고 효율적이며, 아키텍처와 훈련 방법의 발전으로 인해 더 강력해졌습니다. 少샷 러닝과 더 효과적인 전이 학습을 위한 방법은 현재 연구의 전방에 있습니다.

트랜스포머를 기반으로 하는 언어 모델은 데이터에서 학습하므로, 데이터에 포함된 편향을 학습할 수 있습니다. 연구자와 실무자는 이러한 편향을 식별하고, 이해하며, 완화하기 위해 적극적으로 노력하고 있습니다. 이러한 기술은 데이터셋의 큐레이션에서 공정성과 중립성을 위한 사후 조정까지 다양합니다.

Aayush Mittal, Mittal

지난 5년 동안私は Machine Learning과 Deep Learning의 매혹적인 세계에 몰두해 왔습니다.私の熱情と専門知識は私を50以上의多様한 소프트웨어 엔지니어링 프로젝트에 기여하게 했으며, 특히 AI/ML에 중점을 두었습니다.私の継続的な 호기심은 또한私를自然어 처리로 끌어들였습니다.私は이 분야를さらに 탐구하기를熱望합니다.