변압기 신경망이란 무엇입니까?

트랜스포머 신경망 설명

변압기 순차적 데이터를 처리하고 해석하는 데 특화된 기계 학습 모델의 일종으로, 자연어 처리 작업에 최적화되어 있습니다. 기계 학습 변환기가 무엇이고 어떻게 작동하는지 더 잘 이해하기 위해 변환기 모델과 이를 구동하는 메커니즘을 자세히 살펴보겠습니다.

이 기사에서는 다음 내용을 다룹니다.

• 시퀀스 대 시퀀스 모델
• 트랜스포머 신경망 아키텍처
• 주의 메커니즘
• 트랜스포머와 RNN/LSTM의 차이점

시퀀스 대 시퀀스 모델

Sequence-to-sequence 모델은 한 유형의 시퀀스를 다른 유형의 시퀀스로 변환하는 데 사용되는 NLP 모델 유형입니다. 다음과 같은 다양한 유형의 sequence-to-sequence 모델이 있습니다. 재발 신경망 모델과 장단기 기억 (LSTM) 모델.

RNN 및 LSTMS와 같은 전통적인 시퀀스-시퀀스 모델은 이 기사의 초점이 아니지만 변환기 모델이 작동하는 방식과 기존 시퀀스-시퀀스 모델보다 우수한 이유를 이해하려면 이들에 대한 이해가 필요합니다.

간단히 말해서 RNN 모델과 LSTM 모델은 다양한 시간 단계에서 입력 데이터를 분석하는 인코더와 디코더 네트워크로 구성됩니다. 인코더 모델은 입력 데이터에 있는 단어의 인코딩된 표현을 형성하는 역할을 담당합니다. 모든 시간 단계에서 인코더 네트워크는 시리즈의 이전 시간 단계에서 입력 시퀀스와 숨겨진 상태를 가져옵니다. 숨겨진 상태 값은 "컨텍스트 벡터"가 생성되는 마지막 시간 단계까지 데이터가 네트워크를 통해 진행됨에 따라 업데이트됩니다. 그런 다음 컨텍스트 벡터는 디코더 네트워크로 전달되며, 이는 각 시간 단계에 대해 입력 단어와 쌍을 이룰 가능성이 가장 높은 단어를 예측하여 대상 시퀀스를 생성하는 데 사용됩니다.

이러한 모델은 "주의 메커니즘"을 사용하여 증강될 수 있습니다. 주의 메커니즘은 네트워크가 적절한 출력을 생성하기 위해 입력 벡터의 어느 부분에 집중해야 하는지 정의합니다. 다른 방식으로 말하자면, 주의 메커니즘은 트랜스포머 모델이 한 입력 단어를 처리하는 동시에 다른 입력 단어에 포함된 관련 정보에 주의를 기울이도록 합니다. 주의 메커니즘은 또한 관련 정보가 포함되지 않은 단어를 마스크합니다.

트랜스포머 신경망 아키텍처

어텐션 메커니즘에 대해서는 나중에 더 자세히 다루겠지만 지금은 변환기 신경망의 아키텍처 더 높은 수준에서.

일반적으로 변환기 신경망은 다음과 같습니다.

이 일반적인 구조는 네트워크 간에 변경될 수 있지만 위치 인코딩, 단어 벡터, 주의 메커니즘, 피드포워드 신경망과 같은 핵심 부분은 동일하게 유지됩니다.

위치 인코딩 및 단어 벡터

변압기 신경망이 작동합니다. 일련의 입력을 받아 이 입력을 두 개의 다른 시퀀스로 변환합니다. 변환기는 일련의 단어 벡터 임베딩 및 위치 인코딩을 생성합니다.

단어 벡터 임베딩 신경망이 처리할 수 있는 숫자 형식으로 표현된 텍스트일 뿐입니다. 한편, 위치 인코딩은 다른 단어와 관련하여 입력 문장에서 현재 단어의 위치에 대한 정보를 포함하는 벡터화된 표현입니다.

RNN 및 LSTM과 같은 다른 텍스트 기반 신경망 모델은 벡터를 사용하여 입력 데이터의 단어를 나타냅니다. 이러한 벡터 임베딩은 단어를 상수 값에 매핑하지만 단어가 다른 컨텍스트에서 사용될 수 있기 때문에 제한적입니다. 변환기 네트워크는 단어 벡터가 문장에서 단어의 위치에 따라 다른 값을 갖도록 정현파 함수를 사용하여 단어 값을 더 유연하게 만들어 이 문제를 해결합니다.

이를 통해 신경망 모델은 벡터가 변환기 네트워크의 계층을 통해 이동한 후에도 입력 단어의 상대적 위치에 관한 정보를 보존할 수 있습니다.

위치 인코딩과 단어 벡터 임베딩은 함께 합산된 다음 인코더와 디코더 네트워크 모두에 전달됩니다. 변환기 신경망은 RNN 및 LSTM과 마찬가지로 인코더/디코더 스키마를 사용하지만 두 가지 주요 차이점 중 하나는 모든 입력 데이터가 동시에 네트워크에 공급되는 반면 RNN/LSTM에서는 데이터가 순차적으로 전달된다는 것입니다.

인코더 네트워크는 입력을 네트워크가 학습할 수 있는 표현으로 변환하는 역할을 하는 반면, 디코더 네트워크는 반대로 수행하여 인코딩을 출력 문장에서 가장 가능성이 높은 단어를 생성하는 데 사용되는 확률 분포로 변환합니다. 결정적으로 인코더와 디코더 네트워크 모두 주의 메커니즘이 있습니다.

GPU는 병렬 처리가 가능하기 때문에 여러 어텐션 메커니즘이 병렬로 사용되어 모든 입력 단어에 대한 관련 정보를 계산합니다. 한 번에 "멀티 헤드" 주의라고 불리는 여러 단어에 주의를 기울이는 이 기능은 신경망이 문장 내 단어의 맥락을 학습하는 데 도움이 되며 변환기 네트워크가 RNN 및 LSTM에 비해 갖는 주요 이점 중 하나입니다.

주의 메커니즘

어텐션 메커니즘은 트랜스포머 네트워크에서 가장 중요한 부분입니다. 어텐션 메커니즘은 트랜스포머 모델이 일반적인 RNN 또는 LSTM 모델의 어텐션 한계를 넘어설 수 있도록 합니다. 전통적인 Sequence-to-Sequence 모델은 입력 시퀀스에 대한 예측을 생성하기 위해 디코더 네트워크를 초기화할 때 모든 중간 상태를 버리고 최종 상태/컨텍스트 벡터만 사용합니다.

입력 시퀀스가 ​​상당히 작을 때 최종 컨텍스트 벡터를 제외하고 모든 것을 버리면 제대로 작동합니다. 그러나 입력 시퀀스의 길이가 증가함에 따라 이 방법을 사용하는 동안 모델의 성능이 저하됩니다. 긴 입력 시퀀스를 단일 벡터로 요약하기가 상당히 어려워지기 때문입니다. 해결책은 모델의 "주의"를 높이고 중간 인코더 상태를 활용하여 디코더에 대한 컨텍스트 벡터를 구성하는 것입니다.

어텐션 메커니즘은 주어진 토큰에 대해 인코딩이 생성될 때 다른 입력 토큰이 모델에 얼마나 중요한지를 정의합니다. 예를 들어, "it"은 일반 대명사로, 동물의 성별을 알 수 없을 때 동물을 지칭하는 데 자주 사용됩니다. 어텐션 메커니즘은 변환기 모델이 입력 문장의 모든 관련 단어를 검사할 수 있기 때문에 현재 컨텍스트에서 "it"이 다람쥐를 의미한다고 결정하도록 합니다.

어텐션 메커니즘은 인코더-디코더, 인코더 전용, 디코더 전용의 세 가지 방식으로 사용할 수 있습니다.

인코더-디코더 어텐션은 디코더가 출력을 생성할 때 입력 시퀀스를 고려하도록 하는 반면, 인코더 전용 및 디코더 전용 어텐션 메커니즘은 네트워크가 이전 시퀀스와 현재 시퀀스의 모든 부분을 각각 고려할 수 있도록 합니다.

어텐션 메커니즘의 구성은 다섯 단계로 나눌 수 있습니다.

1. 모든 인코더 상태에 대한 점수 계산.
2. 주의 가중치 계산
3. 컴퓨팅 컨텍스트 벡터
4. 이전 시간 단계 출력으로 컨텍스트 벡터 업데이트
5. 디코더로 출력 생성

첫 번째 단계는 디코더가 모든 인코더 상태에 대한 점수를 계산하도록 하는 것입니다. 이것은 기본 피드 포워드 신경망인 디코더 네트워크를 훈련함으로써 수행됩니다. 디코더가 입력 시퀀스의 첫 번째 단어에 대해 훈련될 때 내부/숨겨진 상태가 아직 생성되지 않았으므로 인코더의 마지막 상태가 일반적으로 디코더의 이전 상태로 사용됩니다.

어텐션 가중치를 계산하기 위해 소프트맥스 함수를 사용하여 어텐션 가중치에 대한 확률 분포를 생성합니다.

주의 가중치가 계산되면 컨텍스트 벡터를 계산해야 합니다. 이는 모든 시간 단계에 대해 어텐션 가중치와 은닉 상태를 함께 곱하여 수행됩니다.

컨텍스트 벡터가 계산된 후 출력 시퀀스에서 다음 단어를 생성하기 위해 이전 시간 단계에서 생성된 단어와 함께 사용됩니다. 디코더에는 첫 번째 단계에서 참조할 이전 출력이 없기 때문에 특수한 "시작" 토큰이 대신 사용되는 경우가 많습니다.

트랜스포머와 RNN/LSTM의 차이점

RNN과 LSTM의 몇 가지 차이점을 빠르게 살펴보겠습니다.

RNN은 입력을 순차적으로 처리하는 반면 숨겨진 상태 벡터는 네트워크를 통해 이동할 때 입력 단어에 의해 유지 및 변경됩니다. RNN의 숨겨진 상태에는 일반적으로 이전 입력에 대한 관련 정보가 거의 없습니다. 새로운 입력은 종종 현재 상태를 덮어쓰므로 시간이 지남에 따라 정보 손실이 발생하고 성능이 저하됩니다.

반대로 변환기 모델은 전체 입력 시퀀스를 한 번에 처리합니다. 어텐션 메커니즘은 모든 출력 단어가 모든 입력 및 숨겨진 상태에 의해 알려지도록 하여 긴 텍스트에 대해 네트워크를 보다 안정적으로 만듭니다.

LSTM은 더 긴 입력 시퀀스를 처리하도록 조정된 RNN의 수정된 버전입니다. LSTM 아키텍처는 "입력 게이트", "출력 게이트" 및 "망각 게이트"가 있는 "게이트"라는 구조를 사용합니다. 게이트 디자인은 RNN 모델에 공통적인 정보 손실을 처리합니다. 데이터는 여전히 순차적으로 처리되며 아키텍처의 반복 설계로 인해 병렬 컴퓨팅을 사용하여 LSTM 모델을 훈련하기가 어려워 전체적으로 훈련 시간이 길어집니다.

LSTM 엔지니어는 모델의 성능을 향상시키는 것으로 알려진 주의 메커니즘을 네트워크에 자주 추가했습니다. 그러나 어텐션 메커니즘만으로도 정확도가 향상된다는 사실이 결국 밝혀졌습니다. 이 발견은 GPU 덕분에 어텐션 메커니즘과 병렬 컴퓨팅을 사용하는 변환기 네트워크의 생성으로 이어졌습니다.