트랜스포머의 영향: 기계 번역은 해결되었는가?

Google은 최근 Google Translate에서 110개의 새로운 언어를 추가했다고 발표했으며, 2022년에 시작된 1000개 언어 이니셔티브의 일환으로 이 작업을 수행했다. 2022년 초에 Google은 24개의 언어를 추가했으며, 최신 110개의 언어가 추가되면서 현재 243개의 언어를 지원한다. 이러한 빠른 확장은 Zero-Shot Machine Translation 기술 덕분에 가능했으며, 이 기술은 기계 학습 모델이 이전 예제 없이 다른 언어로 번역할 수 있도록 한다. 그러나 이 기술이 기계 번역의 도전을 완전히 해결할 수 있는지 여부는まだ 미지수이다. 먼저 이 기술의 역사를 살펴보자.

기계 번역은 과거에 어떻게 작동했는가?

통계적 기계 번역 (SMT)

이 방법은 Google Translate이最初에 사용한 방법으로, 통계적 모델에 의존한다. 이 방법은 대형 평행 코퍼스(Aligned sentence translations의 모음)를 분석하여 가장 가능성이 높은 번역을 결정한다. 먼저 시스템이 텍스트를 영어로 번역한 다음 대상 언어로 번역하며, 이는 유엔과 유럽 의회 기록에서 가져온 대량의 데이터와의 교차 참조가 필요하다. 이는 전통적인 접근 방식과 달리, 정적 언어 프레임워크에 의존하지 않고 데이터에서 학습하고 적응할 수 있다.

그러나 이 접근 방식에도 몇 가지 단점이 있다. 첫째, Google Translate은 구문 기반 번역을 사용했으며, 이는 문장을 구문으로 분해하여 개별적으로 번역한다. 이는 단어 단위 번역보다 개선되었지만, 아직도 어색한 구문과 문맥 오류가 있었다. 또한 SMT는 평행 코퍼스에 크게 의존하며, 상대적으로 희귀한 언어는 충분한 평행 데이터가 없기 때문에 번역하기 어렵다.

신경 기계 번역 (NMT)

2016년 Google은 신경 기계 번역으로 전환했다. 이 방법은 딥 러닝 모델을 사용하여 전체 문장을 한 번에 번역하여 더 유창하고 정확한 번역을 제공한다. NMT는 컴퓨터 내의 소피스틱한 다국어 어시스턴트와 유사하게 작동한다. 시퀀스-투-시퀀스(Sequence-to-Sequence) 아키텍처를 사용하여 NMT는 한 언어의 문장을 처리하여 그 의미를 이해한다. 그런 다음 해당 문장을 다른 언어로 번역한다. 이 방법은 대량의 데이터를 사용하여 학습하며, 이는 통계적 기계 번역과 달리 대형 평행 코퍼스를 분석하여 가장 가능성이 높은 번역을 결정한다. 또한 NMT는 구문 기반 번역과 달리, 전체 단어 시퀀스를 처리하여 언어의ニュアンス를 더 잘 포착할 수 있다. 따라서 다양한 언어 쌍에서 번역 품질을 개선했으며, 때때로 인간 번역자와 비교할 수 있는 수준의 유창성과 정확성을 달성했다.

트랜스포머의 도입

2017년 Google Research는 “Attention is All You Need”라는 논문을 발표하여 트랜스포머를 도입했다. 트랜스포머는 입력 시퀀스의 가장 중요한 부분에 선택적으로 집중할 수 있는 자기 주의 메커니즘을 사용한다. 반복 신경 네트워크(RNN)와 달리, 트랜스포머는 순차적으로 단어를 처리하는 대신, 전체 텍스트에서 각 토큰의 중요성을 평가한다. 이는 동시에 모든 단어를 계산하여 짧은 거리와 긴 거리의 의존성을 효과적으로 포착할 수 있다.

트랜스포머는 다음과 같은 몇 가지 주요 이점을 제공한다:

• 병렬화 가능성: 주의 메커니즘은 병렬로 계산할 수 있으므로 현대 하드웨어에서 훈련을 가속할 수 있다.
• 훈련 효율성: 전통적인 RNN 기반 또는 CNN 기반 모델보다 훈련 시간을 크게 줄여주므로 기계 번역과 같은 작업에서 더好的 성능을 제공한다.

제로샷 기계 번역과 PaLM 2

2022년 Google은 제로샷 기계 번역을 사용하여 24개의 새로운 언어를 지원했으며, 1,000개 언어 이니셔티브를 발표했다. 현재 110개의 추가 언어를 지원한다. 제로샷 기계 번역은 소스 언어와 대상 언어 간의 평행 데이터가 없는 경우에도 번역할 수 있다. 이는 이전에 비용이 많이 들고 시간이 오래 걸리는 작업이었으며, 일부 언어 쌍에서는 불가능했다.

이 진보는 트랜스포머의 아키텍처와 자기 주의 메커니즘 덕분에 가능했다. 트랜스포머 모델은 언어 간의 문맥 관계를 학습할 수 있으며, 이는 다국어 번역 시스템을 개발하는 데 도움이 된다. 그러나 제로샷 모델은 일반적으로 평행 데이터로 훈련된 모델보다 품질이 낮다.

그런 다음 Google은 2023년에 PaLM 2를 도입했으며, 2024년에 110개의 새로운 언어를 지원했다. PaLM 2는 Awadhi와 Marwadi와 같은密接한 언어와 프랑스 크리올 언어를 더 잘 학습할 수 있다. PaLM 2의 개선 사항은 언어 학습을 더 효율적으로 만들고, 구글의 언어 지원을 개선하는 데 도움이 된다.

트랜스포머로 기계 번역의 도전을 완전히 해결할 수 있는가?

이 진보는 18년 동안 진행되었으며, Google의 SMT 채택에서 최근 110개의 추가 언어까지이다. 이는 기계 번역의 도전을 완전히 해결할 수 있는가에 대한 질문이다. 그러나 기술적 및 윤리적 고려를 이유로, 기계 번역의 도전을 완전히 해결했다고 주장하는 것은 прежATURE이다.

현재 모델은 아직도 문맥과 일관성을 이해하는 데 어려움이 있으며, 이는 번역의 의미를 변경할 수 있다. 또한 문화적 뉴앙스와 관용구는 종종 손실되거나 의미가 변경되며, 이는 번역이 자연스럽지 않거나 의도한 영향을 주지 못하게 한다.

데이터를 사용하여 모델을 사전 훈련하면, PaLM 2와 같은 모델은 다국어 작업에서 더好的 성능을 제공할 수 있다. 그러나 도메인별 또는 희귀 언어의 경우, 평행 코퍼스가 모델이 특정 용어와 언어 뉴앙스를 이해하는 데 도움이 된다. 또한 모델은 도메인별 용어와 언어 트렌드를 이해하는 데 어려움이 있으며, 이는 제로샷 기계 번역의 도전에 대한 문제를 야기한다.

기계 번역 모델의 성능을 평가하고 벤치마크하는 데에는 평행 코퍼스가 필요하다. 자동화된 지표는 번역 품질의ニュアンス를 평가하는 데 한계가 있으며, 인간 평가자는 이러한 오류를 잡는 데 도움이 된다. 그러나 이러한 평가를 수행하는 데에는 많은 자원이 필요하다.

또한, 기계 번역 모델을 훈련하고 배포하는 데에는 많은 자원이 필요하며, 이는 일부 응용 프로그램이나 조직에서 접근성을 제한할 수 있다.

마지막으로, 기계 번역의 도전은 문화 보존과 관련이 있다. 구글의 연구 과학자 Isaac Caswell은 제로샷 기계 번역에 대해 “다국어를 아는 사람”으로 설명하며, 이는 새로운 언어를 학습하는 데 도움이 된다. 그러나 이는 소수 언어의 문화 보존에 미칠 수 있는 장기적인 영향을 고려해야 한다.