Facebook은 100가지 언어를 직접 번역할 수 있는 기계 번역 모델을 만듭니다.

페이스북은 최근 새로운 기계 번역 모델 100개 언어 세트 중 주어진 언어 쌍 사이에서 텍스트를 번역할 수 있습니다. 다른 기계 번역 시스템이 존재하지만 대부분의 다른 AI 번역 시스템은 먼저 텍스트를 영어로 번역한 다음 거기에서 텍스트를 변환하는 방식으로 작동합니다.  Engadget이 보고한 대로, Facebook의 AI 번역기는 영어를 중개자로 사용하지 않고 작동하며 약 90%의 정확도를 달성할 수 있는 것으로 알려졌습니다.

AI 모델에 대한 Facebook의 훈련 데이터는 7.5개의 서로 다른 언어에 분산된 약 100억 쌍의 문장으로 구성되었습니다. 데이터는 일련의 웹 크롤러를 사용하여 웹에서 수집되었으며 수집된 데이터에 있는 언어는 FastText라는 언어 모델을 사용하여 식별되었습니다. 데이터가 수집되면, LASER 2.0이라는 도구를 통해 실행되었습니다. 서로 다른 문장 샘플의 의미를 추출하고 의미에 따라 서로 다른 언어의 문장을 일치시킵니다. LASER 2.0은 Facebook에서 개발되었으며 비지도 학습 알고리즘을 사용하여 임베딩을 생성합니다. 문장 임베딩에는 사용 빈도 및 문장이 서로 얼마나 가깝게 나타나는지와 같은 기능을 기반으로 다양한 문장 간의 관계에 대한 정보가 포함되어 있습니다. 그런 다음 LASER 2.0은 매우 유사한 의미를 가진 문장을 생성할 수 있습니다.

훈련 데이터는 단순히 문장의 의미에 따라 쌍을 이루는 것이 아닙니다. 언어 자체가 함께 그룹화되었습니다. 프로젝트를 주도한 Facebook의 Angela Fan은 전 세계 많은 지역에서 영어가 아닌 두 가지 언어를 사용한다는 점을 지적하면서 두 언어 사이의 매체로 영어를 사용할 필요가 없는 시스템을 설계하는 것이 목표였습니다. 페이스북 엔지니어들은 일반적으로 서로 번역되는 언어를 페어링하는 데 중점을 두고 교육을 진행했습니다. 문화, 언어 유사성 및 지리와 같은 변수를 기반으로 XNUMX개의 서로 다른 언어 그룹이 만들어졌습니다. 예를 들어, 연구자들이 만든 언어 그룹 중 하나는 우르두어, 타밀어, 힌디어 및 벵골어를 포함하여 인도 전역에서 가장 일반적인 언어를 포함했습니다. 이는 일반적으로 쌍을 이루는 언어가 고품질 번역을 받을 수 있도록 하기 위한 것입니다.

언어 그룹 중심의 학습 방법은 몇 가지 흥미로운 결과를 가져옵니다. 결과 번역 모델은 특정 언어 쌍에 대해 현재 존재하는 모델보다 정확도가 더 높은 것으로 나타났습니다. 예를 들어 영어와 벨로루시어를 번역할 때 AI는 벨로루시어가 러시아어와 언어적으로 유사하기 때문에 러시아어를 번역할 때 학습한 특정 패턴을 적용할 수 있었습니다. 마찬가지로, 스페인어가 두 번째로 널리 사용되는 언어이고 작업에 대한 상당한 양의 훈련 데이터가 있었기 때문에 스페인어와 포르투갈어 간의 번역 노력이 향상되었습니다.

번역 시스템이 아직 다루지 않는 약 XNUMX개의 언어가 있으며 많은 학습 데이터가 없는 언어에 대한 모델의 정확도는 사용 준비가 되기 전에 개선되어야 합니다. 동남아시아와 아프리카의 많은 언어에는 신뢰할 수 있는 모델을 교육하는 데 필요한 데이터 양이 부족합니다. 연구팀은 이러한 데이터 부족을 보완할 방법을 결정해야 합니다. 또한 연구팀은 모델이 학습했을 수 있는 인종차별, 성차별 또는 기타 비속한 패턴을 제어하는 ​​방법을 결정해야 합니다. 연구팀은 욕설 필터를 활용했는데 필터는 주로 영어 데이터에 작용한다.

기계 번역 시스템은 아직 Facebook의 소셜 미디어 플랫폼에 사용되지 않았습니다. 현재 모델은 연구 목적으로만 사용됩니다. 그러나 Facebook은 유사한 모델을 설계하고 사이트에서 매일 받는 약 20억 건의 번역 요청을 처리하도록 준비하고 있습니다.