바이두, 구글과 마이크로소프트를 제치고 새로운 언어 이해 기법 개발

중국의 대형 테크 기업 중 하나인 바이두는 최근에 새로운 방법의 언어 이해를 위한 인공지능 교육 방법을 개발했습니다. 테크놀로지 리뷰에 따르면, 바이두는最近 마이크로소프트와 구글을 제치고 일반 언어 이해 평가(GLUE) 대회에서 최고의 성적을 거두었으며, 이는 현재까지 최고의 성적으로 평가되고 있습니다.

GLUE는 9개의 서로 다른 테스트로 구성되어 있으며, 각 테스트는 언어 이해에 중요한 작업을 측정합니다. 예를 들어, 문장에서 개체 이름을 식별하는 것과 여러 개의 잠재적인 후보가 있는 경우 “it”이 사용되는 문맥을 식별하는 것입니다. 평균적으로 인간은 GLUE에서 87점을 얻을 수 있습니다. 바이두의 새로운 모델인 ERNIE는 90점을 돌파했습니다.

연구자들은 항상 GLUE에서 모델의 성능을 개선하려고 노력하고 있기 때문에, 바이두가 설정한 현재 기준은 곧 깨질 가능성이 있습니다. 그러나 바이두의 성과가 주목할 만한 것은 그들이 사용하는 학습 접근 방식이 다른 언어에도 일반화될 수 있다는 것입니다. 모델은 중국어를 해석하기 위해 개발되었지만, 같은 원리는 영어 해석에도 더 나은 성능을 보여줍니다. ERNIE는 “Enhanced Representation through knowledge Integration”의 약자이며, BERT(“Bidirectional Encoder Representations from Transformers”) 언어 모델의 개발에 이어졌습니다.

BERT는 양방향 모델로서 언어 이해의 새로운 기준을 세웠습니다. 이전 언어 모델은 오직 한 방향으로만 데이터를 해석할 수 있었지만, BERT는 이전과 이후의 단어를 모두 사용하여 타겟 단어의 의미를 파악할 수 있습니다. BERT는 마스킹 기법을 사용하여 양방향 분석을 가능하게 합니다. 문장에서 단어를 선택하고 숨기면, 그 단어의 가능성 있는 문맥을 분할하여 이전과 이후의 문맥을 제공합니다.

영어에서 단어는 주된 의미 단위입니다. 사람들은 전체 단어를看着 의미를 파악하며, 단어를 문맥에서 분리해도 그 단어의 의미는 유지됩니다. 반면에, 중국어는 문자가 다른 문자와 어떻게 결합되는지에 따라 의미를 파악합니다. 문자는 주변 문자에 따라 다른 의미를 가질 수 있습니다.

바이두 연구 팀은 기본적으로 BERT 모델을 확장하여 문자열을 숨기는 대신 문자열을 숨겼습니다. 또한 AI 시스템은 무작위 문자열과 의미 있는 문자열을 구별하도록 훈련되었습니다.这样하면 ERNIE는 텍스트 문서에서 정보를 검색하고 기계 번역을 수행하는 데 능숙해집니다. 연구 팀은 또한 그들의 훈련 방법이 영어 구를 더 잘 구별하는 모델을 생성한다는 것을 발견했습니다. 이는 영어가 때때로 단어를 결합하여 다른 의미를 나타낼 수 있기 때문입니다. 고유명사와 관용구 또는 속어는 이러한 언어 현象의 예입니다.

ERNIE는 성능을 최적화하기 위해 여러 다른 훈련 기법을 사용합니다. 예를 들어, 문장 순서와 거리를 분석하여 문단을 해석합니다. 또한 연속적인 훈련 방법을 사용하여 ERNIE는 새로운 데이터에 대해 훈련하고 새로운 패턴을 학습하면서 이전에 습득한 지식을 잊지 않습니다.

바이두는 현재 ERNIE를 사용하여 검색 결과의 품질을 향상시키고 있습니다. ERNIE의 최신 아키텍처는 2020년 인공지능 학술대회에서 발표될 예정입니다.