Baidu, Google과 Microsoft를 제치고 언어 이해를 위한 새로운 기술 개발

중국에서 가장 큰 기술 회사 중 하나인 Baidu는 최근 AI가 언어를 이해하도록 가르치는 새로운 방법을 개발했습니다. 처럼 TechnologyReview에서 보고한, 회사는 최근 GLUE(General Language and Understanding Evaluation) 대회에서 Microsoft와 Google을 제치고 최첨단 결과를 달성했습니다.

GLUE는 87가지 테스트로 구성되어 있으며 각 테스트는 문장에서 엔티티의 이름을 식별하고 잠재적인 후보가 많을 때 대명사 ​​"it"이 어떤 맥락에서 사용되는지 식별하는 것과 같이 언어 이해에 중요한 다른 작업을 측정합니다. . 평균적인 인간은 일반적으로 GLUE에서 100점 만점에 약 XNUMX점을 얻습니다. Baidu의 새 모델은 에니, 90점 임계값을 깨뜨렸습니다.

연구원들은 항상 GLUE에서 모델의 성능을 개선하기 위해 노력하고 있으므로 Baidu가 설정한 현재 표준은 곧 능가할 것입니다. 그러나 Baidu의 성과를 눈에 띄게 만드는 것은 그들이 사용하는 학습 접근 방식이 다른 언어로 일반화될 수 있는 것처럼 보인다는 것입니다. 이 모델은 중국어를 해석하기 위해 개발되었지만 동일한 원칙으로 영어를 더 잘 해석할 수 있습니다. ERNIE는 "지식 통합을 통한 향상된 표현"의 약자로, BERT  ("트랜스포머의 양방향 인코더 표현") 언어 모델.

BERT는 양방향 모델이라는 사실로 인해 언어 이해에 대한 새로운 표준을 설정했습니다. 이전 언어 모델은 대상 단어 앞이나 뒤에 오는 단어를 컨텍스트로 보고 한 방향으로만 흐르는 데이터만 해석할 수 있었습니다. BERT는 대상 단어의 의미를 파악하는 데 도움이 되도록 문장에서 이전 단어와 이후 단어를 모두 사용할 수 있는 양방향 접근 방식을 구현할 수 있었습니다. BERT는 마스킹이라는 기술을 사용하여 문장에서 단어를 선택하고 숨기는 양방향 분석을 가능하게 합니다. 이 기술은 이전 및 후속 컨텍스트 단서에서 해당 단어에 대한 가능한 컨텍스트를 분할합니다.

영어에서 단어는 지배적인 의미 단위이며, 사람들은 의미를 식별하기 위해 개별 문자보다는 전체 단어를 봅니다. 문맥에서 단어를 제거해도 해당 단어의 의미는 그대로 유지되며 개별 문자의 의미는 거의 항상 동일합니다. 대조적으로 중국어는 의미를 식별할 때 문자가 다른 문자와 어떻게 일치하는지에 훨씬 더 의존합니다. 캐릭터는 주변 캐릭터에 따라 다른 것을 의미할 수 있습니다.

Baidu 연구 팀은 본질적으로 BERT가 사용한 모델을 가져와 확장하여 전체 단어 대신 문자열을 숨겼습니다. AI 시스템은 또한 올바른 문자열을 마스킹할 수 있도록 임의의 문자열과 의미 있는 문자열을 구별하도록 훈련되었습니다. 이를 통해 ERNIE는 텍스트 문서에서 정보를 검색하고 기계 번역을 수행하는 데 능숙합니다. 연구팀은 또한 그들의 훈련 방법이 다른 많은 모델보다 영어 구문을 더 잘 구별할 수 있는 모델을 만들어냈다는 것을 발견했습니다. 드물기는 하지만 영어는 때때로 함께 결합될 때와 단독으로 있을 때 다른 의미를 표현하는 단어 조합을 사용하기 때문입니다. “오래된 블록을 치워라”와 같은 적절한 이름과 숙어 또는 구어체는 이러한 언어 현상의 예입니다.

ERNIE는 단락을 해석할 때 문장 순서와 거리를 분석하는 것을 포함하여 성능을 최적화하기 위해 여러 다른 교육 기술을 사용합니다. ERNIE가 이전에 습득한 지식을 잊지 않고 새로운 데이터를 훈련하고 새로운 패턴을 학습할 수 있도록 지속적인 훈련 방법도 사용됩니다.

Baidu는 현재 검색 결과의 품질을 향상시키기 위해 ERNIE를 사용하고 있습니다. ERNIE의 최신 아키텍처는 2020 Association for the Advancement of Artificial Intelligence(XNUMX Association for the Advancement of Artificial Intelligence) 컨퍼런스에서 발표될 예정인 논문에 자세히 설명되어 있습니다.