バイドゥがグーグルとマイクロソフトを上回り、言語理解の新しい手法を開発

中国最大のテクノロジー企業の一つであるバイドゥは、最近、新しい手法でAIに言語を理解させる方法を開発しました。TechnologyReviewによると、同社はGeneral Language and Understanding Evaluation（GLUE）コンペティションでマイクロソフトとグーグルを上回り、最先端の結果を達成しました。

GLUEは、9つの異なるテストで構成されており、各テストは言語理解のための異なるタスクを測定しています。たとえば、文章の中でのエンティティの名前を判断したり、複数の候補がある場合に「it」という代名詞がどのような意味を持つかを判断したりします。平均的な人間は、GLUEで87点ほどのスコアを獲得しますが、バイドゥの新しいモデルであるERNIEは90点台を達成しました。

研究者はGLUEでのモデル性能を向上させるために不断に努力しています。したがって、バイドゥが現在設定した基準はすぐに上回られる可能性があります。しかし、バイドゥの成果が注目に値するのは、同社が使用する学習アプローチが他の言語にも一般化できる可能性があることです。ERNIEは「Enhanced Representation through knowledge Integration」の略称で、BERT（「Bidirectional Encoder Representations from Transformers」）言語モデルの開発に続くものです。

BERTは、双方向モデルの開発により言語理解の新しい基準を設定しました。以前の言語モデルは、データが一方向に流れるのみを解釈できました。BERTは、ターゲットワードの前後の単語を使用して意味を判断できる双方向アプローチを実現しました。BERTは、単語を隠して文脈を分割するマスキング技術を使用して双方向分析を可能にしました。

英語では、単語が主な意味の単位です。人々は、単語全体を見て意味を判断し、単語を文脈から外しても意味は維持されます。ただし、中国語は、文字が他の文字と組み合わせて意味を判断することに依存しています。文字の意味は、周囲の文字によって異なる場合があります。

バイドゥの研究チームは、BERTが使用したモデルを拡張し、文字の文字列を隠してマスキングしました。AIシステムは、ランダムな文字列と意味のある文字列を区別するように訓練され、適切な文字列をマスキングすることができました。ERNIEは、テキストドキュメントから情報を抽出して機械翻訳を実行することができます。研究チームは、訓練方法が英語のフレーズを他のモデルよりも良く判断できるモデルにもなったことを発見しました。これは、英語では、単語が組み合わせて異なる意味を表すことがあります。固有名詞や慣用句、口語的な表現は、こうした言語現象の例です。

ERNIEは、パフォーマンスを最適化するために、文章の順序や距離を分析するなどの他の訓練方法も使用しています。継続的な訓練方法も使用されており、ERNIEは新しいデータに基づいて新しいパターンを学習し、既存の知識を忘れないことができます。

バイドゥは現在、ERNIEを使用して検索結果の品質を向上させています。ERNIEの最新アーキテクチャについては、2020年のAssociation for the Advancement of Artificial Intelligenceカンファレンスで発表される論文で詳細が説明される予定です。