10 Best Machine Learning Algorithms

私たちがGPUアクセラレーテッドマシンラーニングの時代に生きているにもかかわらず、最新の研究論文では頻繁に（そして目立つように）数十年、場合によっては70年前に開発されたアルゴリズムが特集されている。ある人々は、これらの古い方法の多くが「統計分析」ではなく「マシンラーニング」のカテゴリに入るべきだと主張し、1957年のパーセプトロンの発明以降にセクターの出現を遡ることを好むかもしれない。ただし、これらの古いアルゴリズムが最新のトレンドやマシンラーニングの開発にどれほど貢献しているかを考えると、これは議論の余地がある。したがって、最新の革新や注目すべき開発を支える「クラシック」な基盤や、新しいエントリーをいくつか見てみましょう。

1: トランスフォーマー

2017年、Google Researchは論文Attention Is All You Needを発表し、エンコーダー/デコーダーと再帰型ネットワークモデルにおける「パイプ」メカニズムから中央の変換技術へのアテンションメカニズムを促進する新しいアーキテクチャを概説した。このアプローチは、トランスフォーマーと呼ばれ、自然言語処理（NLP）で革命的な方法論となり、オートレグレッシブ言語モデルやAIのポスターキャラクターであるGPT-3を含む多くの例を動かしている。

トランスフォーマーは、シーケンストランスダクション（「変換」とも呼ばれる）という問題を優雅に解決した。これは、入力シーケンスを出力シーケンスに処理することに関係している。トランスフォーマーは、シーケンスではなく連続的にデータを受け取り管理するため、RNNアーキテクチャでは取得できない「記憶の持続性」を可能にする。トランスフォーマーの詳細については、参考記事を参照のこと。
CUDA時代にマシンラーニング研究を支配し始めた再帰型ニューラルネットワーク（RNN）とは対照的に、トランスフォーマーアーキテクチャは簡単に並列化できるため、RNNよりもはるかに大きなデータセットに対処できる。
一般的な使用
トランスフォーマーは、2020年にOpenAIのGPT-3がリリースされたときに、一般の人々の注目を集めた。GPT-3は当時、175億パラメーターという記録的な数のパラメーターを持っていた。これは後に、2021年にリリースされたMicrosoftのMegatron-Turing NLG 530Bなどの後続プロジェクトによって上回られた。Megatron-Turing NLG 530Bは、名前の通り、530億を超えるパラメーターを持っている。

ハイパースケールTransformer NLPプロジェクトのタイムライン。 出典: Microsoft