計算力の聖杯（The Holy Grail of Computational Power）in AI

すごい進歩を遂げたにもかかわらず、人工知能の能力はまだ現実世界の期待と比較して制限されています。私たちは複雑なモデルを構築し、ニューラルネットワークを実行し、アルゴリズムをテストしますが、時には私たちが最も予想していない場所で進歩が停滞します。

問題は、アルゴリズムやデータではなく、モデルが必要なスケールで学習し、動作することを可能にするリソースである計算能力にあります。なぜこの障壁が存在するのでしょうか。最も期待の高いAIプロジェクトが研究室を超えて進むことができない、重要なリソースを調べてみましょう。

計算力不足とその結果

このテーマを理解するために、モバイル通信の歴史から始めましょう。3Gや4Gネットワークが登場したとき、インターネットはすでにほぼ世界中に広まっていました。5Gが導入されると、多くの人が完全に妥当な質問をしました：「インターネットはより速くなりますが、それで何ができるのですか？」

実際、インターネットの速度の向上はユーザーの利便性に限定されません。技術の全景が変化します。以前は不可能だったユースケースが現れます。5Gは4Gよりもはるかに速く、これは1Gから2Gへの移行のように漸進的なものではなく、指数関数的なものでした。結果として、新しいアプリケーション、デバイス、技術の全クラスが現れました。

信号機のカメラ、リアルタイムの交通分析システム、自動交通制御メカニズム… すべてこれらは新しい通信技術の恩恵を受けます。警察は新しい方法でデータを交換することができ、宇宙では望遠鏡や衛星が大量の情報を地球に送信できます。基礎技術の質的飛躍がエコシステム全体の発展を促進します。

同じ原理が計算能力にも適用されます。人間の合計計算能力を仮想の単位で表してみましょう。今日、私たちが持っているものは、たとえば10個の単位です。これらを使って画像や動画を生成し、テキストを書き、宣伝資料を作成する… これはすでにかなりのものですが、適用可能な範囲は主に制限されています。

今、10個ではなく1000個の単位を持っていると想像してみましょう。突然、以前はあまりにも高価で実行できなかった技術が実行可能になり、計算コストが高いため放棄されたスタートアップが経済的に意味のあるものになります。

例えば、ロボタクシーを考えてみましょう。今日、ロボタクシーは主に車両に搭載された比較的弱いローカルコンピューターに依存しています。しかし、映像フィードを大量の計算リソースを持つクラウドに転送すれば、データをリアルタイムで処理して返すことができます。これが重要です。時速100kmで走行する車は、直進、曲がり、ブレーキ、またはブレーキをしないという決定を秒単位で下す必要があります。

その時、完全に機能するロボタクシー業界が可能になります。今日見られるような孤立したソリューションではなく、完全に機能する業界です。車両に搭載されたローカルコンピューターは、接続されたシステムとは根本的に異なり、制限を受けることになります。スケールアップできるほど、世界は速く変化します。

チップへのアクセスとAIの「ゴールデン・チケット」

計算能力の文脈では、次の質問が生じます。現代のチップへのアクセスは、AI市場への「ゴールデン・チケット」になっているのでしょうか。チップメーカーと契約を結んだり、自分でチップを生産している大手企業は、主要企業とその他のすべての企業の間にギャップを生み出していますか。

そのようなギャップは、ビジネスモデルが大口クライアントにチップを販売することにのみ焦点を当てている場合にのみ生じます。実際、NVIDIAのようなメーカーは、クラウドソリューションをすべてのユーザーに提供することを目指しています。最適化されたチップは、OpenAIや独立した開発者にとってクラウド上で利用可能です。

Google、Anthropic、Microsoft、OpenAI、Amazon、NVIDIAなどの企業間の戦略的提携は、市場を閉鎖しようとする試みではなく、共有リソースの利用に関するパートナーシップです。このモデルにより、計算能力の効率的な割り当てが可能になり、技術の開発が促進されます。

計算リソースの使用の連鎖を追跡すると、それはエンドユーザーから始まります。たとえば、WhatsAppを使用してビデオ通話やメッセージを送信する場合、会社はサービスが動作することを保証する必要があります。データを保存して処理し、ビデオのクリーンアップのためのモデルを実行し、エフェクトを追加し、画像の品質を向上させます。

独自のサーバーを維持することは高価で、古くなり、常にメンテナンスが必要です。したがって、クラウドソリューション、つまり「クラウド」が登場しました。市場は3つのプレーヤー、Google Cloud、AWS、Microsoft Azureによって支配されています。他の会社はこのレベルで競争することができません。インフラストラクチャの規模があまりにも大きいためです。

クラウドサービスは、冷却、電力供給、24時間体制のメンテナンスを備えた大規模なデータセンターです。NVIDIA、AMD、その他のメーカーのサーバーと専用チップが配置されており、大規模な計算プロセスを可能にします。

ここで、私が以前のコラムで議論した、そしてここで続けたい主なボトルネックについての質問に到達します。データセンターの問題は、電力不足なのか、気候が厳しい地域でのデータセンターの冷却の難しさなのか。実際、秘密はチップ自体にあります…

聖杯

なぜNVIDIAは今日、約5兆ドルで評価されており、世界で最も成功した公開企業の1つと見なされているのでしょうか。理由は簡単です。NVIDIAは、AIモデルをトレーニングして推論を実行するためのチップを生産しています。

これらのチップは、巨大なモデルをトレーニングしたり、増え続けるデータのボリュームを処理したりするときに、膨大な量の電力を消費します。しかし、そのエネルギーはどれほど効率的に使用されていますか。ここで、専用チップが重要な役割を果たします。専用チップは、特定のタスクを一般的なGPUよりもはるかに効率的に処理します。

AIモデルは異なります。OpenAIには一つのモデルファミリーがあり、Anthropicには別のファミリーがあります。概念は似ているかもしれませんが、数学的な構造と計算プロセスは異なります。一般的なチップは、OpenAIモデル（例：ChatGPT）とAnthropicモデル（例：Claude）をトレーニングするときに、「ワンサイズフィットアールツール」のように動作し、1つのモデルには10万時間の計算が必要で、もう1つのモデルには15万時間の計算が必要です。効率は大きく異なり、ほとんどの場合、最適化されていません。

企業は、この問題を解決するために専用チップを生産しています。たとえば、1つのチップはChatGPTアーキテクチャに最適化されており、20分でトレーニングを完了できます。別のチップはAnthropicのアーキテクチャに適合しており、もちろん20分でトレーニングを完了できます。エネルギー消費とトレーニング時間は、一般的なチップに比べて何倍も削減されます。

これらのチップが大企業に販売されると、スタンドアロン製品として提供されます。ユーザーは、YOLOモデル用に最適化されたチップや、Xenアーキテクチャ用のよりシンプルで安価なチップを選択できます。

この傾向は明らかです。専用チップは、一般的なチップを徐々に置き換えています。多くのスタートアップは、特定の計算タスク用に設計されたASIC（Application-Specific Integrated Circuit）と協力しています。最初のASICはビットコイン・マイニング用に登場しました。最初は、ビットコインはNVIDIAのGPUでマイニングされていましたが、後にビットコイン専用のチップが開発され、他のタスクを実行することはできませんでした。

私は実践でこれを見ています。同じハードウェア構成は、タスクによって完全に異なる結果を生み出すことができます。私のスタートアップ、Introspectorでは、実際のプロジェクトでこれらのプロセスを研究しています。さらに、Keymakrの戦略アドバイザーとして、クライアントが専用チップから効率を得ていることを観察しています。これにより、モデルはより速く実行され、以前はトレーニングまたは推論中に停滞していたプロジェクトは、安定した結果に到達します。

しかし、狭い専門化にはリスクがあります。Anthropicのアーキテクチャ用に最適化されたチップは、OpenAIモデルのトレーニングには機能しません。逆もまた同様です。各新しいアーキテクチャには、新しいハードウェアの世代が必要であり、これにより大量の「廃棄物」が生じるリスクがあります。Anthropicが明日新しいアーキテクチャをリリースしたとします。すべての前世代のチップは非効率的または無用になります。新しいチップを生産するには数十億ドルかかり、数年かかる可能性があります。

これにより、ジレンマが生じます。狭いシナリオで完璧に機能する専用チップを作るべきでしょうか。あるいは、すべてのタスクを中程度の効率で実行する一般的なチップを続けるべきでしょうか。アーキテクチャが変更されると、完全な置き換えを必要としないように。

効率は、実行時間、電力消費、熱生成の3つの主要パラメータで測定されます。これらのメトリックは直接関連しています。システムが長く実行されると、より多くのエネルギーを消費し、より多くの熱を生成します。1つのパラメータを削減すると、他の2つのパラメータも自動的に改善されます。

ここに、AIパフォーマンスの「聖杯」があります。基本的な効率メトリックの1つを最適化できる場合、他のメトリックはほぼ自動的に改善されます。

持続可能なプロセス

専用チップの使用が増えるにつれて、過剰生産のリスクが課題となっています。現在、機器の余剰はすでに大きく、企業はさまざまな持続可能な方法でこの問題に対処しています。包括的なリソースの再利用がその1つです。

機器のリサイクルは、高度な技術産業での持続可能な開発の重要な要素となりました。チップには、貴金属、金、銅、アルミニウム、パラジウム、希少な材料など、多くの貴重な金属や基礎金属が含まれています。機器が古くなると、これらの貴重なリソースを新しい部品の生産に戻すことができます。新しいコンポーネントのコストを削減すると同時に、産業の環境への影響も低減します。

一部の専門工場や企業は、古いコンポーネントから貴金属をリサイクルして抽出することに重点を置いています。例えば、一部の施設では、水溶性冶金プロセスや高度な化学的手法を使用して、金や銅を高純度で抽出しています。これにより、これらの材料を新しいチップで再利用することができます。

さらに、企業は、古い機器を新しいソリューションにアップグレードまたは統合することで、一次資源の抽出の必要性を減らす、クローズドループモデルを実施しています。こうしたアプローチは、廃棄物を最小限に抑えるだけでなく、生産の炭素フットプリントも低減します。伝統的な採掘や金属加工には大量のエネルギーが必要になるからです。

チップや機器のライフサイクルの持続可能な管理は、産業の標準となり得ます。ここで、技術の進歩が環境責任と一致しています。