知能インテリジェンス、脳にインスパイアされたAIモデル「HRM-Text」を発表

AI業界が、より大きな言語モデルや巨大なデータセンターに数十億ドルを投入し続ける中、シンガポールのAI研究会社である知能インテリジェンス（Sapient Intelligence）は、異なるアプローチを取っている。

同社は、脳が遅い、慎重な推論と速い、低レベルの処理を分離するように設計された階層型リカレントアーキテクチャに基づく、新しい10億パラメータの推論言語モデル「HRM-Text」を発表した。

同社は、HRM-Textを、推論の深さや計算効率が、生のパラメータ数よりも次のAI開発段階で重要になる可能性があることを示す証拠として位置付けている。

この発表は、AIセクター全体で出現しているより広い傾向を続けるものである。つまり、単にトランスフォーマーを無限にスケールアップするだけでは、より一般的な知能を達成するのに十分ではないという懐疑主義が広がっていることである。

トランスフォーマーの定石を超えて

ほとんどの現代的な大規模言語モデルは、次のトークンの予測に焦点を当てた主にフィードフォワードシステムを使用するトランスフォーマーアーキテクチャに依存している。一方、SapientのHRMフレームワークは、出力が生成される前に複数の推論レイヤーが内部で相互作用する階層型リカレント構造を導入する。

同社は、このアーキテクチャを、抽象的な計画と推論を担当する上位レベルの「遅いコントローラー」と、詳細な計算を担当する下位レベルの「速いワーカー」の2つの相互接続されたシステムで動作するものとして説明している。

これは、現在のAIシステムで広く使用されている「思考の連鎖」方法と異なる。HRM-Textは、長い可視的なテキストシーケンスを介して推論を表現するのではなく、内部の潜在的な空間内で推論の大部分を実行し、次に応答を生成する。

Sapientは、この構造により、巨大なモデルサイズや大量の推論コストに頼ることなく、小規模なシステムがより複雑なマルチステップ推論を実行できることを示唆している。

同社が提供したベンチマーク結果によると、HRM-Textは、MATHで56.2％、ARC-Challengeで81.9％、DROPで82.2％、MMLUで60.7％のスコアを達成した。これは、比較的小規模なフットプリントにもかかわらずである。

効率が戦略的AIの戦場になる

この発表は、AIインフラストラクチャのコスト、電力消費、計算リソースの可用性が、業界の中核的な問題になっている時期に来ている。

現在、最先端のAIシステムのトレーニングとデプロイには、巨大なGPUクラスター、ハイパースケールデータセンター、そして政府やインフラストラクチャプロバイダーから増加する電力消費レベルが必要である。Sapientは、将来的には、より大きなシステムをスケールアップするのではなく、アーキテクチャ自体を根本的に見直すことでブレークスルーがもたらされる可能性があると主張している。

同社は、HRM-Textを、2台のマシンに跨る16個のGPUを使用して約1日でトレーニングでき、約1,000ドルのコストで実行できることを示唆している。一方、最先端の言語モデルは、数百万ドルに及ぶトレーニング予算を必要とすることが多い。

モデルのコンパクトなデプロイプロファイルも注目に値する。int4量子化では、HRM-Textは約0.6 GiBのスペースを占め、スマートフォンやエッジデバイスでのローカルデプロイが理論的に可能になる。

小規模で展開可能なシステムへの焦点は、企業がオンプレミスAI、プライバシーに敏感な推論、クラウドインフラストラクチャに完全に依存しないオフライン推論システムへの移行を進めるにつれて、ますます重要になる可能性がある。

脳にインスパイアされたAIへのより広い推進

Sapientの取り組みは、従来のトランスフォーマースケーリングの代替手段を探求する、AI研究におけるより広い動向を反映している。

同社のHRMアーキテクチャは、階層型処理、時間分離、リカレント計算などの神経科学的概念から多大な影響を受けている。

同社のウェブサイトでは、長期的な目標を、推論、計画、適応的学習が可能なアーキテクチャを通じて、人工一般知能を追求することとしている。ただし、主に統計的記憶に頼るのではなく、そのアプローチを取っている。

同社の研究チームには、DeepMind、DeepSeek、xAIなどの組織からの元貢献者や、MIT、カーネギーメロン大学、清華大学、ケンブリッジ大学などの機関に接続された研究者が含まれている。

Sapientの階層型推論モデルの以前のバージョンは、従来のLLMよりもはるかに小規模なパラメータ数で強力な推論パフォーマンスを達成したことで、AI研究界で既に注目を集めていた。

AI進歩の測定方法の変化

HRMのようなアーキテクチャが最終的に最先端のフロンティアモデルに匹敵するかどうかは、未解決の質問である。AI業界は、すでに有望な代替手段が現れた後に、スケールの経済学によって追い越されることを何度も見てきたからである。

しかし、Sapientの発表は、業界が無制限の拡大の限界に直面している時期に来ている。GPUの不足、電力ボトルネック、推論コスト、より大きなデータセットからの減少するリターンが、研究者にこれまでのAI開発を支配してきた前提を再検討させるように促している。

HRM-Textのようなシステムが改善を続ける場合、AIの進歩を測定する方法が変化する可能性がある。パラメータ数から、効率、推論の深さ、適応性への注目が移る可能性がある。

同社は、HRM-TextをGitHubを通じて完全にオープンソース化した。