Pathway、500Mドルでの新規資金調達でポスト・トランスフォーマーAIを拡大

AI研究会社Pathwayは、$500万ドルの評価で追加の資金調達を実施し、合計30万ドルのシード資金を調達し、ポスト・トランスフォーマー・アーキテクチャを基にした新しいモデルを拡大する準備を進めています。

この資金調達には、Id4 Ventures、TQ Ventures、Red Bridge Ventures、Kadmos Capital、およびWS Investment Co.、Databricks Chief AI Scientist Jonathan Frankleが参加しています。Pathwayは、新しい資本の多くをコンピューティング能力の拡大に充てる予定で、NVIDIA GB300システムを含むものです。

PathwayのBDH-CQ推論モデルの新しい結果が資金調達とともに発表され、資金調達に技術的な背景が付与されました。Pathwayによると、150百万パラメータのモデルは、ARC-AGI-1評価セットで29.5%のスコアを達成し、推論コストは約0.0007ドル/タスクでした。

資金調達は、Pathwayがブルートフォース・スケーリングに対抗する道を選択する

現在のフロンティア・モデル・レースの多くは、スケールを中心に展開しています。より大きなクラスター、より多くのトレーニングデータ、より多くのパラメータ、テスト時におけるより多くのコンピューティング能力が必要です。Pathwayは、業界のコストとメモリの制限が、コンピューティング能力を追加することで解決できる問題ではなく、アーキテクチャ的な問題であると主張しています。

そのテーゼは、PathwayのBDH（Dragon Hatchling）アーキテクチャの中心にあります。Pathwayは、BDHを、推論、メモリ、適応をモデル自体に組み込むことを目的としたポスト・トランスフォーマー・デザインであると説明しています。コンテキスト・ウィンドウの拡大や外部メモリ・システムへの依存ではなく、モデル自体に推論、メモリ、適応を組み込むことを目的としています。

アーキテクチャは、永続的な状態、スパース・アクティビティ、ローカル・インタラクション、継続的な調整などのアイデアを取り入れています。Pathwayは、この設計を生物にインスパイアされたものであると説明しています。脳の機能を直接再現しようとするものではなく、生物の機能にインスパイアされたものです。

新しい資金調達により、Pathwayは、BDHモデルをより大規模に拡大するためのリソースを得ることができます。

Pathwayは、Adam Kurzrokをチーフ・プロダクト・オフィサーとして迎えました。Kurzrokは、Google DeepMindのGeminiでグループ・プロダクト・マネージャーを務めていた人物で、BDHベースのモデルのパッケージ化、評価、展開に関する製品の方向性をリードすることになります。

Pathwayは、Transformerの共同発明者であるŁukasz Kaiser、Frankle、NYUのMartín Farach-Colton教授、経済学者Jacques Attaliを含む諮問委員会を正式に設立しました。

BDH-CQが異なる点

BDH-CQは、コンテキスト内学習と反復的潜在的推論を中心に設計された、BDHアーキテクチャの拡張です。

BDH-CQは、モデルが中間的な推論を生成されたテキストとして表現するのではなく、連続的な潜在的なワークスペース内で反復的な計算を実行します。推論時に提供される例は、反復的なメモリ状態を更新し、システムは新しい問題を内部で処理してから答えをデコードします。モデルのパラメータは、このプロセス中固定されます。

これは重要です。トークンに基づく推論は、推論のトレースが長くなるにつれて高価になる可能性があります。従来の連鎖的思考アプローチでは、中間的なステップは順番に生成され、後に推論プロセスの後半に再びフィードされます。

BDH-CQは、推論の多くを内部状態に保持するように設計されており、推論の各中間ステップをテキストとしてシリアライズする必要がありません。

この区別は、言語ベースの推論が本質的に古くなったことを意味しません。Pathwayは、ある程度の推論ワークロードを、各中間計算ステップをテキストとしてシリアライズする必要なく、より効率的に処理できるかどうかをテストしています。

ARC-AGIの結果はコスト効率を中心に据える

資金調達に伴う最も注目すべき結果は、ARC-AGI-1ベンチマークから来ています。ARC-AGI-1は、AIシステムが少数の例から変換を推論し、未見の入力にルールを適用できるかどうかをテストするために設計されています。

Pathwayの150百万パラメータのBDH-CQモデルは、400タスクのARC-AGI-1評価セットで29.5%のパス@2を達成しました。

技術評価では、各タスクは約0.85秒のNVIDIA H200 GPU時間を要し、H200のコストを1時間あたり3ドルと仮定すると、約0.00070ドルの推論コストが計算されました。

Pathwayは、これがARC-AGI-1のコスト対精度のパレート・フロンティアを超えたことを示していると主張しています。

重要な点は、150百万パラメータのシステムが現在最高の絶対的なARCスコアを持っていることではなく、PathwayがBDH-CQモデルが1ドルあたりの推論コストで何큼の推論パフォーマンスを提供できるかを重視していることです。

これは、企業がAIシステムを、たまに会話するチャットボットのやり取りから、エージェントやその他のシステムに移行し、多数の推論操作を継続的に実行するようになるにつれて、重要性が高まる可能性があります。

技術的結果は、BDH-CQが苦戦する点も示している

より広範な評価は、見出しのベンチマークよりもニュアンスに富んだ絵を描いています。

ConceptARCでは、推論問題をさまざまな概念カテゴリに分割しています。BDH-CQは、境界拡張や塗りつぶされた領域と未塗りつぶされた領域の区別を含むいくつかのタスクで特に優れています。一方、コピーと順序付けを含む領域はより困難でした。

制御された実験では、同様のパターンが生じました。

境界伝播とコピーは、テストされた範囲内で正確性が維持されました。順序付けシーケンスが長くなるにつれて、パフォーマンスはより大幅に低下しました。ネストされた関係問題も、必要なネストの深さが増加するにつれてより困難になりました。

研究者は、目標問題の複雑さに近いデモンストレーションを提供することで、パフォーマンスを大幅に改善できることがあることも発見しました。これは、システムが受け取った例からどれだけ遠くまで外挿できるかという制限が、パフォーマンスの低下の一因であることを示唆しています。

これらの弱点は重要です。ARC-AGIは、視覚的な推論ベンチマークであり、ARCでのコスト効率の優位性は、BDHアーキテクチャが一般的な言語モデルよりも優れていることを示すものではありません。

代わりに、結果は、洗練された推論能力が、巨大なパラメータ数や長い推論トークン・シーケンスを必要としないという、より狭いながら重要なアイデアの証拠を提供します。

PathwayはリアルタイムAIのインフラストラクチャも構築中

Pathwayの取り組みは、ポスト・トランスフォーマー・モデルへの取り組み以前から始まっています。BDHと並行して、Pathwayは、ストリーミング・データ、リアルタイム・分析、大規模言語モデル・アプリケーション、リトリーバ強化生成を対象としたデータ処理フレームワークを開発しています。

このプラットフォームは、AIシステムが静的なデータセットや定期的に再構築されるインデックスに依存するのではなく、継続的に変化する情報と連携するように設計されています。

このインフラストラクチャの背景は、Pathwayの研究方向と密接に一致しています。Pathwayの既存のテクノロジーは、AIアプリケーションを外部データの変化と同期させることに焦点を当てています。一方、BDHは、永続的なメモリと適応が、モデル・アーキテクチャの特性となる可能性があるかどうかを探究しています。

これは、AIエージェントや長時間実行されるシステムが、新しい情報に反応しながら状態を維持する必要がある場合に重要になる可能性があります。

Pathwayの次のステップ

Pathwayは、新しい資本を利用して、モデルの容量を増やし、より幅広いBDHベースのシステムをトレーニングする予定です。

Pathwayのロードマップには、数学的推論、ARC-AGI-2およびARC-AGI-3、および潜在的な推論を組み込んだ大規模言語モデルの開発が含まれます。

会社は、1億から600億パラメータの範囲で事前トレーニング実験を行ったところ、トランスフォーマーのようなスケーリングの挙動が見られたものの、BDHの潜在的な推論アプローチの特徴が維持されたと報告しています。

これは、BDHアーキテクチャの利点が、大規模で汎用的なモデルにわたって維持されるかどうかの初期的な兆候ですが、まだ証明ではありません。

Pathwayは、金融、ヘルスケア、テクノロジーなどの分野をターゲットにしています。ここでは、永続的なメモリ、変化する情報、推論コストが、AIシステムがより長期間のワークフローに移行するにつれて、特に重要になる可能性があります。

現在、500万ドルの評価は、業界の優勢なスケーリング戦略に対する代替案への重要な賭けを表しています。PathwayがBDHを、比較的制約のある推論ベンチマークから、言語、数学、エージェント、リアルワールド・アプリケーションにわたるアーキテクチャの利点を示すことができるかどうかが、より重要なテストになるでしょう。