ズザンナ・スタミロフスカ、Pathwayの共同創設者兼CEO – インタビュー・シリーズ

ズザンナ・スタミロフスカ、Pathwayの共同創設者兼CEOは、エマージェント現象や大規模ネットワークの進化について研究していた研究者です。彼女のプロジェクトは、米国国立科学アカデミーによって認められ、彼女は複雑なシステムの博士号を持っています。ズザンナは、CTOのヤン・チョロフスキーとCSOのアドリアン・コソフスキーとともに、チームを率いています。チームはすでに、GitHubで62,000以上のスターを持つオープンなAIツールを構築しています。

Pathwayは、AIモデルの考え方を再考しています。システムがバッチではなく、継続的に適応的に動作することを目指しています。裏では、ツールとアーキテクチャが、モデルがリアルタイムで処理、学習、進化できるようにしています。同社は、トランスフォーマーの共同発明者であるルカシュ・カイザーを含む著名人やベンチャー企業からバックアップを受けています。

Pathwayを立ち上げた動機と、複雑なシステム、ゲーム理論、エマージェント現象の研究が会社のビジョンと技術的な方向性にどのように影響したかについて説明してください。

私たちは、人間のように考え、適応するAIを作りたいと思っていました。私たちは、AIシステム（ディープラーニングモデルや、より大きなブロックから構成されるマシンラーニングパイプライン）が、環境からのデータに基づいて継続的に学習し、経験を積むにつれて改善し、時には「前の世界観を修正する」ことができるようにしたいと思っていました。実際、私たちは「マシンの忘却」のトピックでかなりの報道を受けました。モデルに加えて、データをキャプチャしてダイナミックなシステムに即座にフィードするためのエンジニアリングの層が必要でした。

複雑なネットワークのエマージェント現象について研究した経験から、私はいくつかの仮説を立てました。私たちはこれらの仮説をBDHに直接適用しました。面白いことに、私は同僚（アドリアン、CSO、ヤン、CTO）と一緒にいくつかの賭けを行い、いくつかの優れたコニャックのボトルを勝ち取りました。まず、私たちは、自然な知能が脳内のニューロンとシナプスのエマージェントな構造と作用の結果であると信じていました（これは明らかで、賭けではありません）。2番目に、私の以前の研究から、私は一般的に、機能がネットワークを形作ることを知っていました（この賭けに勝ちました）。過去の研究では、私はこれを貿易について発見しました。神経科学者は、鼠などの神経や感覚について研究しました。3番目に、ネットワーク構造の形成は、各ネットワークの位置（この場合はノードはニューロンである）の「近傍」と呼ばれるものに直接リンクされた非常にローカルなルールに従う必要があるという事実でした（この賭けにも勝ちました）。その他の部分は、粒子相互作用システム（例えば磁気）から来ました。ここでは、粒子が外部フィールドに合わせてスピンを調整し、ある種の「自発的秩序」を作り出します。この数学は、私がグラフ上のゲーム理論で使用しました。すべてをまとめると、会社が存在する最初の日から、私たちは、疎性（グラフのような構造）がAIの進歩のための重要なステップであるという強い信念を持っていました。
時間の概念を考慮することが重要で、私の背景から特徴的でした。なぜなら、エマージェント現象は通常時間の経過とともに発生するからです。

2020年に会社を立ち上げたとき、将来のAIシステムがどのように違うべきかについて、どのような仮説を持っていましたか？それらの見解はどのように進化しましたか?

私たちは、AIがライブで、適応的で、大規模なプロセスに統合されている必要があるという強い信念を持っていました。生のデータから直接学ぶ必要があります。

最初に、私たちはより伝統的なマシンラーニングアプローチに対してこれを行い、システムを実際の世界で簡単に展開できるようにするためのエンジニアリングの層を構築しました。現在、私たちはこのアプローチをディープラーニングに持ち込みました。
私たちは、時間と構造（ネットワーク）の要素がAGIへの進歩のための重要なものであると信じていました。私たちは、これを2020年の創設文書に書きました。

「ポスト・トランスフォーマー」アーキテクチャについて説明してください。現在のトランスフォーマー・ベースのシステムとはどのように異なりますか?

私たちの新しいアーキテクチャ、Baby Dragon Hatchling（BDH）は、トランスフォーマーが情報を処理する方法と、脳で推論が発生する方法を正式に接続しています。
BDHは物理システムのように動作します。脳のようなコンピューティング・モデルで、ニューロンが次の最も関連性の高い事実を発見するために共同で努力します。コンテキストの推論は、トランスフォーマーの固定コンテキストの長さなどのエンジニアリングの制限によって制限されません。モデル内のニューロンの数によって拡張されます。

これをより技術的な用語で説明すると、BDHでは、トランスフォーマーとは異なり、線形の注意、疎なキー・クエリ・ベクトル、コンテキスト・ウィンドウのサイズの制限がありません。

このアプローチにより、実行中に学習し、長い推論の連鎖を維持し、コンテキストで継続的に適応するシステムが可能になります。

システムの重要な特徴は、局所性です。重要なデータは、処理されるサイトのすぐ隣に配置されます。これにより、コミュニケーションが最小限に抑えられ、推論モデルにおける最も痛みを伴うボトルネックであるメモリからコアへの帯域幅が排除されます。

人間の推論、特に適応性と継続的な学習を可能にするアプローチはどのようにして人間の推論からインスピレーションを得ていますか?

BDHは、自然な知能と自然な知能をより近づけます。

このアーキテクチャは、脳内のニューロンとシナプスの働き方に着想を得ています。生物学的な注意メカニズムを、機械学習における注意の計算概念にマッピングし、トランスフォーマーと脳の間の拡張可能なブリッジを構築しています。

BDHは、注意をモデル・パラメーターの近くに配置し、同じ脳のようなシステム・ダイナミクスの2つの反映として提示します。注意は、推論中に新しい事実が発生したときに速いレートで変更され、モデル・パラメータはシステムが長期的な習慣を変更するときによりゆっくり変更されます。これは、脳での推論の仕組みに近いと考えられています。

私たちは、BDHを、タスクの途中で推論し、経験を積むにつれて改善し、再トレーニングなしに適応するAIシステムの設計に向けた重要なステップと見なしています。

リアルタイムで学習するAIシステムでは、安定性と適応性のバランスをとることが課題です。システムが過去の知識を失うことなくリアルタイムで学習できるようにするには、どうすればよいですか?

BDHは、スケール・フリーの構造と局所的なニューロン状態を利用して、長い推論の時間軸上で推論を維持し、安定性と新しい知識や観察を統合する能力のバランスをとります。この自然な健康のバランスは、モデルの一生を通じて簡単に抽出して従うことができます。

BDHでは、推論を知能の基盤として配置しています。現在の作業では、大規模言語モデルにおける知識の役割に関する仮説について進歩を遂げています。知識は「真実」ではなく、特定のコンテキストで推論の連鎖を進めるのに「有用」であるということです。たとえば、知識がコンテキスト化されると、自然の法則に従う世界と、妖精や魔法の存在を認める民話の両方を考慮することができます。同様に、モデルは、より楽観的またはより悲観的な仮定を持つさまざまな予測の仮説を、単一の思考の連鎖で考慮することができます。

BDHに基づくモデルは、生涯を通じてコンテキスト化された方法で新しい事実を取得します。コンテキストからモデル・パラメータへの知識の転送を容易にフォローし、グラニュラーに制御することで、それらは自己修正できます。アーキテクチャは、「古い」コンテキストが不適切なタイミングで再現されるリスクを軽減するのに役立ちます。

これらの機能を大規模に提供するライブ・データ・プロセッシング・エンジンの構築におけるエンジニアリングのトレードオフについて説明してください。

Pathwayのエンタープライズ・オファリングは、市場で最も速いデータ・プロセッシング・エンジンに依存しています。このエンジンは、リアルタイムの入力の処理と、新しい情報に低遅延で対応する能力の基盤となります。現在のBDHのブレークスルーにより、基本的なAIモデルがデプロイでこのリアルタイムの適応性を提供することを保証します。大規模なデプロイのための私たちの包括的な目標は、静的な最適化から、長期的な推論を処理できるインフラストラクチャの構築への移行です。

この次のステージのAIを真正に必要とする、最も魅力的で信憑性のあるユースケースは何ですか? 現在のトランスフォーマー・ベースのシステムはどこで失敗していますか?

多くのイノベーションが、ジェネレーティブAIを新しい情報に迅速に適応させ、時間のタスクに深く依存させる機能を拡張しました。しかし、まだ、高度に才能のある人を雇用することを代替できないものがあります。

非常に簡単な答えは、現在、人間の専門家によって2時間17分の連続した作業が必要なタスクです。これは、METERによると、GPT5の現在の限界です。

私たちは、エンタープライズのデザイン・パートナーと深い個人化、ジョブで学習するモデル、デプロイのセキュリティが必要な企業との素晴らしい議論をしました。

BDHにより、企業は比較的簡単に、以下のような高度な複雑なプロセスに取り組むことができます。

• 上場企業の四半期を閉じる
• 高リスク環境での次のベストな行動方針のダイナミック生成は、セールスと防衛の両方で非常に関連性があります。
• 投資管理

NATOはすでに、Pathwayのテクノロジーを使用して、軍事的および社会的なリアルタイム・データを処理し、状況が発展するにつれて適応する計画システムを可能にしました。La Posteは、PathwayのLive AIを使用して、運用をリアルタイムで動的に管理しています。データが希少または機密である金融やヘルスケアなどの業界は、より深い洞察とより信頼性の高い判断を提供するために、データを必要としないモデルから利益を得ることができます。

NATO、La Poste、またはFormula 1などの組織がテクノロジーをどのように適用し、どのような影響を与えたかについて、例を挙げてください。

NATO、La Poste、Formula 1チームは、Pathwayテクノロジーの早期採用者です。

Pathwayは、NATOに革新的なデータ処理テクノロジーを提供し、大規模な重要な用途のための新しい機能を解放します。私たちの機能デモ、Reinforcement Enablement Simulation Tool（REST）を使用して、NATO向けのAIサポート・ソリューションの開発のための基盤を開発しました。オープンソース・データにPathwayを接続することで、NATOは状況認識を迅速化し、2020年代に成功するために必要なレベルに引き上げました。

La Posteは、Pathwayを使用して、輸送ユニットに関連するプロセスを改善しています。Pathway Frameworkを使用して、La Posteは運用を自動的にリアルタイムで予測し、運送運用の質的分析を生成しています。Pathwayを使用することで、同社はロジスティクスを動的に最適化し、到着時間、処理時間/リード時間を短縮し、信頼性を高めました。また、運用コストを大幅に削減しました（一部のケースではTCOが50%削減）。

Formula 1レーシングチームは、Pathwayを使用して、高圧力のリアルタイム環境下で戦略を適応させます。同社は、ユーザーが独立してユーザー定義関数（UDF）を作成し、eスポーツ/シミュレーション・レースからフォーミュラレースまでのビジネス要件に供給するためのプラットフォームを望んでいました。PathwayのLive Data Frameworkにより、F1レーシングチームは、以前よりも90倍高速な処理速度で、高度なデータ変換を実現しました。

ヘルスケアや防衛などの業界で適応システムを展開する最大の障害は何ですか? それらをどのように解決しますか?

現在のLLMは、本当の判断力を持たずに「新しい」コンテンツを生成します。多くの規制された業界は、再現性、信頼性、観察可能性のあるガバナンスが必要です。アイロニカルに、規制に従うために、これらの企業はAI駆動のビジネス・プロセスを「ダウンサイズ」し、複雑さを追加して規制に従います。

BDHは、企業がモデル内で何が起こっているかを観察し、適応することを可能にします。この長期間の「推論」の観察可能性により、企業はより長く、より複雑なビジネス・プロセスに取り組むことができます。BDHは、設計によって観察可能で、ビジネス・プロセスに時間軸を意識しています。完璧な大きなデータセットを学習する必要はありません。コンテキスト・ウィンドウの長さの制限や、観察可能性のためのグルー・ロジックは必要ありません。

AIシステムがリアルタイムで学習し適応し始めたときに、どのような倫理的配慮やセーフガードが不可欠ですか?

実践で学習するシステムは、現在のトランスフォーマー・ベースのシステムよりも安全である可能性があります。1つの要因は、継続的な学習により、間違った前提を自己修正して更新する機会があることです。

これらのシステムの安全性を確保するには、時間の経過とともにフィードバックを受ける必要があります。つまり、常に新しいデータを供給し、効果を理解するためのフィードバック・ループを確保する必要があります。これは、強化学習に近いものです。

2番目に、BDHに基づくモデルは、解釈可能性を提供します。これにより、人間がそれらをより良く理解し、コントロールしやすくなります。

「ポスト・トランスフォーマー」パラダイムがAIコミュニティ全体で主流になるには何が必要ですか?

市場に出ているモデルが非常に有用で、推論コストが大幅に低減され、高速化されている場合です。私たちは、特にエンタープライズでは、市場での勝利を達成できると考えています。

ご協力ありがとうございました。詳しくは、Pathwayをご覧ください。