インタビュー8 hours ago
Nikolaos Vasiloglou、RelationalAI 機械学習研究担当副社長 – インタビューシリーズ
Nikolaos Vasiloglouは、RelationalAIの機械学習研究担当副社長です。彼はキャリアを通じて、小売、オンライン広告、セキュリティ分野におけるMLソフトウェアの構築とデータサイエンスプロジェクトの指揮に携わってきました。ICLR/ICML/NeurIPS/UAI/MLconf/KGC/IEEE S&Pコミュニティのメンバーとして、著者、査読者、ワークショップおよびメインカンファレンスの組織委員を務めてきました。Nikolaosは現在、RelationalAIにおいて、大規模言語モデルとナレッジグラフの交差点における研究と戦略的イニシアチブを率いています。 RelationalAIは、企業がデータ分析を超えて、自動化された高品質な意思決定へと移行することを支援するために設計された意思決定インテリジェンスプラットフォームを構築するエンタープライズAI企業です。その技術はSnowflakeのようなデータ環境と直接統合され、リレーショナルデータベース、ナレッジグラフ、高度な推論システムを組み合わせて、ビジネスの「セマンティックモデル」—本質的には企業の運営方法、関係性、ロジックをコード化したもの—を作成します。これにより、AIシステム（「Rel」のような意思決定エージェントを含む）が複雑で相互接続されたデータを推論し、予測的および処方的な洞察を生成することが可能になり、企業はセキュアなクラウド環境の外にデータを移動させることなく、より迅速で情報に基づいた意思決定を行うことができます。 あなたは、学術的機械学習、大規模な産業導入、そしてSymantec、Aisera、そして現在のRelationalAIといった企業でのリーダーシップ役職と、稀有なキャリアパスを歩んできました。それらの経験は、今日の機械学習研究と実世界システムの接点についてのあなたの視点をどのように形作りましたか？私は幸運にも、小売やセキュリティからオンライン広告に至るまで、様々なビジネス領域に関わることができました。それは、機械学習とAIが共通項としてどのように適合するかを理解するのに役立ちました。2000年代初期から、ソフトウェアが世界を侵食し、データが意思決定インテリジェンスを侵食していることはわかっていましたが、Googleを含め、高度な機械学習アルゴリズムが最終的にはすべてを侵食すると信じている企業はほとんどありませんでした。2008年当時、NeurIPSの参加者は、現実世界を理解しない、おもちゃで遊ぶのが好きなオタクや夢想家と見なされていました。ある点まではそれは真実でしたが、私はこれが変化の軌道に乗っていると信じていました。他の人々とは異なり、私は学術研究から産業への移行に積極的に関与することを諦めませんでした。あなたのNeurIPS 2025分析では、Claude Code、OpenAI Codex、NotebookLMなどのコーディングアシスタントを使用してカンファレンス全体を処理しました。AI研究そのものを分析するためにAIシステムを使用することについて、最も驚いたことは何ですか？データをスクレイピングし、機械で読み取り、セクションに分類し、さらに特に直感的な方法で要約・説明するソフトウェアを構築することが、驚くほど簡単でした。GenAIシステムは、物語を語ることは得意ですが、その物語（唯一の正解）を語ることは得意ではありません。NotebookLMは、あらゆる領域を分析し、信じられないほどの結果を提供する女王です。しかし、物語、グラフィック、強調点をコントロールすることはできません。これらのツールはPowerPointスライドの作成にはあまり優れていないことを学んだので、HTMLを構築し、それをPDFに変換する必要がありました。最大の課題は図の作成でした—拡散生成は遅すぎ、信頼性が低く、高価で、コントロールが効きませんでした。驚くべきことに、モデルはmatplotlib、plotly、その他のPythonライブラリを使ってプログラムでSVGを作成することに非常に優れています。その技術は拡張可能でしたが、視覚化のエラーを修正するために数回のパスが必要でした。来年までにはモデルはさらに良くなるでしょう。あなたの分析における最も強いテーマの一つは、学習時のスケーリングから推論時の計算への移行です。なぜ、テスト時の計算がモデル性能を向上させるための強力なレバーとして浮上しているのでしょうか？スケーリング則は私たちの羅針盤です。モデルサイズと事前学習データの増加は、その容量に達しました。第一世代のスケーリング則は、GPT-4まで私たちを導きました。それらはOpenAIがGenAI革命を始めるのを助けたものです。私たちはすぐに、モデルが答えにたどり着く前に多くのトークンを生成することを可能にする別の次元があることに気づきました。これはLLMの効率を改善するもう一つの方法です。モデルサイズと推論長は、しばしばシステム1とシステム2の思考モード（ダニエル・カーネマン）として表現されます。推論トレースは、モデル容量を増加させる別の方法です。考えてみれば、人間によるブレークスルーは本能（高いIQ）から始まりましたが、成功は常に長く苦しい推論によるものでした。私たちはある種このパターンを見ています：長い思考ウィンドウを持つ小さなモデルが、100倍大きいモデルを凌駕するのです。つまり、LLMにおいては、IQよりも思考が重要だということです。あなたは、単一の巨大モデルから、計画、行動、出力の検証が可能なエージェントシステムへの移行を強調しています。エージェントAIが研究プロトタイプではなく、信頼性の高い本番パラダイムになるまで、どれくらい近づいていると思いますか？私たちはその方向に大きな歩みを進めています。最大の問題は信頼性と安全性であり、それらが自律的であると信頼できるようにすることです。NeurIPSのコンテンツを注意深く見ると、研究を行い、数学の問題を解き、コーディングの問題を解決する自律システムを見ることができますが、例えば、エージェント的な自動運転車は見られません。Moltbook（AIエージェントのためのソーシャルネットワーク）での最新の経験は、自律的エージェントAIの問題点を浮き彫りにしました。しかし、エージェントAIによる新薬や新素材の発見は巨大な進歩ですので、今はそれを祝い、そこに焦点を当てましょう。効率性はイノベーションの主要な推進力のようで、より小さなモデルがアーキテクチャの改善とより賢い推論戦略を通じて競争力のある性能を達成しています。私たちは、効率性のブレークスルーが生のモデルサイズよりも重要になる時代に入りつつあるのでしょうか？AIが本番環境にスケールアウトするにつれて、エンジニアリングがより重要になります。フロンティアモデルに依存することは、単に持続可能ではありません。デモには最適ですが、企業は大きなモデルの高コストを目の当たりにしたときに厳しい現実に直面します。初めて、より小さなモデルがはるかに実行可能なソリューションになりました。業界の現状を変える静かな力があります。これまで、NVIDIAはGPUの独占を維持し、価格を高く保ってきました。AMDは高品質なチップで市場に参入しており、それは価格の下落を強いるでしょう。エネルギーは引き続き問題ですが、市場にはいくつかの動きが見られます。フロンティアラボがより高価になるにつれて、レンタルGPU上のより小さなモデルというソリューションがより実行可能になってきました。あなたのプレゼンテーションは、この分野が単一次元のスケーリング（パラメータ）から、パラメータ、データ、アーキテクチャ、推論を含む多次元スケーリングへと移行したことを示唆しています。研究者と実務家は、この新しいスケーリングパラダイムについてどのように考えるべきですか？ほとんどの専門家にとって、アーキテクチャとパラメータは彼らのコントロールの範囲外です。必要な資本を持つモデルの生産者がイノベーションを推進します。トークン推論長は、彼らの組織の資本支出によって決定されます。彼らのコントロール下に残るのはデータです。データ（ほとんどの場合、推論トレース）の作成、キュレーション、デバッグに焦点が当てられるようになるでしょう。これが日々の業務の焦点となるでしょう。もちろん、新しいアーキテクチャのトレンドに遅れないように、NeurIPSや他の大きなカンファレンスをフォローする必要があります。あなたのNeurIPS総説では、生物学から気候モデリングに至るまで、AI駆動の科学的発見に焦点を当てた研究の割合が増えていることを指摘しています。AI-for-scienceを機械学習研究の次の主要なフロンティアとお考えですか？それは学術研究を超えていると思います。私たちは次のゴールドラッシュを見ているのです。1849年、カリフォルニアのゴールドラッシュはピークに達しました。人々がしなければならなかったのは、金を見つけるために川の水を果てしなく濾過することだけでした。今では多くの人が金を見つけられなかったことを知っていますが、今日私たちが見ているものは非常に現実的です。言語モデルを使って新素材、新薬、製品コンポーネントを見つける、2〜3人のスタートアップの大きな波が見えます。最も賢い方法でトークンを消費することは、大きな収穫をもたらすことができます。Claude Code、OpenAI Codex、Google Antigravityのようなコーディングアシスタントは、SaaS企業の堀を取り除き、科学的研究において非常に有能なコンピュータ科学者の全世代を残すことができます。First PrinciplesやBio[hub]のような非営利団体で働いているなら、新しい物理法則や理論、または生物学におけるその他の貢献を見つける機会があります。収益を生み出したいなら、医薬品、材料、バッテリーなど、科学に基づいた新製品を発明することに取り組むでしょう。あなたの研究はまた、モデルが強力なベンチマークスコアを達成する一方で、単純な実世界のバリエーションでは失敗するという、拡大する検証ギャップを強調しています。このギャップは、大規模言語モデルの現在の限界について何を明らかにしていますか？それらは驚くべき記憶力を持ち、よく一般化できるようです。ベンチマークは研究の初期段階では有効です。一度閾値を超えると、問題ではなくベンチマークを学んでしまいます。私たちは長年にわたり、ベンチマークをリセットし、さらに難しくして限界を押し広げることに非常に長けてきました。ベンチマークの問題は、ある時点で、私たちは過度に重点を置き始め、最終的には不正行為に及ぶことです。ここでの全体的な傾向は、競争相手をより誠実にすることです。私は個人的に、数回の飛躍的な進歩の後は、ベンチマークにあまり注意を払いません。リーダーボードのトップ10に入っていなくても、優れた製品はあり得ます。また、ベンチマークでは優秀だが、品質の低い製品も多く見てきました。プレゼンテーションは、推論スケーリングとエージェントアーキテクチャを組み合わせた小さな言語モデルが、ハイパースケールデータセンターの外で動作する強力なAIシステムを可能にし得ると示唆しています。この分散化は、AIが業界全体にどのように展開されるかを再形成する可能性がありますか？エッジ展開に大きな重点が置かれているのを見ました。私たちの周りには確かに、よりスマートなデバイスが登場するでしょう。Microsoftは何年も前から1bit LLMに取り組んでおり、約30倍の圧縮を達成し、将来的にはフロンティアモデルでさえ単一チップ上で実行できるようにします。私たちはこの研究を何年も追跡しており、その進歩は驚くべきものです。特にウェアラブル分野において。昨年のNeurIPSで取り上げられたのは、弱いエッジモデルとフロンティアモデルを組み合わせるというアイデアです。これにより、帯域幅に基づいて連続スペクトルで推論能力を調整することができます。NeurIPSでの最初のTelcoワークショップは、セルタワーにGPUを配置する傾向を明らかにしました。これは興味深いことです。なぜなら、セルタワーはデータセンターでもエッジデバイスでもないからです。それはコンピュート階層に新しい層を導入します。LLMから逃れたもう一つのものは、分散モデル学習です（Googleが遠隔データセンターでGeminiを学習させることではありません）。非常に興味深いトレンドが追いつきつつあります。それは、独立したエンティティが独自のモデルを学習し、ユーザーがそれらをレゴのように組み合わせて、より大きく強力なモデルを構築するというものです。これは非常に有望なモジュラーアーキテクチャです。これが大きなモデルが学習される方法です。異なるチームが専門的なモデルを構築し、最終的にそれらをレゴブロックのように接続します。何千ものNeurIPS論文を分析した後、AI研究コミュニティは進歩をどこまで正確に予測していると思いますか？また、最も重要な今後の変化を見逃している可能性はどこにありますか？研究コミュニティは予測を行いません。研究者には独自の動機、好奇心、資金、偶然性、そしてもちろん本能があります。彼らは常に興味深い方向性を見逃す可能性がありますが、ほぼ確実に誰かがそれを見つけ、将来のある時点で拾い上げるでしょう。それは予想されることであり、健全なことです。経営者、投資家、エンジニアは、適切な決定を下し、最も教育された賭けを行うために、新興のトレンドを特定する必要があります。私の5年間の分析ウィンドウでは、早期に拾い上げられたトレンドもあれば、見逃されたシグナルもありました。そのうちのいくつかについては、まだアルファ波に乗る時間があります。データマーケットは私が何年も注目してきたものですが、今年になって飛躍を遂げました。欠けていた要素は帰属でした。現在、LLM競争に貢献した学習データをその場で特定することができます。つまり、配当を支払うことができるということです。これは、フロンティアモデルと集団訴訟を起こしている出版社にとって見逃された機会でした。彼らの一部は、単に定額ライセンス契約に屈服せざるを得ませんでしたが、私は彼らが帰属モデルからより持続的な収益を得る機会があると信じています。
