インタビュー
RelationalAIの研究VP、Nikolaos Vasiloglou – インタビュー・シリーズ
Nikolaos Vasiloglouは、RelationalAIの研究VPです。彼は、MLソフトウェアの構築と、小売、オンライン広告、セキュリティ分野でのデータサイエンスプロジェクトのリーダーとしてのキャリアを歩んできました。彼は、ICLR/ICML/NeurIPS/UAI/MLconf/KGC/IEEE S&Pコミュニティのメンバーであり、著者、レビュアー、ワークショップおよび主要カンファレンスのオーガナイザーとして活動しています。Nikolaosは、RelationalAIでの大規模言語モデルとノウハグラフの研究および戦略的イニシアチブをリードしています。
RelationalAIは、企業向けAI企業であり、データ分析から自動化された、高品質な意思決定への移行を支援するための意思決定インテリジェンスプラットフォームを構築しています。その技術は、Snowflakeなどのデータ環境と直接統合し、関係データベース、ノウハグラフ、先進的な推論システムを組み合わせて、ビジネスの「セマンティックモデル」を作成します。つまり、企業の運営、関係、論理を符号化します。これにより、AIシステム（「Rel」などの意思決定エージェントを含む）が複雑な、相互接続されたデータを推論し、予測および指示的な洞察を生成できるようになり、企業がデータをセキュアなクラウド環境の外に出さずに、より迅速で情報に基づいた決定を下せるようになります。
あなたは、学術的な機械学習、 largescale業界への展開、Symantec、Aisera、現在のRelationalAIでのリーダーシップ役職など、珍しいキャリアパスを歩んできました。これらの経験が、機械学習研究と現実世界のシステムとの出会いにおいて、あなたの視点をどのように形作ってきたのでしょうか？
私は、小売業やセキュリティなど、さまざまなビジネス分野と関わることができました。それが、機械学習やAIが共通の分母として機能することを理解するのに役立ちました。2000年代初頭から、ソフトウェアが世界を飲み込んでいき、データが意思決定を飲み込んでいくことを知っていました。しかし、Googleを含む多くの企業は、先進的な機械学習アルゴリズムが最終的にすべてを飲み込むことになるという考えに従っていませんでした。2008年、NeurIPSの出席者は、現実世界を理解していない、ただの玩具で遊ぶ人々と見なされていました。しかし、私はこれが変化する軌道上にあると信じていました。ほとんどの人は、学術研究から業界への移行に積極的に参加しなかったのですが、私はそうしなかったのです。
あなたのNeurIPS 2025の分析では、Claude Code、OpenAI Codex、NotebookLMなどのコーディングアシスタントを使用して、カンファレンス全体を処理しました。AIシステムを使用してAI研究自体を分析することに驚いたことは何ですか？
データをスクラップして、マシンで読み取り、セクションや説明に分類することが驚くほど簡単でした。GenAIシステムは物語を伝えるのが非常に優れていますが、物語を伝えるのではなく、物語を作るのが得意ではありません。NotebookLMは、どのドメインでも分析して、驚くほど優れた結果をもたらす能力があります。しかし、物語、グラフィック、または強調点を制御することはできません。私は、ツールがPowerPointスライドを作成するのが得意ではないことを学びました。そこで、HTMLを構築してからPDFに変換する必要がありました。最大の課題は図の作成でした。拡散生成は遅く、信頼性が低く、高価で、制御ができませんでした。幸い、モデルは、matplotlib、plotlyなどのPythonライブラリを使用して、プログラムでSVGを作成するのが非常に優れています。そのテクニックは拡張性がありましたが、視覚化エラーを修正するために何度か通過する必要がありました。モデルは来年さらに優れています。
あなたの分析の最も強いテーマの1つは、トレーニング時スケーリングから推論時コンピューティングへのシフトです。テスト時コンピューティングがモデル性能を向上させるために、どのようにして強力なレバーになるのでしょうか？
スケーリング法則は、私たちのコンパスです。モデルサイズと事前トレーニングデータを増やすことが限界に達しました。最初の世代のスケーリング法則は、GPT-4まで私たちを導きました。OpenAIがGenAI革命を開始するのを助けたのです。もう1つの次元がモデルを改善するのを可能にしたことを私たちは発見しました。トークン推論長は、組織の資本支出によって決定されます。これは、LLMの効率を向上させる別の方法です。モデルサイズと推論長は、システム1とシステム2の思考モード（Daniel Kahneman）として表現されることがあります。推論トレースは、モデル容量を増やす別の方法です。人間のブレークスルーは、直感（高いIQ）から始まりましたが、成功は常に長く苦痛な推論によるものでした。私たちは、パターンを見ています。小さなモデルで長い思考ウィンドウを持つと、大きなモデルよりも優れています。したがって、LLMでは思考がIQよりも重要です。
あなたは、モノリシックなモデルから、計画、実行、出力の検証が可能なエージェントシステムへの移行を強調しています。エージェントAIが信頼性の高い生産パラダイムではなく、研究プロトタイプになるには、どのくらいの距離がありますか？
私たちはその方向に大きな進歩を遂げています。最大の問題は、信頼性と安全性です。私たちがそれらを自律的に信頼できるようにする必要があります。NeurIPSのコンテンツを注意深く見ると、研究、数学の問題、コーディングの問題を解決する自律システムがあります。しかし、例えば、自律走行車は見つかりません。最新のMoltbook（AIエージェントのソーシャルネットワーク）での経験は、自律エージェントAIの問題を強調しました。しかし、新しい薬剤や材料の発見にエージェントAIを使用することは非常に重要です。だから、今のところそれを祝って、インデックスにします。
効率性は、革新の主要な原動力のようです。アーキテクチャの改善とスマートな推論戦略を通じて、競争力のあるパフォーマンスを達成する小さなモデルが登場しています。生産性のブレークスルーが、生のモデルサイズよりも重要になる時代に入っているのでしょうか？
AIが本格的な生産に移行するにつれて、エンジニアリングがより重要になります。最先端モデルに頼ることは、持続可能ではありません。デモには素晴らしいですが、企業は大きなモデルの高コストという厳しい現実に直面しています。初めて、小さなモデルがより実用的なソリューションになりました。業界の地位を変える無声の力があります。NVIDIAはこれまでGPUの独占を維持し、高価格を維持してきました。しかし、AMDは高品質のチップで市場に参入し、価格を下げるでしょう。エネルギーはまだ問題ですが、市場では動きが出始めています。最先端の研究所はより高価になったため、小さなモデルをレンタルGPUで使用することがより実用的なソリューションになりました。
あなたのプレゼンテーションでは、パラメータ、データ、アーキテクチャ、推論を含む多次元スケーリングへの移行が強調されています。研究者と実践者は、この新しいスケーリングパラダイムについてどう考えるべきですか？
アーキテクチャとパラメータは、ほとんどの専門家にとって制御不能です。モデルを生み出すための必要な資本を持つ企業が、イノベーションを推進するでしょう。トークン推論長は、組織の資本支出によって決定されます。専門家のコントロール下にあるのは、データです。データの作成、キュレーション、デバッグ（ほとんどの場合、推論トレース）に重点が置かれるでしょう。これが日常業務の焦点になります。NeurIPSや他の主要なカンファレンスを追って、新しいアーキテクチャのトレンドを把握する必要があります。
あなたのNeurIPSの分析では、生物学から気候モデリングまで、AI駆動の科学的発見に焦点を当てた研究が増えていることが示されています。AI-for-Scienceは、機械学習研究の次の主要なフロンティアになるのでしょうか？
私は、それが学術研究を超えていると考えています。次のゴールドラッシュを見ているのです。1849年にカリフォルニアでゴールドラッシュがピークに達しました。人々はただ川の水をこすって金を探すだけでした。私たちが今日見ているのは、非常に現実的です。2人または3人のスタートアップが言語モデルを使用して新しい材料、薬剤、製品コンポーネントを見つけるの大きな波を見ることができます。トークンを最も賢い方法で燃やすと、大きな利益をもたらすことができます。Claude Code、OpenAI Codex、Google Antigravityなどのコーディングアシスタントは、SaaS企業のために壁を取り除き、非常に優れたコンピュータサイエンティストの世代を科学的探索に残します。非営利組織のFirst PrinciplesやBio[hub]で働く場合、物理学の新しい法則や理論を発見する機会があります。収益を生み出す場合は、科学に基づいて新しい製品を発明することになります。製薬、材料、バッテリーなどです。
あなたの仕事は、ベンチマークスコアが強いモデルが現実世界の変化に失敗する、検証ギャップが拡大していることも強調しています。このギャップは、大規模言語モデルの現在の限界について何を明らかにしていますか？
彼らは、驚くほど優れた記憶と一般化能力を持っています。ベンチマークは、研究の初期段階では優れています。しかし、しきい値を超えると、ベンチマークを学習し、問題を学習しないことがあります。ベンチマークをリセットし、さらに難しくすることで、限界を押し進めてきました。ベンチマークの問題は、ある時点で、過度にインデックス化し、最終的にチートすることです。ここでのトレンドは、競合他社をより誠実にすることです。ベンチマークに過度に注目することはありません。優れた製品がベンチマークのトップ10に含まれないこともあります。ベンチマークに優れているが、実際には優れていない製品もあります。
あなたのプレゼンテーションでは、小さな言語モデルと推論スケーリングとエージェントアーキテクチャの組み合わせが、ハイパースケールデータセンターの外で実行可能な強力なAIシステムを可能にする可能性があることも示されています。AIの展開方法を、業界全体で変える可能性がありますか？
エッジ展開に大きな重点が置かれました。私たちは、間違いなく私たちを取り巻くスマートデバイスを見ることになります。Microsoftは、1ビットLLMに取り組んでおり、30倍の圧縮を実現し、将来はフロンティアモデルの単一チップで実行できるようになります。私たちは何年にもわたってこの作業を追跡しており、進歩は驚くほどです。特にウェアラブルドメインでです。
NeurIPSの前年には、弱いエッジモデルとフロンティアモデルを組み合わせるというアイデアが取り上げられました。これにより、バンド幅に基づいて推論パワーを調整できるようになります。NeurIPSの最初のTelcoワークショップでは、セルタワーにGPUを配置するというトレンドが明らかになりました。これは、セルタワーがデータセンターでもエッジデバイスでもないため、コンピューティング階層に新しい層が導入されることを意味します。
LLMから漏れた別のものは、分散モデルトレーニング（GoogleがリモートデータセンターでGeminiをトレーニングすることを意味するものではありません）です。独立したエンティティが独自のモデルをトレーニングし、ユーザーがそれらを組み合わせてより大きなものを作成するという、非常に興味深いトレンドが拡大しています。これは、モジュラーなアーキテクチャです。大きなモデルをトレーニングする方法です。さまざまなチームが専門化されたモデルを構築し、最後にそれらを組み合わせて、レゴブロックのように大きなものを作ります。
数千のNeurIPS論文を分析した後、AI研究コミュニティが進歩を正確に予測している領域と、最も重要な変化を逃している可能性のある領域について、どのように考えていますか？
研究コミュニティは予測を行いません。研究者には、好奇心、資金、偶然性、直感などの独自の動機があります。彼らは、興味深い方向性を見逃す可能性がありますが、誰かがそれを見つけ、将来のある時点でそれを拾うことは確実です。それは予想どおりで、健康的です。経営陣、投資家、エンジニアは、正しい決定を下し、最も教育を受けた賭けをするために、エマージングトレンドを特定する必要があります。私の5年間の分析ウィンドウでは、早期に特定されたトレンドと、信号が見逃されたトレンドがありました。いくつかのトレンドについては、まだアルファ波に乗る時間があります。
データマーケットは、私が何年も見てきたものです。飛躍したのは、帰属の問題でした。LLMコンテストでトレーニングデータを特定し、飛行中に配当を支払うことができます。これは、フロンティアモデルと訴訟を起こしている出版社にとって、逃した機会でした。彼らは、フラットライセンス契約に屈することを余儀なくされましたが、私は、帰属モデルから持続可能な収益を得る機会があると考えています。
ロボティクスでは革命が起こりつつあります。NVIDIAやその他の企業が発表したワールドモデルは、非常に正確で拡張可能な物理シミュレーションを実現しています。AIは将来、より物理的なものになるでしょう。
トランスフォーマーアーキテクチャは、RNN、mambaなどのステートスペースモデルと統合し、驚くほど優れた小さなLLMを生成しました。トランスフォーマーのパフォーマンスにおける正確な限界を私たちは知っていますが、次のステップを見逃しています。トランスフォーマーが死に体のようで、かなり堅牢であることが証明されたときに、それが来ます。私たちが知らないのは、次のLLMアーキテクチャを設計するのは人間か、トランスフォーマーかということです。トランスフォーマーは、NLP（はい、GenAIは基本的なNLPタスク、たとえばエンティティ分類から始まったことを忘れないでください）における断片化されたアーキテクチャを統一しました。数学では機能しました。今年はテーブルでも機能しましたが、物理では機能しませんでした。私は15以上の異なるアーキテクチャを数えました。物理を統一する新しいアーキテクチャは、AGIの旅でトランスフォーマーを置き換える可能性があります。
素晴らしいインタビュー、詳しく知りたい読者はRelationalAIを訪問してください。
