エタン・ギンズバーグ、Martian共同創設者 – インタビューシリーズ

エタン・ギンズバーグは、Martianの共同創設者です。Martianは、LLM（Large Language Model）をダイナミックにルーティングするプラットフォームで、GPT-4を含む個々のプロバイダーよりも高いパフォーマンスと低コストを実現しています。このシステムは、会社の独自のモデルマッピング技術に基づいて構築されており、LLMを複雑なブラックボックスからより解釈可能なアーキテクチャに変換することで、最初の商業的なメカニスト的解釈可能性の応用となります。

エタンは、中学校の頃からコーディング、ウェブサイトのデザイン、クライアントのための電子ビジネスの構築をしています。多才なエタンは、ワールドメモリ選手権の競技者であり、中国の深圳で開催されたワールドスピードリーディング選手権で2位となりました。

彼は、ハッカソン競技者でもあります。過去の受賞には、Tech Crunch SZでの3位、プリンストンハッカソンでのトップ7ファイナリスト、イェールハッカソンでの3つの業界賞があります。

あなたは以前、2つのスタートアップの創設者でした。どのような会社で、何を学んだか教えてください。

私の最初の会社は、アメリカンニンジャウォリアーのスポーツの促進と発展のための最初のプラットフォームでした。2012年に、アメリカンニンジャウォリアーは地下スポーツ（90年代のMMAのように）と見なされ、ブループリントの購入、障害物の注文、トレーニングジムの検索ができる最初のプラットフォームを作りました。私は、ジムの開設を希望する会社にコンサルティングを行い、US特殊部隊のトレーニングコースの支援や、ナップキンスケッチから300万ドルの収益までの最初の3ヶ月間に拡大する施設を支援しました。高校生だったにもかかわらず、20人以上の労働者のチームを管理する最初の経験を積み、効果的な管理と人間関係について学びました。

私の2番目の会社は、2017年にICOブーム前の暗号通貨前に共同創設した代替資産管理会社でした。これが、私のNLP（自然言語処理）への最初の接触でした。ここでは、社会メディアデータのセンチメント分析を投資戦略として使用しました。

私は、スタートアップを運営するためのハードスキルとソフトスキルを学びました。チームの管理方法からNLPの技術的な側面まで、多くを学びました。また、自分自身についても学び、どのような分野に取り組みたいかも発見しました。私は、最も成功した会社は、創設者がより広いビジョンや目標を持っていることが多いと思います。2017年に暗号通貨からNLPに焦点を当てるために離脱しました。人間の知能を増強し、理解することは、私が本当に駆り立てられるものです。そのことを発見して嬉しかったです。

ペンシルバニア大学在学中に、AIに関する研究を行いました。具体的に何を研究していたのか教えてください。

当初の研究は、LLMのアプリケーションを構築することに焦点を当てていました。特に、LLMの教育アプリケーションに取り組み、最初のLLM駆動の認知チューターを構築しました。結果はかなり良好でした。初期の実験で、学生の成果が0.3標準偏差改善しました。また、私たちのシステムは、ペンシルバニア大学からブータン大学まで使用されてきました。

この研究は、Martianの共同創設につながった経緯について教えてください。

私たちがLLM上にアプリケーションを構築する最初の人物の一人だったため、LLM上にアプリケーションを構築する際に直面する問題にも最初に遭遇しました。例えば、GPT-3のような大きなモデルの出力に基づいて小さなモデルをファインチューニングしたり、プログラミングや数学問題解決などのタスク用に特殊なデータソースに基づいてモデルをファインチューニングしたりしていました。そのことが、私たちの研究をインフラストラクチャ層に向けさせました。モデルの動作やモデルのルーティングについての問題に取り組むようになりました。

Martianの名前の由来と知能との関係も興味深いです。名前の選定についての話を聞かせていただけますか。

私たちの会社は、20世紀に生きていたハンガリー系アメリカ人の科学者グループ「マーティアンズ」にちなんで命名されました。このグループには、史上最も賢い人々の一人である次のような人物が含まれます：

• 最も有名なのは、ジョン・フォン・ノイマンで、ゲーム理論、現代のコンピューターアーキテクチャ、オートマタ理論を発明し、数十の分野で基礎的な貢献を行いました。
• ポール・エルデシュは、史上最も多作な数学者であり、1500以上の論文を発表しています。
• テオドール・フォン・カルマンは、空気力学の基本理論を確立し、アメリカの宇宙計画の創設に貢献しました。地球と外宇宙の境界は、彼の業績を称えて「カルマンライン」と命名されています。
• レオ・シラードは、原子爆弾、放射線療法、粒子加速器を発明しました。

これらの科学者とそのほか14人（水素爆弾の発明者、現代物理学における群論を導入した人物、組み合わせ論、数論、数値解析、確率論などの分野で基礎的な貢献をした人物など）には、注目すべき共通点があります。彼らはすべて、ブダペストの同じ地域で生まれました。そのことが、人々に次のような疑問を抱かせました：そこにそんなに多くの知能の源は何だったのか。

これに対して、シラードは冗談で、「マーティアンはすでにここにいて、ハンガリー人を名乗っている！」と言ったのです。実際には、誰も知りません。

人類は、現在、新しいスーパーアイである人工知能について同様の立場にあります。人々は、モデルが非常に賢いことが分かっているものの、それらがどのように機能するのかについては、全くわかっていません。

私たちの使命は、その質問に答えることです。現代のスーパーアイを理解し、活用することです。

あなたは記憶力の驚異的な業績で知られています。記憶力のトレーニングに取り組むきっかけと、Martianの概念に寄与したその知識について教えてください。

ほとんどのスポーツでは、プロアスリートは平均的な人よりも約2〜3倍のパフォーマンスを発揮できます（平均的な人がフィールドゴールを蹴った距離や、プロが投げたボールの速度と比較してください）。記憶スポーツは、トップアスリートが平均的な人よりも100倍、または1000倍多くの情報を記憶できるという点で面白いです。また、これらのアスリートは、多くのスポーツよりもトレーニング時間が短いにもかかわらず、平均的な記憶力を持っています。私は、人間の知識を最大化したいと思っています。世界記憶選手権は、人間の知能を高めるための、見過ごされがちな洞察であると考えています。

私は、NLPとLLMが、最も効果的な教育方法を主流の教育システムで使用するためのセットアップコストを削減するのにどのように役立つかを調べました。私とヤシュは、最初のLLM駆動の認知チューターを作成し、それが私たちにLLMの展開における問題を発見させることになりました。

Martianは、開発者がLLMを選択する決定を抽象化するものです。現在、この点は開発者にとって痛みのポイントとなっているのはなぜですか。

言語モデルを作成することは、より簡単になりつつあります。コンピューティングのコストは低下し、アルゴリズムはより効率的になり、モデルを作成するためのオープンソースツールが利用できるようになっています。その結果、より多くの会社や開発者がカスタムモデルをトレーニングしています。モデルはそれぞれ異なるコストと能力を持つため、複数のモデルを使用することで、より良いパフォーマンスを得ることができます。しかし、すべてのモデルをテストし、正しいモデルを選択することは難しいです。私たちは、開発者のためにその問題を解決します。

システムが、各タスクに最も適したLLMをどのように理解するかについて教えてください。

ルーティングをうまく行うには、モデルを理解することが基本的に必要です。モデル間を効果的にルーティングするには、モデルが失敗または成功する原因を理解したいと思います。モデルマッピングにより、モデルを実行せずに、リクエストに対するモデルのパフォーマンスを予測できます。その結果、リクエストを最も適切なモデルに送信できます。

LLMの最適化によって、どのようなコスト削減が見込めるかについて教えてください。

ユーザーは、パフォーマンスとコストのトレードオフを指定できます。パフォーマンスのみを気にする場合は、OpenAIの評価ではGPT-4を上回ることができます。特定のコストを目標にして、ユニットエコノミーを実現したい場合は、リクエストの最大コストを指定できます。さらに、動的なものを希望する場合は、より良い回答のために支払う金額を指定できます。そうすれば、2つのモデルが類似したパフォーマンスを持っているにもかかわらず、大きなコスト差がある場合は、より安いモデルを使用できます。私たちの顧客の中には、コストが最大12倍削減された例もあります。

Martianの将来のビジョンについて教えてください。

私たちがモデルを理解する度合いを向上させるたびに、AIのパラダイムシフトが起こります。ファインチューニングは、出力の理解によって推進されていました。プロンプティングは、入力の理解によって推進されています。モデルに対する私たちの理解のこの違いは、従来のML（「回帰モデルをトレーニングする」）と現代の生成的AI（「ベビーアイをプロンプティングする」）を区別するものです。

私たちの目標は、AIが完全に理解され、論理学や微積分学の理論と同等の知能理論を構築するまで、解釈可能性のブレークスルーを継続的に提供することです。

私たちにとって、それは構築することを意味します。素晴らしいAIツールを作成し、人々の手に渡すことを意味します。新しいもの、誰もやったことがないもの、そして何よりも、面白くて役に立つものを作成することを意味します。

フランシス・ベーコンの言葉を借りて言うと、「知識は力」です。したがって、AIを理解するための最良の方法は、強力なツールをリリースすることです。私たちの見解では、モデルルーターはそのようなツールの一つです。私たちは、それを構築し、成長させ、人々の手に渡すことを楽しみにしています。

これは、来る数ヶ月間にリリースするツールの最初のものです。美しい人工知能の理論を発見し、新しいタイプのAIインフラストラクチャを可能にし、人間と機械の両方にとってより明るい未来を構築するのに役立つツールを共有することを楽しみにしています。

このインタビュー、ありがとうございました。詳しく知りたい読者は、Martianを訪れてください。