エタン・ギンズバーグ、マーティアンの共同創設者 – インタビュー・シリーズ

エタン・ギンズバーグは、Martianの共同創設者です。Martianは、動的に各プロンプトを最適なLLMにルーティングするプラットフォームです。ルーティングにより、Martianは、GPT-4を含む個々のプロバイダーよりも高いパフォーマンスと低コストを実現します。このシステムは、会社の独自のモデルマッピング技術に基づいて構築されており、LLMを複雑なブラックボックスからより解釈可能なアーキテクチャに展開し、機械的解釈可能性の最初の商用アプリケーションとなっています。

エタンは、中学校の頃からコーディング、ウェブサイトの設計、クライアントのための電子ビジネスの構築をしています。多才なエタンは、ワールドメモリ選手権の競技者であり、中国の深圳で開催されたワールドスピードリーディング選手権で2位となりました。

彼は、ビデオハッカソン競技者です。過去の受賞には、Tech Crunch SZでの3位、プリンストンハッカソンのトップ7ファイナリスト、イェールハッカソンの3つの業界賞があります。

あなたは以前、2つのスタートアップ会社の創設者でした。どのような会社でしたか? その経験から何を学びましたか?

私の最初の会社は、アメリカンニンジャウォーリアーのスポーツの促進と発展のための最初のプラットフォームでした。2012年に、私はアメリカンニンジャウォーリアーを地下スポーツ（90年代のMMAに相当）と見なしており、ブループリントを購入し、障害物を注文し、トレーニングするジムを見つけることができる最初のプラットフォームを作成しました。私は、USスペシャルフォースズのトレーニングコースのコンサルティングを行い、ナップキンスケッチから最初の3ヶ月で300万ドルの収益に至るまでの施設のスケーリングを支援しました。私は高校生でしたが、20人以上の労働者のチームを管理する最初の経験を持ち、効果的な管理と人間関係について学びました。

私の2番目の会社は、2017年にICOブーム前の暗号化通貨の代替資産管理会社でした。この会社では、NLPに初めて触れ、ソーシャルメディアデータのセンチメント分析を投資戦略として使用しました。

私は、チームの管理方法からNLPの技術的な側面まで、スタートアップを運営するために必要な多くのハードスキルとソフトスキルを学びました。同時に、私自身について、そして何に取り組みたいかについても多くを学びました。私は、最も成功した会社は、より広いビジョンや目標によって推進される創設者によって設立されるものであると信じています。私は、2017年に暗号化通貨を離れてNLPに焦点を当てることを決め、人間の知能を高め、理解することが私を駆り立てるものであることを発見しました。

ペンシルバニア大学に在籍中に、AIに関する研究を行いました。具体的に何を研究していたのですか?

私たちの研究は最初、LLMのアプリケーションを構築することに焦点を当てていました。特に、LLMの教育アプリケーションに取り組み、最初のLLM駆動の認知チューターを構築しました。結果はかなり良好でした – 初期の実験では、学生の成果が0.3標準偏差改善しました。また、私たちのシステムは、ペンシルバニア大学からブータン大学まで使用されてきました。

この研究はどうしてマーティアンの共同創設につながりましたか?

私たちがLLMの上にアプリケーションを構築する最初の人の1つだったので、LLMの上にアプリケーションを構築するときに人々が直面する問題にも最初に遭遇しました。つまり、私たちの研究はインフラストラクチャ層に向けて導かれました。たとえば、GPT-3のような大きなモデルの出力に基づいて小さなモデルをファインチューニングしたり、プログラミングや数学の問題解決のようなタスク用に特化したデータソースに基づいてモデルをファインチューニングしたりしました。そのことが最終的に、私たちをモデル動作とモデルルーティングの問題に向かわせました。

マーティアンという名前の由来と知能との関係は興味深いです。名前の選定についての話を共有してください。

私たちの会社は、20世紀に生きていたハンガリー系アメリカ人の科学者グループ「マーティアン」にちなんで名付けられました。このグループの中には、史上最も賢い人々の一部が含まれていました。

• 最も有名なのは、ジョン・フォン・ノイマンでした。彼はゲーム理論、現代のコンピューターアーキテクチャ、オートマタ理論を発明し、数十の他の分野で基礎的な貢献を行いました。
• パウル・エルデシュは、史上最も多作な数学者であり、1500以上の論文を発表しました。
• テオドール・フォン・カルマンは、空気力学の基本理論を確立し、アメリカの宇宙計画を共同設立しました。地球と外宇宙の境界は、彼の功績を称えて「カーマンライン」と命名されています。
• レオ・シラードは、原子爆弾、放射線療法、粒子加速器を発明しました。

これらの科学者と14人の同僚（水素爆弾の発明者、現代物理学における群論の導入者、組み合わせ論、数論、数値解析、確率論などの分野への基礎的な貢献者など）には、注目すべき共通点がありました。彼らはすべて、ブダペストの同じ地域で生まれました。そこで、人々は、そこにいるほどの知能の源は何なのかと疑問に思ったのです。

シラードは、冗談で、「マーティアンはすでにここにいて、ハンガリー人を名乗っている」と言ったのです。現実には… 誰もわかりません。

人類は、現在、人工知能という新しいスーパーアインテリジェンスについて同様の立場にあります。人々は、モデルが非常に賢いことができることを知っていますが、どのように機能するかはわかりません。

私たちの使命は、その質問に答えることです。現代のスーパーアインテリジェンスを理解し、利用することです。

あなたは記憶力の驚異的な業績を持っています。記憶力の挑戦にどのように取り組むようになり、そしてその知識はマーティアンの概念にどのように役立つでしょうか?

ほとんどのスポーツでは、プロのアスリートは平均的な人よりも約2〜3倍のパフォーマンスを発揮します（平均的な人がフィールドゴールを蹴る距離やプロが投球する速さと比較してください）。記憶スポーツは、トップアスリートが平均的な人よりも100倍、または1000倍多くの情報を記憶できるという点で魅力的です。また、これらのアスリートは、多くの場合、平均的な記憶力を持つ人々であり、記憶力を向上させるための特定のテクニックを学んだ人々です。私は、人間の知識を最大化したいと思っています。世界記憶選手権は、人間の知能を高めるための、評価されていない洞察であると見なしました。

私は、NLPとLLMが、最も効果的な教育方法を主流の教育システムで使用するためのセットアップコストを削減するのを支援する方法を探り始めました。ヤシュと私は、最初のLLM駆動の認知チューターを作成し、それが私たちにLLMの展開の問題を発見させることになりました。

マーティアンは、基本的に、使用するLLMの決定を抽象化しています。開発者にとって、これは現在なぜ痛みのポイントなのか?

言語モデルを作成することは、より簡単になってきています。コンピューティングのコストは低下し、アルゴリズムはより効率的になり、モデルを作成するためのオープンソースツールが多数利用可能になりました。結果として、より多くの会社や開発者がカスタムデータでトレーニングされたカスタムモデルを作成しています。これらのモデルには、異なるコストと能力があり、複数のモデルを使用することで、より優れたパフォーマンスを得ることができます。しかし、すべてのモデルをテストし、使用するのに適したものを見つけるのは難しいです。私たちは、開発者にその手間を負担させます。

システムは、各タスクに最適なLLMをどのようにして判断しますか?

ルーティングをうまく行うには、モデルを理解することが基本的に必要です。モデルを効果的にルーティングするには、モデルが失敗または成功する原因を理解する必要があります。モデルマッピングによって、これらの特性を理解できるようになり、モデルを実行せずに、どのモデルが要求に最も適した結果を生成するかを判断できます。したがって、リクエストを、最も優れた結果を生成するモデルに送信できます。

LLMの最適化によって、どのようなコスト削減が見込めますか?

私たちは、ユーザーがコストとパフォーマンスのトレードオフを指定できるようにします。如果、パフォーマンスのみが重要であれば、openai/evalsでGPT-4を上回ることができます。如果、ユニットエコノミクスを機能させるために特定のコストが必要な場合は、リクエストの最大コストを指定し、リクエストを完了するための最適なモデルを見つけることができます。如果、よりダイナミックなものを望む場合は、より優れた回答のために支払う金額を指定し、2つのモデルが類似したパフォーマンスを持っているが、大きなコスト差がある場合は、より安いモデルを使用できます。私たちの顧客の中には、コストが最大12倍削減された例もあります。

マーティアンの将来のビジョンは何ですか?

私たちがモデルを理解する度に、AIの新たなパラダイムシフトが起こります。ファインチューニングは、出力の理解によって推進されました。プロンプティングは、入力の理解によって推進されました。モデルに対する私たちの理解のこの違いは、伝統的なML（「回帰分析器をトレーニングする」）と現代の生成AI（「ベビーアギをプロンプトする」）の違いの多くを占めています。

私たちの目標は、AIが完全に理解され、論理学や微積分学の理論と同等の知能理論が得られるまで、解釈可能性のブレークスルーを継続的に提供することです。

私たちにとって、それは構築することを意味します。素晴らしいAIツールを作成し、人々の手にそれらを置くことを意味します。新しいもの、誰もやったことがないもの、そして何よりも、面白くて役立つものを作成することを意味します。

フランシス・ベーコンの言葉では、「知識は力」です。したがって、AIを理解するための最良の方法は、強力なツールをリリースすることです。私たちの見解では、モデルルーターはそのようなツールの1つです。私たちはそれを構築し、成長させ、人々の手にそれを置くことを楽しみにしています。

これは、来月にリリースするツールの1つです。美しい人工知能の理論を発見し、まったく新しいタイプのAIインフラストラクチャを可能にし、人と機械の両方にとってより明るい将来を築くことを助けるために… 私たちはそれらのツールを共有することを楽しみにしています。

素晴らしいインタビュー、詳しく知りたい読者はMartianを訪問してください。