記事執筆
ジェイ・ダワニはレムリアン・ラボの共同創設者兼CEO – インタビューシリーズ
ジェイ・ダワニは、レムリアン・ラボの共同創設者兼CEOです。 レムリア研究所 は、AI は贅沢品ではなく、誰もがアクセスできるツールであるべきだという信念に基づいて、手頃な価格でアクセスしやすく効率的な AI コンピューターを提供するという使命を担っています。 Lemurian Labs の創設チームは、AI、コンパイラー、数値アルゴリズム、コンピューター アーキテクチャの専門知識を組み合わせ、アクセラレーション コンピューティングを再考するという 1 つの目的のために団結しています。
あなたの経歴とwについて説明していただけますかそもそもAIに興味を持ったきっかけは何ですか？
絶対に。私は 12 歳からプログラミングをしていて、自分でゲームなどを構築していましたが、実際に AI に興味を持ったのは、コンピューターに興味を持っていた父親の友人の影響で 15 歳のときでした。彼は私の好奇心を満たし、フォン・ノイマンの『コンピューターと脳』、ミンスキーの『パーセプトロン』、ラッセルとノーヴィッグの『AI 現代的アプローチ』などの本を読んでくれました。これらの本は私の考え方に大きな影響を与え、AI が革新的なものになることはほぼ明白であり、私もこの分野に参加する必要があると感じました。
大学に進学する時期になって、私は本当に AI を研究したいと思っていましたが、それを提供する大学が見つからなかったので、代わりに応用数学を専攻することに決めました。大学に入学してから少しして、ImageNet で AlexNet の結果について知りました。本当に刺激的でした。当時、私はこれが今か今かと頭の中で起こり、ニューラル ネットワーク関連で手に入るすべての論文や本を全力で読み、その分野のリーダー全員に彼らから学ぶよう探し求めました。新しい産業の誕生に立ち会い、その先駆者から学ぶことがよくあります。
私は研究が好きではないが、問題を解決したり、AI 対応製品を構築したりするのは楽しいとすぐに気づきました。それが私を、自動運転車とロボット、材料発見のための AI、マルチフィジックス シミュレーションのための生成モデル、プロのレースカー ドライバーのトレーニングや車のセットアップを支援するための AI ベースのシミュレーター、宇宙ロボット、アルゴリズム取引などに取り組むようになりました。
すべてのことを終えた今、私は AI のトレーニングと導入のコストを抑えることに努めています。それが、すべての個人と企業が AI にアクセスし、その恩恵を受けることができる世界を実現する上で直面する最大のハードルとなるからです。可能な限り最も経済的な方法で。
アクセラレーテッド コンピューティングに取り組む多くの企業には、半導体やインフラストラクチャでキャリアを積んだ創業者がいます。 AI と数学におけるこれまでの経験は、市場を理解し効果的に競争する能力にどのような影響を与えていると思いますか?
実際、この業界の出身ではないことで、部外者としての利点が得られると思います。業界の規範や社会通念についての知識がないことで、偏見に邪魔されずに他の人よりも自由に探究し、深く掘り下げることができるということがよくあると私は感じています。
多くのことが真実として受け入れられているため、私には他のほとんどの人がしないような方法で「愚かな」質問をしたり、仮説を検証したりする自由があります。過去 2 年間、私は業界の人々と何度か会話しましたが、彼らは何かについて非常に独断的なのですが、そのアイデアの出所については教えてくれず、非常に不可解だと感じました。私は、なぜ特定の選択がなされたのか、当時はどのような前提や条件があったのか、そしてそれが今でも当てはまるのかを理解したいと考えています。
AI のバックグラウンドを持つ私は、今日のワークロードがどこにあるかを観察することによってソフトウェアの観点を取る傾向があります。ここではワークロードが時間の経過とともに変化する可能性のあるすべての方法を示し、ボトルネックを理解するためにトレーニングと推論のために ML パイプライン全体をモデル化します。価値を提供する機会がどこにあるのか。そして、私は数学的な背景を持っているので、できる限り真実に近づくために物事をモデル化し、それをガイドにしてもらうのが好きです。たとえば、総所有コストのシステム パフォーマンスを計算するモデルを構築しました。また、ソフトウェアやハードウェアによって顧客にもたらすメリットを測定し、制約や利用可能なさまざまなノブ、および数十の機能をより深く理解することができます。他のさまざまなモデル。私たちは非常にデータドリブンであり、これらのモデルからの洞察を使用して、取り組みとトレードオフを導きます。
AI の進歩は主にスケーリングによってもたらされているようですが、スケーリングには飛躍的に多くのコンピューティングとエネルギーが必要です。あらゆる企業が最大のモデルを作ろうとする軍拡競争に陥っているようで、終わりは見えないようです。これを抜け出す方法はあると思いますか？
常に方法はあります。スケーリングは非常に有用であることが証明されていますが、まだ終わりは見えていないと思います。間もなく、少なくとも 10 億ドルのコストをかけてモデルがトレーニングされるようになるでしょう。生成 AI のリーダーになり、最先端の基盤モデルを作成したい場合は、コンピューティングに少なくとも年間数十億ドルを費やす必要があります。現在、そのサイズのモデルに十分な大きさのデータセットを構築できるか、適切なノウハウを持つ人材にアクセスできるか、十分なコンピューティングにアクセスできるかなど、スケーリングには当然の制限があります。
モデル サイズの継続的なスケーリングは避けられませんが、明らかな理由から、地球の表面全体を惑星サイズのスーパーコンピューターに変えて、LLM をトレーニングしてサービスを提供することもできません。これを制御するには、より優れたデータセット、新しいモデル アーキテクチャ、新しいトレーニング方法、より優れたコンパイラ、アルゴリズムの改善と活用、より優れたコンピュータ アーキテクチャなど、いくつかの調整手段を使用する必要があります。これらすべてを実行すると、およそ 3 桁の改善が見られます。それが最善の方法です。
あなたは第一原理の考え方を信じていますが、これはレムリアン ラボを運営する際のあなたの考え方をどのように形作りますか?
レムリアンでは間違いなく多くの第一原理思考を採用しています。私は、一般通念が誤解を招くものであると常々感じてきました。なぜなら、その知識は特定の仮定が成り立つ特定の時点で形成されたものだからです。しかし、物事は常に変化するので、特にこのようなペースの速い世界に住んでいる場合には、頻繁に仮定を再テストする必要があります。
私はよく、「これはとても良いアイデアのように思えますが、なぜうまくいかないのでしょう」、「これがうまくいくためには何が真実である必要がありますか」、または「絶対的な真実と私たちが知っていることは何ですか」といった疑問を抱くことがあります。 「私たちが立てている仮定とその理由は何ですか?」または「なぜこの特定のアプローチがこの問題を解決する最良の方法であると信じているのですか?」目標は、できるだけ早く、安価にアイデアを無効にし、消滅させることです。私たちは、特定の時点で試していることの数を最大化したいと考えています。それは、解決する必要がある問題に執着し、どのテクノロジーが最適であるかについて過度に意見を言わないことです。あまりにも多くの人がテクノロジーに過度に注目する傾向があり、顧客の問題を誤解したり、業界で起こっている変化を見逃したりすることで、アプローチが無効になり、その結果世界の新しい状況に適応できなくなる可能性があります。
しかし、第一原理思考はそれ自体ではそれほど役に立ちません。私たちはそれをバックキャスティングと組み合わせる傾向があります。バックキャスティングとは、基本的に、理想または望ましい将来の結果を想像し、それを実現するために必要なさまざまなステップやアクションを特定するために逆算することを意味します。これにより、革新的なだけでなく現実に基づいた有意義なソリューションに確実に収束することができます。完璧なソリューションを考え出すのに時間を費やしてから、リソース、時間、規制などの現実世界のさまざまな制約のために構築が不可能であることがわかったり、一見完璧なソリューションを構築したのに後で判明したりするのは意味がありません。顧客が採用するのが難しすぎます。
時々、意思決定をしなければならないがデータがないという状況に遭遇します。このシナリオでは、最小限の量で何かを追求するのが理にかなっているかどうかについてのシグナルを与える、検証可能な最小限の仮説を採用します。エネルギー消費量のこと。
これらすべてを組み合わせることで、敏捷性、項目のリスクを迅速に回避するための迅速な反復サイクルが得られ、高い自信を持って戦略を調整し、非常に難しい問題を非常に短時間で大幅に前進させることができました。
当初、あなたは次のことに集中していました エッジAI、クラウド コンピューティングに再び注目し、方向転換したのはなぜですか?
私たちがエッジ AI から始めたのは、当時私が汎用自律ロボット工学の世界を導入しようとして直面した非常に特殊な問題を解決することに非常に集中していたからです。自律型ロボット工学は、私たちの集団史上最大のプラットフォームの変化となる可能性があり、ロボット工学の基礎モデルを構築するために必要なものはすべて揃っているように見えましたが、スループット、遅延、エネルギー効率の適切なバランスを備えた理想的な推論チップが欠けていました。 、およびその基礎モデルを実行するためのプログラム可能性。
現時点ではデータセンターについては考えていませんでした。なぜなら、データセンターに注目している企業は十分にあり、彼らがそれを理解してくれるだろうと期待していたからです。私たちはこのアプリケーション空間用に非常に強力なアーキテクチャを設計し、それをテープに記録する準備をしていましたが、その後、世界が変わり、問題は真にデータセンターにあることが十分に明らかになりました。 LLM がスケーリングしてコンピューティングを消費する速度はコンピューティングの進歩のペースをはるかに上回っており、導入を考慮すると憂慮すべき状況が見え始めます。
AI が進化する場所と方法に制限を課すことなく、データセンターにおける AI のエネルギー コストを可能な限り削減するために、私たちが注力すべき点はここであると感じました。そこで、私たちはこの問題の解決に取り組むことになりました。
共同設立者レムリアン・ラボの誕生の経緯を教えていただけますか?
物語は 2018 年の初めに始まります。私は、エージェントをトレーニングしてさまざまなアプリケーションに合わせて微調整するための生成マルチフィジックス シミュレーションのモデルとともに、汎用自律性の基礎モデルのトレーニングや、マルチへのスケールアップに役立つその他のことに取り組んでいました。 -エージェント環境。しかし、すぐに手持ちのコンピューティング量を使い果たしてしまい、20,000 個以上の V100 GPU が必要になると見積もられました。コンピューティングにアクセスするために十分な資金を調達しようとしましたが、市場はまだそのような規模に対応する準備ができていませんでした。しかし、それをきっかけに、物事のデプロイメントの側面について考えるようになり、ターゲット環境でこのモデルを提供するためにどのくらいのパフォーマンスが必要になるかを計算しようと考えましたが、そこに到達できるチップが存在しないことに気づきました。
数年後の 2020 年、私は近況を報告するために最終的に私の共同創設者となる Vassil と会い、自律性の基盤モデルを構築する際に経験した課題について共有しました。そして彼は、基盤を実行できる推論チップを構築することを提案しました。同氏は、数値形式について多くのことを考えており、より適切な表現は、ニューラル ネットワークが低いビット幅でも精度を維持できるようにするだけでなく、より強力なアーキテクチャを作成するのにも役立つと共有しました。
興味深いアイデアではありましたが、私の操舵室からは程遠いものでした。しかし、それが私を離れることはなく、私はコンピューター アーキテクチャ、命令セット、ランタイム、コンパイラー、プログラミング モデルの複雑さを学ぶために何か月も費やすことになりました。やがて、半導体会社を設立することが意味を持ち始め、何が問題で、どのように対処するかについての論文を作成しました。そして年末に向けてレムリアンを始めました。
あなたは以前、ハードウェアを構築するときに最初にソフトウェアに取り組む必要性について話していましたが、ハードウェアの問題が何よりもまずソフトウェアの問題である理由について、あなたの見解を詳しく説明してもらえますか?
多くの人が気づいていないのは、半導体のソフトウェア側はハードウェア自体よりもはるかに難しいということです。顧客が使用してメリットを享受できる便利なコンピューター アーキテクチャを構築することは、フルスタックの問題であり、その理解と準備ができていないと、非常にパフォーマンスが高く効率的で、見た目も美しいアーキテクチャが完成することになります。しかし、開発者にはまったく使用できません。これが実際に重要なことです。
もちろん、ソフトウェアファーストのアプローチをとることには、市場投入までの時間を短縮するなど、他の利点もあります。これは、アーキテクチャや機能に対して強気すぎると市場を完全に逃してしまう可能性がある、変化の速い今日の世界では非常に重要です。
ソフトウェアファーストビューを取らないと、一般に、市場での製品の採用に必要な重要なことのリスクを回避できなかったり、ワークロードが予期せぬ形で進化した場合などの市場の変化に対応できなかったり、ハードウェアが十分に活用されなかったりする結果になります。どれも素晴らしいことではありません。これが、私たちがソフトウェア中心であることを重視する大きな理由であり、実際にソフトウェア会社でなければ半導体会社になることはできないという私たちの見解の理由です。
ソフトウェア スタックの当面の目標について話してくれませんか?
私たちがアーキテクチャを設計し、将来を見据えたロードマップと、パフォーマンスとエネルギー効率の向上をもたらす機会がどこにあるのかを考えていたとき、異質性がさらに高まり、多くの問題が発生することが非常に明確になり始めました。ソフトウェアについて。また、異種混合アーキテクチャを生産的にプログラミングできる必要があるだけではなく、データセンター規模で異種混合アーキテクチャに対処する必要があります。これは、これまでに経験したことのないような課題です。
私たちがこのことに懸念を抱いたのは、最後に大きな変革を経験しなければならなかったのは、業界がシングルコア アーキテクチャからマルチコア アーキテクチャに移行したときであり、当時はソフトウェアが動作し、人々がそれを使用できるようになるまでに 10 年かかったからです。大規模な異種混合に対応するソフトウェアを見つけるのに 10 年も待つわけにはいきません。今すぐに解決する必要があります。そこで私たちは、問題と、このソフトウェア スタックが存在するために何が必要かを理解することに取り組みました。
当社は現在、多くの大手半導体企業やハイパースケーラー/クラウド サービス プロバイダーと提携しており、今後 12 か月以内にソフトウェア スタックをリリースする予定です。これは、あらゆる種類のアーキテクチャをターゲットにし、さまざまな種類のハードウェアで構成されるクラスター全体で作業を調整できるコンパイラーとランタイムを備えた統合プログラミング モデルであり、可能な限り最高のパフォーマンスを得るために単一ノードから XNUMX ノードのクラスターまで拡張できます。 。
素晴らしいインタビューをありがとうございました。さらに詳しく知りたい読者は、こちらをご覧ください。 レムリア研究所.
