インタビュー
Jay DawaniはLemurian Labsの共同創設者兼CEO – インタビューシリーズ
Jay DawaniはLemurian Labsの共同創設者兼CEOです。Lemurian Labsは、AIが贅沢ではなく、誰でも利用できるツールであるべきという信念に基づいて、手頃でアクセスしやすく効率的なAIコンピューターを提供する使命を持っています。Lemurian Labsの創設チームは、AI、コンパイラ、数値アルゴリズム、コンピューターアーキテクチャの専門知識を持ち、加速コンピューティングを再考するという単一の目的で結束しています。
あなたの背景とAIに入った経緯について説明していただけますか。
もちろん。私は12歳のときからプログラミングを始め、自分でゲームを作ったりしていたのですが、実際にAIに入ったのは15歳のときでした。私の父親の友人でコンピューターが好きな人に影響を受けたからです。彼は私の好奇心を刺激して、Von Neumannの『コンピューターと脳』、Minskyの『パーセプトロン』、RusselとNorvigの『AI：モダンアプローチ』などの本を読むように勧めました。これらの本は私の考え方に大きな影響を与えました。AIが変革的なものになることは明らかで、私もこの分野に参加しなければならないと思いました。
大学に入学するとき、本当にAIを学びたいと思ったのですが、AIを学べる大学は見つからなかったので、代わりに応用数学を専攻することにしました。大学に入学して少し経ったら、AlexNetのImageNetでの結果を知りましたが、それは本当に興奮しました。当時、私は「今やらないと」という気持ちになり、神経ネットワークに関するすべての論文や本を読み、分野のリーダーから学ぶために彼らに会いに行きました。新しい産業の誕生に立ち会い、先駆者から学ぶ機会はどれほどあるでしょうか。
すぐに私は研究が好きではなく、問題を解決し、AIを搭載した製品を作ることが好きであることを実感しました。那は私に、自律走行車やロボット、材料の発見のためのAI、多物理シミュレーションのための生成モデル、プロのレースドライバーのトレーニングや車の設定のためのAIベースのシミュレーター、宇宙ロボット、アルゴリズム取引など、さまざまなプロジェクトに取り組む機会を与えました。
今、私はAIのトレーニングと展開のコストを削減しようとしています。なぜなら、それが私たちが直面する最大の課題だからです。私たちが目指すのは、誰でも最も経済的な方法でAIを利用できる世界です。
加速コンピューティングで活動する多くの企業の創設者は、半導体やインフラストラクチャーの分野でのキャリアを積んでいます。AIや数学の経験があなたの市場理解や競争力にどのような影響を与えるのか、教えてください。
私は、業界外から来たことが幸いしたと思います。私は、業界の常識や伝統的な知識がないことが、より自由に探求できるということを見つけたのです。私は、他の人よりも深く、自由に探求できるのです。なぜなら、私には、偏見や固定観念がないからです。
私は、業界内の人々と会話することが多いのですが、彼らは特定の考え方に固執していますが、その考え方の由来を説明できないことがあります。私は、ものごとを理解するために、理由を尋ねます。なぜそうした選択をしたのか、当時の条件は何だったのか、それらは今でも当てはまるのか。私は、ものごとをモデル化して、真実に近づこうとします。例えば、システムのパフォーマンスを計算するモデルを構築して、ソフトウェアとハードウェアの組み合わせで顧客にどれだけの価値を提供できるかを調べます。私たちはデータ駆動型で、モデルから得られる洞察を活用して、努力とトレードオフを導きます。
AIの進歩は、主にスケールアップによって実現されてきたようです。指数関数的に多くのコンピュートリソースとエネルギーが必要です。企業は最大のモデルを構築しようとしているようですが、終わりは見えません。抜け道はありますか。
抜け道はあります。スケールアップは非常に有効で、まだ限界に達していないと思います。近いうちに、少なくとも10億ドルの費用でモデルをトレーニングするようになるでしょう。ジェネレーティブAIのリーダーになり、最先端の基礎モデルを作成したい場合は、少なくとも年間数十億ドルをコンピュートに費やす必要があります。ただし、スケールアップには自然な限界があります。例えば、大きなモデルに必要なデータセットを構築すること、適切な知識を持った人々にアクセスすること、十分なコンピュートリソースにアクセスすることなどです。
モデルサイズの拡大は避けられませんが、LLMのトレーニングと提供のために地球全体を超巨大なスーパーコンピューターに変えることはできないことは明らかです。コントロールするために、さまざまなノブを調整できます。より良いデータセット、新しいモデルアーキテクチャ、新しいトレーニング方法、より良いコンパイラ、アルゴリズムの改善、コンピューターアーキテクチャの改善などです。これらを実現すれば、約3桁の改善が可能です。那が最も効果的な抜け道です。
あなたは第一原理思考の信奉者です。Lemurian Labsを運営する際に、第一原理思考があなたの心構えにどのような影響を与えるのか、教えてください。
私たちはLemurianで第一原理思考を多く採用しています。伝統的な知識は誤解を招くことが多いと思います。なぜなら、その知識は特定の時点で形成されたからです。当時の特定の条件に基づいて形成されたものです。しかし、世界は常に変化しています。私たちは、常に仮定を再検証する必要があります。特に、変化の速い世界ではそうです。
私は、たとえば、「このアイデアはとても良いと思いますが、どこが間違っているのか」というような質問をします。あるいは、「これが機能するには何が必要なのか」、「私たちが信じていることは何なのか」、「なぜこのアプローチが最良なのか」などです。私たちの目標は、アイデアをできるだけ早く、安く、廃棄することです。同時に、さまざまなことを試す機会を最大化したいと思います。問題を解決することに執念を燃やし、特定のテクノロジーに固執しないことが重要です。多くの人々はテクノロジーに過度に焦点を当てていますが、顧客の問題を誤解し、業界の変化を見逃し、適応できないでしまいます。
第一原理思考だけではあまり役に立たないことがあります。私たちは、バックキャスティングと組み合わせて使用します。バックキャスティングとは、理想的な将来像を想像し、そこから逆算して、目標を達成するために必要なステップを特定することです。これにより、革新的なソリューションを提供するだけでなく、現実に根ざしたものを提供できます。現実の制約を考慮せずに、完璧なソリューションを考え、後にそれを構築するのが難しい、または顧客が採用するのが難しいと判明することには意味がありません。
時々、決定を下す必要があるのにデータがない状況に陥ります。その場合、最小限のテスト可能な仮説を採用します。これにより、最小限のエネルギーを費やして、アイデアが有効かどうかを判断できます。
これらすべての組み合わせにより、私たちは機敏性を持ち、迅速なイテレーションサイクルでリスクを迅速に軽減し、戦略を自信を持って調整し、短期間で難しい問題に多大な進歩を遂げることができます。
当初、あなたはエッジAIに焦点を当てていましたが、クラウドコンピューティングにシフトした理由について教えてください。
私たちはエッジAIから始めました。当時、私は汎用の自律ロボティクスを導入するために特定の問題を解決しようとしていました。自律ロボティクスは、私たちが共有する歴史上最大のプラットフォームシフトの約束を持ちます。私たちは、ロボティクス用の基礎モデルを構築するために必要なすべてを持っていましたが、適切なバランスを持った推論チップが不足していました。推論チップは、スループット、待ち時間、エネルギー効率、プログラム可能性のバランスが取れていました。
私は、当時、データセンターに焦点を当てていませんでした。データセンターにはすでに多くの企業が取り組んでいたからです。私は、そこで問題を解決することができると考えました。私たちは、エッジAI用に非常に強力なアーキテクチャを設計し、テープアウトの準備をしていました。すると、世界が変わったことが明らかになりました。LLMが拡大し、コンピュートリソースを消費する速度は、コンピューティングの進歩のペースを上回っていました。採用率を考慮すると、心配な絵図が浮かび上がりました。
私たちが努力を集中すべき場所は、データセンターにあると感じました。データセンターでのAIのエネルギー費用を可能な限り下げるためにです。AIの進化を制限することなく、どこでも、どのようにでもAIを利用できるようにしたいと思いました。そこで、私たちはその問題を解決するために取り組み始めました。
Lemurian Labsの共同創設の物語を共有してください。
物語は2018年の初めに始まります。当時、私は汎用の自律性のための基礎モデルをトレーニングし、エージェントをトレーニングおよびファインチューニングするための生成マルチ物理シミュレーションのモデル、そしてマルチエージェント環境に拡張するためのいくつかの他のものを作成していました。しかし、すぐに、私が持っていたコンピュートリソースを使い果たしてしまいました。私は、少なくとも20,000のV100 GPUが必要であると推定しました。私は、必要なリソースを調達するために資金を調達しようとしましたが、市場はまだそのような規模に適応していませんでした。ただし、それが私に、デプロイの側面について考える機会を与えました。
2年後、2020年に、私はVassilと会いました。Vassilは、私の共同創設者です。私は、自律性の基礎モデルを構築する際に直面した課題について話しました。Vassilは、基礎モデルを実行できる推論チップを構築することを提案しました。Vassilは、数値形式について考えており、より良い表現方法は、ニューラルネットワークが低ビット幅で精度を維持できるだけでなく、より強力なアーキテクチャを作成するのにも役立つと話しました。
それは面白いアイデアでしたが、私の専門外でした。しかし、それは私の頭から離れません。そのため、私は数か月間、コンピューターアーキテクチャ、命令セット、ランタイム、コンパイラ、プログラミングモデルについて学びました。最終的に、半導体会社を立ち上げることが意味をなすようになりました。私は、問題と解決策についてのテーゼを形成しました。2020年の終わり、私たちはLemurianを始めました。
あなたは、ハードウェアを構築する際に、ソフトウェアを最初に取り組む必要があると話しています。ハードウェアの問題が、第一にソフトウェアの問題である理由について説明してください。
多くの人が気づいていないのは、半導体のソフトウェア側面が、ハードウェア自体よりもはるかに難しいということです。顧客が利用して利益を得ることができる有用なコンピューターアーキテクチャを構築するには、フルスタックの問題です。如果、理解と準備ができていない場合、美しいアーキテクチャが完成しますが、開発者にとっては全く利用できないものになります。つまり、重要なのはアーキテクチャのパフォーマンスや効率だけではありません。
ソフトウェアを先に進めることで、より迅速な市場投入が可能になります。これは、急速に変化する世界では非常に重要です。アーキテクチャーや機能に過度に楽観的になると、市場のニーズから外れてしまう可能性があります。
ソフトウェアを先に進めないと、重要な製品の採用に必要なものが不十分になります。市場の変化、たとえばワークロードの予期せぬ進化に応じることができません。ハードウェアの活用が不十分になる可能性もあります。すべてが良好な結果ではありません。したがって、私たちはソフトウェア中心のアプローチを重視しています。半導体会社は、実際にはソフトウェア会社である必要があると考えています。
あなたの近期的なソフトウェアスタックの目標について教えてください。
私たちがアーキテクチャを設計し、ロードマップを考える際に、将来の機会を探り、パフォーマンスとエネルギー効率を向上させる方法を探しました。すると、ソフトウェア側で多くの問題が生じることが明らかになりました。私たちは、ヘテロジニアスアーキテクチャが増え、多くの問題を引き起こすと考えました。データセンター規模でこれらのアーキテクチャをプログラムする必要がありますが、これは以前経験したことのない課題です。
これは私たちを心配させました。最後に大きな移行があったのは、シングルコアからマルチコアアーキテクチャへの移行でした。当時、ソフトウェアが機能するようになるまでに10年かかりました。私たちは10年待つことはできません。ヘテロジニアス性のためのソフトウェアスタックを今すぐに作らなければなりません。そこで、私たちは問題を理解し、ソフトウェアスタックが存在するために何が必要かを調べ始めました。
現在、私たちは主要な半導体会社やハイパースケーラー/クラウドサービスプロバイダーと協力しています。次の12ヶ月以内に、私たちのソフトウェアスタックをリリースする予定です。これは、統一されたプログラミングモデルで、コンパイラとランタイムを備えており、さまざまなアーキテクチャをターゲットとし、異なるハードウェアで構成されたクラスター全体で作業を調整することができます。さらに、単一ノードから1000ノードクラスターまで、最高のパフォーマンスを実現することができます。
素晴らしいインタビュー、詳しく知りたい読者はLemurian Labsを訪問してください。
