レムリアンラボスの共同創設者兼CEO、ジェイ・ダワニ – インタビュー・シリーズ

ジェイ・ダワニは、レムリアンラボスの共同創設者兼CEOです。 レムリアンラボス は、AIコンピュータを手頃な価格で提供し、誰もが利用できるようにすることを目的としています。レムリアンラボスの創設チームは、AI、コンパイラ、数値アルゴリズム、コンピューターアーキテクチャの専門知識を持ち、加速コンピューティングを再考することを目指しています。

あなたの背景と、AIに興味を持ったきっかけについてお話しください。

もちろん。私は12歳のときからプログラミングを始め、ゲームを作ったりしていたのですが、15歳のときに友人の父親がコンピュータに興味を持っていたことがきっかけでAIに興味を持つようになりました。彼は私に本を貸してくれたりして、私の興味を育ててくれました。例えば、Von Neumannの『The Computer and The Brain』やMinskyの『Perceptrons』、RusselとNorvigの『AI A Modern Approach』などです。これらの本は私の考え方を大きく変えることになりました。

大学に入学するとき、AIを学びたいと思っていましたが、AIを専攻する大学がなかったので、代わりに応用数学を学ぶことにしました。大学に入ってしばらくして、AlexNetのImageNetでの結果を知り、非常に興奮しました。そのとき、私は「今やらなければいつやるのか」と思ったので、できるだけ多くの論文や本を読み、分野のリーダーに学びました。新しい産業が生まれるときに、そこに参加する機会は滅多にありませんから、それを逃すことはできません。

すぐに私は、研究は好きではなかったが、問題を解決し、AIを利用した製品を作ることが好きだということを発見しました。そこで、自律車やロボット、材料の発見、多物理シミュレーション、プロのレースドライバーのトレーニング、宇宙ロボット、アルゴリズム取引など、さまざまなプロジェクトに取り組むようになりました。

今、私はAIのトレーニングとデプロイのコストを抑えることを目指しています。なぜなら、それが私たちが直面する最大の課題だからです。AIを誰もが利用できるようにするためには、コストを抑える必要があります。

加速コンピューティングに取り組む多くの企業の創設者は、半導体やインフラストラクチャの分野でキャリアを積んでいます。AIと数学の経験があなたの市場への理解や競争力にどのような影響を与えるのかについてお話しください。

私は、業界外から来たことが幸いです。私は、業界の常識や伝統的な知識に縛られていないので、自由に考え、深く掘り下げることができます。業界内では、多くのことが当たり前になっているので、疑問を持ちにくいですが、私は「なぜこうなっているのか」という疑問を持つことができます。

私は、AIの背景から来たので、ソフトウェアの観点から問題に取り組みます。現在のワークロードと将来の変化を考慮し、MLパイプラインをモデル化してボトルネックを特定し、価値を提供できる機会を探ります。数学の背景から来たので、真実に近づくためにモデル化し、データに基づいて判断します。例えば、システムのパフォーマンスを計算するモデルを作成し、コストと顧客への利益を測定することができます。

AIの進歩は、主にスケールアップから来ているようです。コンピュートとエネルギーの消費が指数関数的に増加しています。企業間で最大のモデルを構築する競争が続いています。どうにかこの状況を抜け出す方法はありますか。

方法はあります。スケールアップは非常に有効でしたが、まだ限界に達していません。将来、少なくとも10億ドルのコストでモデルをトレーニングすることになるでしょう。ジェネレーティブAIのリーダーになり、最先端のモデルを作りたいのであれば、少なくとも年間数十億ドルをコンピュートに費やす必要があります。ただし、スケールアップには限界があります。例えば、モデルサイズに合わせてデータセットを構築することが難しくなります。また、専門知識やコンピュートリソースにアクセスすることも難しくなります。

モデルサイズのスケールアップは避けられませんが、地球全体を超巨大なスーパーコンピュータに変えることはできないので、他の方法で改善する必要があります。データセット、モデルアーキテクチャ、トレーニング方法、コンパイル、アルゴリズム、コンピュータアーキテクチャなどを改善することで、約3桁の改善が可能です。那が抜け出す最良の方法です。

あなたは、第一原理思考の重要性について話すことがあります。レムリアンラボスを運営する際に、この考えがあなたの姿勢をどのように形作っているのかについてお話しください。

私たちは、レムリアンラボスで第一原理思考を多く取り入れています。伝統的な知識は、特定の時点での特定の仮定に基づいて形成されたものです。世界は常に変化しているので、仮定を再検証する必要があります。私は、常に疑問を持ち、仮定を疑うことを心がけています。例えば、「このアイデアはなぜ良いのか」、「何が真実である必要があるのか」、「なぜ特定のアプローチが最良の方法なのか」などです。

第一原理思考だけでは十分ではありません。私たちは、バックキャスティングも行います。理想的な将来像を想像し、そこから逆算して必要なステップを特定します。これにより、革新的な解決策を見つけることができます。第一原理思考とバックキャスティングを組み合わせることで、現実に基づいた解決策を見つけることができます。

レムリアンラボスの創設についての話を聞かせてください。

2018年の初め、一般目的の自律ロボット用の基礎モデルをトレーニングしようとしていましたが、20,000個のV100 GPUが必要になりました。資金を調達しようとしたのですが、市場はまだそのような規模に備えていませんでした。そこで、デプロイの側面について考えるようになり、モデルを提供するために必要なパフォーマンスを計算しました。ただし、必要なパフォーマンスを提供できるチップは存在しませんでした。

最初はエッジAIに焦点を当てていましたが、クラウドコンピューティングに注力するようになった理由についてお話しください。

エッジAIに焦点を当てていたのは、自律ロボット用の基礎モデルを作成するために、適切なインフェレンスチップが必要だったからです。ただし、LLMのスケールアップが予想を上回り、データセンターでのエネルギー消費が大きな問題になっていることを認識しました。そこで、データセンターでのAIのエネルギー消費を減らすことに注力することにしました。

ハードウェアを構築する際に、ソフトウェアを先に取り組むことの重要性についてお話しください。

多くの人が認識していないのは、半導体のソフトウェア側面がハードウェアよりも難しいことです。有用なコンピュータアーキテクチャを構築するには、フルスタックの問題です。ソフトウェアの理解と準備がなければ、美しいアーキテクチャを構築できますが、開発者が利用できないものになってしまいます。

ソフトウェアを先に取り組むことには、市場に出るまでの時間を短縮する利点もあります。これは、急速に変化する世界では非常に重要です。ハードウェアのアーキテクチャに過度に楽観的になると、市場を逃す可能性があります。

現在のソフトウェアスタックの目標についてお話しください。

私たちは、将来のロードマップと機会を考慮して、アーキテクチャを設計し、ソフトウェアスタックを構築する必要性を認識しました。データセンター規模のヘテロジニアスアーキテクチャをプログラミングする必要がありますが、これは以前になかった課題です。10年前にシングルコアからマルチコアアーキテクチャへの移行があったときと同様に、ソフトウェアを整えるのに10年かかることはできないので、すぐに解決する必要があります。

現在、主要な半導体企業やクラウドサービスプロバイダーと協力し、次の12ヶ月以内にソフトウェアスタックをリリースする予定です。統一されたプログラミングモデルであり、コンパイルとランタイムを備え、任意のアーキテクチャをターゲットとし、異なるハードウェアクラスター間で作業を調整し、シングルノードから1000ノードクラスターまでスケールし、高いパフォーマンスを提供することができます。

素晴らしいインタビュー、詳しく知りたい読者はレムリアンラボスを訪れてください。