コーネリスネットワークスのDoug Fuller氏、ソフトウェアエンジニアリングVP – インタビューシリーズ

ソフトウェアエンジニアリングのVPとして、Dougは、コーネリスネットワークスのソフトウェアスタックのすべての側面を担当しています。包括的なオミニパスアーキテクチャドライバー、メッセージングソフトウェア、および組み込みデバイス制御システムです。コーネリスネットワークスに入社する前に、Dougは、クラウドストレージおよびデータサービスで、Red Hatのソフトウェアエンジニアリングチームを率いていました。DougのHPCおよびクラウドコンピューティングでのキャリアは、エームズ国立研究所のスケーラブルコンピューティング研究所で始まりました。大学の研究コンピューティングでの役割を経て、2009年に米国エネルギー省のオークリッジ国立研究所に参加し、世界クラスのオークリッジリーダーシップコンピューティング施設で新しいテクノロジーを開発および統合しました。

コーネリスネットワークスは、HPC、HPDA、およびAI向けの高性能ファブリックを提供するテクノロジーリーダーです。主要な商業、科学、学術、および政府機関向けに目的のある高性能ファブリックを提供しています。

コンピューターサイエンスに最初に惹かれたのは何ですか?

私は単にテクノロジーを扱うのが好きだったようです。私は成長するにつれてコンピューターを扱うのが好きでした。学校では、インターネットを試すことができるモデムがあり、面白いと思いました。大学の1年生のとき、米国エネルギー省の計算科学者と出会い、HPCラボを案内してもらったところ、そこに惹かれました。以来、私はスーパーコンピューターの愛好家です。

2015年から2019年までRed Hatで働きました。そこでの主なプロジェクトとその経験から得た主な教訓は何ですか?

Red Hatでの私の主なプロジェクトは、Ceph分散ストレージでした。以前はHPCにのみ焦点を当てていたので、クラウドインフラストラクチャに重要なテクノロジーに取り組む機会を得ました。スケーラビリティ、管理性、信頼性の原則は非常に似ていることに気づきました。テクノロジーについては、クラウドとHPCが互いに多くを学ぶことができることを理解しました。私たちは、同じレゴブロックで異なるプロジェクトを構築しています。コーネリスネットワークスに参加する際に持って来たオープンソース、上流第一のソフトウェア開発哲学の価値を理解することもできました。個人的には、Red Hatでリーダーとして成長し、成熟しました。

現在、コーネリスネットワークスのソフトウェアエンジニアリングVPです。ご担当範囲と平均的な1日の様子はどうなりますか?

ソフトウェアエンジニアリングのVPとして、コーネリスネットワークスのソフトウェアスタックのすべての側面を担当しています。包括的なオミニパスアーキテクチャドライバー、メッセージングソフトウェア、ファブリック管理、および組み込みデバイス制御システムです。コーネリスネットワークスは、特にこの時点で、この市場で非常に興奮する場所です。したがって、私には「平均的な」日はないと思います。ある日は、チームと一緒に最新のテクノロジー課題を解決するために取り組んでいます。別の日は、ハードウェアアーキテクトと協力して、次の世代の製品が顧客に期待を裏切らないことを確認しています。私はしばしば、素晴らしいコミュニティの顧客やコラボレーターと交流し、ニーズを理解し、予測するためにフィールドに出ています。

コーネリスネットワークスは、HPCおよびAIアプリケーション向けに次世代のネットワークを提供しています。提供されるハードウェアについての詳細を共有できますか?

私たちのハードウェアは、高性能スイッチファブリックタイプのネットワークファブリックソリューションで構成されています。HPC、クラウド、およびAIファブリックを完全に統合するために必要なすべてのデバイスを提供します。オミニパスホストファブリックインターフェース（HFI）は、エンドポイントデバイス用のロープロファイルPCIeカードです。また、48ポート1U「トップオブラック」スイッチも製造しています。より大規模な展開の場合、2つの完全に統合された「ディレクタークラス」スイッチを製造しています。1つは7Uに288ポートを収容し、もう1つは20Uに1152ポートを収容するデバイスです。

インフラストラクチャを管理するソフトウェアと、待ち時間を減らすように設計されている方法について説明できますか?

まず、私たちの組み込み管理プラットフォームは、簡単なインストールと構成、および私たちのスイッチASICによって生成される幅広いパフォーマンスおよび構成メトリックへのアクセスを提供します。

私たちのドライバーソフトウェアは、Linuxカーネルの一部として開発されています。実際、すべてのソフトウェアパッチをLinuxカーネルコミュニティに直接提出しています。つまり、すべての顧客がLinuxディストリビューション間の最大の互換性と、Lustreなどの他のソフトウェアとの簡単な統合を享受できるようになります。待ち時間パスにはないものの、ツリー内ドライバーはインストールの複雑さを大幅に減らします。

オミニパスファブリックマネージャー（FM）は、オミニパスファブリックを構成およびルーティングします。トラフィックルートを最適化し、障害から迅速に回復することで、FMは、10ノードから数千ノードのファブリックで業界をリードするパフォーマンスと信頼性を提供します。

オミニパスエクスプレス（OPX）は、私たちの高性能メッセージングソフトウェアで、2022年11月にリリースされました。以前のメッセージングソフトウェアよりも待ち時間を短縮するように特別に設計されています。私たちは、送信および受信コードパスのサイクル精密シミュレーションを実行して、命令数とキャッシュ使用率を最小限に抑えました。これにより、劇的な結果がもたらされました。マイクロ秒の領域では、1サイクルも重要です。

また、オープンファブリックスインターフェース（OFI）と統合しました。OFIは、オープンファブリックスアライアンスによって生成されたオープンスタンダードです。OFIのモジュラーアーキテクチャは、ファブリック機能を追加の関数呼び出しなしで利用できるようにすることで、待ち時間を最小限に抑えるのに役立ちます。

ネットワークはスケーラビリティを高めるように設計されています。詳細についてはどうか共有してください。

スケーラビリティは、オミニパスの設計原則の核心です。最も低いレベルでは、クラレイリンクレイヤーテクノロジーを使用して、待ち時間への影響なしにリンクエラーを修正します。これは、自然にリンクエラーが発生しやすい大規模ファブリックに特に重要です。ファブリックマネージャーは、最適なルーティングテーブルをプログラムし、迅速に実行することに重点を置いています。つまり、最小の時間でルーティングを完了できるように、最も大きなファブリックでも実行できます。

スケーラビリティは、OPXの重要なコンポーネントでもあります。キャッシュ使用率を最小限に抑えることで、個々のノードのスケーラビリティが向上します。待ち時間を最小限に抑えることで、集団アルゴリズムの完了時間が向上し、スケーラビリティが向上します。ホストファブリックインターフェイスリソースをより効率的に使用することで、各コアはより多くのリモートピアと通信できます。libfabricの戦略的な選択により、標準インターフェースを使用してスケーラブルエンドポイントを利用できます。

コーネリスネットワークスでのAIの取り組みについて、詳細を共有できますか?

私たちはまだ、内部でのAIの使用や計画について外部に話す準備ができていません。しかし、私たちは「自分で作ったもの」を使うので、HPCワークロードをサポートするためにオミニパスで行った待ち時間とスケーラビリティの強化を活用できるようになりました。これにより、顧客やパートナーとこれらの利点を共有することができ、さらに兴奮することになります。伝統的なHPCと同様に、インフラストラクチャをスケールアウトすることは前進する唯一の道ですが、ネットワークパフォーマンスは、イーサネットや従来のネットワークによって簡単に阻害される課題です。

生成AIの出現により、業界でどのような変化が予想されますか?

まず、生成AIは人々をより生産的にするでしょう。歴史上、どのテクノロジーも人間を不要にしていません。綿紡ぎ機から自動織機、電話、インターネットなど、テクノロジーの進化と革命は、特定の仕事をより効率的に行えるようにしましたが、人間を不要にしたことはありません。

生成AIの適用により、企業はテクノロジー的により迅速に進化できるでしょう。企業を運営する人々は、進歩に集中するための余裕が増えるからです。たとえば、生成AIが予測、報告、計画などをより正確に行うことができると、企業は専門分野での革新に集中できます。

私は、AIが各人を多分野の専門家にすると思います。たとえば、スケーラブルソフトウェアの専門家として、HPC、ビッグデータ、クラウド、AIアプリケーションの間のつながりを理解しています。生成AIアシスタントを装備することで、顧客が使用するアプリケーションの「意味」に深く掘り下げることができます。私には疑問の余地がない、つまりこれが私たちにさらに効果的なハードウェアとソフトウェアを設計するのを助けてくれるでしょう。

また、生成AIにより、ソフトウェアの品質が全体的に向上することを予想しています。AIは、コードを静的に分析し、バグやパフォーマンスの問題に関する洞察を開発する「別の目」になります。これは、特にパフォーマンスの問題が特に難しいと感じられる大規模なスケールで特に興味深いことになります。

最後に、私は生成AIが、私たちの業界にAIやHPCの経験がないソフトウェアプロフェッショナルをトレーニングし、オンボーディングするのを助けてくれることを希望しています。私たちの分野は多くの人にとって難しいと感じられることがありますが、生成AIが概念について考えること、推論することをより簡単にするでしょう。

ご自身の仕事やコーネリスネットワークスについて、他に共有したいことはありますか?

コンピューティング、特にHPCおよびAIの分野でのキャリアを追求したいと考えている方に、奨励したいと思います。この分野は、史上最高のコンピューティングリソースを備え、人類の最大の課題に対処しています。ここは非常に興奮する場所です。私はこれまでの道のりを楽しんできました。生成AIは、私たちの分野をさらに新たな高みへと導いてくれるでしょう。需要が急激に増加する能力の需要に応じて、私たちがどこへ行くのかを見てみようと私は楽しみです。

素晴らしいインタビュー、ありがとうございました。詳しく知りたい読者は、コーネリスネットワークスを訪問してください。