Doug Fuller, viceprezident pro softwarové inženýrství ve společnosti Cornelis Networks – rozhovor

Jako viceprezident pro softwarové inženýrství je Doug zodpovědný za všechny aspekty softwarového stacku společnosti Cornelis Networks, včetně ovladačů architektury Omni-Path, softwaru pro zasílání zpráv a vestavěných systémů řízení zařízení. Předtím, než se připojil ke společnosti Cornelis Networks, vedl Doug týmy softwarových inženýrů ve společnosti Red Hat v oblasti cloudového úložiště a datových služeb. Dougova kariéra v oblasti HPC a cloud computingu začala v laboratoři Scalable Computing Laboratory v Ames National (ATLO ) Laboratory. Po několika rolích v univerzitním výzkumu se Doug připojil v roce 2009 k Úřadu pro energetiku Spojených států amerických v Oak Ridge National Laboratory, kde vyvinul a integroval nové technologie v světové třídě Oak Ridge Leadership Computing Facility.

Cornelis Networks je technologickým lídrem, který dodává specializované high-performance sítě pro High Performance Computing (HPC), High Performance Data Analytics (HPDA) a Artificial Intelligence (AI) pro přední komerční, vědecké, akademické a vládní organizace.

Co vás původně přitáhlo k informatice?

Jednoduše jsem se zdál být rád, že pracuji s technologií. Měl jsem rád práci s počítači, když jsem vyrůstal; naše škola měla modem, který mi umožnil vyzkoušet Internet a našla jsem to zajímavé. Jako freshman na univerzitě jsem potkal vědce z USDOE, který mě pozval na prohlídku jeho laboratoře HPC a já byl okamžitě zaujat. Od té doby jsem byl fanouškem superpočítačů.

Pracoval jste ve společnosti Red Hat od roku 2015 do roku 2019, na jakých projektech jste pracoval a jaké byly vaše hlavní poznatky z této zkušenosti?

Mým hlavním projektem ve společnosti Red Hat byl Ceph distribuovaný úložiště. Předtím jsem se zaměřoval výhradně na HPC a toto mi poskytlo příležitost pracovat na technologiích, které byly kritické pro cloudovou infrastrukturu. Je to podobné. Mnohé z principů škálovatelnosti, spravovatelnosti a spolehlivosti jsou extrémně podobné, i když jsou zaměřeny na řešení slightly odlišných problémů. Co se týče technologií, můj nejvýznamnější poznatek byl, že cloud a HPC mají mnoho co naučit se od sebe. Stavíme stále více projektů se stejným sadou stavebních bloků. To mi opravdu pomohlo pochopit, jak mohou technologie, včetně sítí, ovlivnit aplikace HPC, cloud a AI. To je také místo, kde jsem opravdu pochopil hodnotu Open Source a jak provádět filozofii Open Source, upstream-first softwarového vývoje, kterou jsem přinesl s sebou do společnosti Cornelis Networks. Osobně, Red Hat byl místem, kde jsem真的 vyrostl a dozrál jako leader.

Jste目前 viceprezident pro softwarové inženýrství ve společnosti Cornelis Networks, jaké jsou některé z vašich odpovědností a jak vypadá váš průměrný den?

Jako viceprezident pro softwarové inženýrství, jsem zodpovědný za všechny aspekty softwarového stacku společnosti Cornelis Networks, včetně ovladačů architektury Omni-Path, softwaru pro zasílání zpráv, řízení sítí a vestavěných systémů řízení zařízení. Společnost Cornelis Networks je zajímavým místem, zejména v tomto okamžiku a na tomto trhu. Protože toho, nemám “průměrný” den. Některé dny pracuji se svým týmem na řešení nejnovějších technologických výzev. Další dny komunikuji s našimi hardwarovými architekty, abychom zajistili, že naše budoucí produkty budou splňovat potřeby našich zákazníků. Často jsem v terénu, setkávám se s našimi úžasnými zákazníky a spolupracovníky, abychom zajistili, že rozumíme a předvídáme jejich potřeby.

Společnost Cornelis Networks nabízí next-generation sítě pro High Performance Computing a AI aplikace, můžete sdílet některé detaily o hardwaru, který je nabízen?

Náš hardware se skládá z high-performance přepínače sítě. K tomu poskytujeme všechny nezbytné zařízení pro plnou integraci HPC, cloud a AI sítí. Omni-Path Host-Fabric Interface (HFI) je nízkoprofilová PCIe karta pro koncová zařízení. Také vyrábíme 48-portový 1U “top-of-rack” přepínač. Pro větší nasazení vyrábíme dva plně integrované “director-class” přepínače; jeden, který obsahuje 288 portů v 7U a 1152-portový, 20U zařízení.

Můžete diskutovat o softwaru, který spravuje tuto infrastrukturu a jak je navržen tak, aby snižoval latenci?

Nejprve naše vestavěná platforma pro správu poskytuje snadnou instalaci a konfiguraci, stejně jako přístup k široké škále výkonových a konfiguračních metrik, které jsou produkovány našimi přepínači ASIC.

Náš softwarový ovladač je vyvinut jako součást jádra Linuxu. Ve skutečnosti odesíláme všechny naše softwarové opravy do komunity Linuxu přímo. To zajišťuje, že všichni naši zákazníci využívají maximální kompatibilitu napříč distribucemi Linuxu a snadnou integraci s jiným softwarem, jako je Lustre. Ačkoli to není na cestě latence, má ovladač v jádru dramaticky snižuje složitost instalace.

Omni-Path fabric manager (FM) konfiguruje a směruje Omni-Path síť. Optimalizací tras a rychlým zotavením z chyb poskytuje FM špičkový výkon a spolehlivost na sítích od desítek po tisíce uzlů.

Omni-Path Express (OPX) je náš high-performance software pro zasílání zpráv, který byl nedávno vydán v listopadu 2022. Byl navržen speciálně pro snížení latence ve srovnání s našim předchozím softwarem pro zasílání zpráv. Provedli jsme cyklus-precizní simulace našich send a receive kódových cest, abychom minimalizovali počet instrukcí a využití cache. To mělo dramatické výsledky: když jste v režimu mikrosekund, každý cyklus má význam!

Také jsme integrovali s OpenFabrics Interfaces (OFI), otevřeným standardem vyvinutým OpenFabrics Alliance. Modulární architektura OFI pomáhá minimalizovat latenci, umožňující vyšší úroveň softwaru, jako je MPI, využít funkcí sítě bez dalších funkčních volání.

Celá síť je také navržena tak, aby zvyšovala škálovatelnost, můžete sdílet některé detaily o tom, jak je schopna škálovat tak dobře?

Škálovatelnost je v jádru designových principů Omni-Path. Na nejnižší úrovni používáme technologii Cray link-layer pro opravu chyb na linkách bez dopadu na latenci. To ovlivňuje sítě ve všech škálách, ale je zvláště důležité pro velké sítě, které přirozeně zažívají více chyb na linkách. Náš fabric manager je zaměřen na programování optimálních trasovacích tabulek a na to, aby se tak stalo v minimálním čase. To zajišťuje, že i pro největší sítě lze trasování dokončit v minimálním čase.

Škálovatelnost je také kritickým komponentem OPX. Minimalizace využití cache zlepšuje škálovatelnost na jednotlivých uzlech s velkým počtem jader. Minimalizace latence také zlepšuje škálovatelnost, zlepšuje dobu dokončení pro kolektivní algoritmy. Efektivní využití zdrojů host-fabric rozhraní umožňuje každému jádru komunikovat s více vzdálenými partnery. Strategické rozhodnutí použít libfabric umožňuje nám využít softwarové funkce, jako jsou škálovatelné koncové body pomocí standardních rozhraní.

Můžete sdílet některé detaily o tom, jak je AI začleněn do některých pracovních postupů ve společnosti Cornelis Networks?

Ještě nejsme připraveni mluvit externě o našich interních použitích a plánech pro AI. Řekli jsme, že “jíme svůj vlastní pes”, takže můžeme využít výhod snížení latence a zlepšení škálovatelnosti, které jsme provedli v Omni-Path, aby podpořily AI úkoly. To nás činí ještě více nadšenými, abychom tyto výhody sdíleli se našimi zákazníky a partnery. Určitě jsme pozorovali, že stejně jako v tradičním HPC, škálování infrastruktury je jedinou cestou vpřed, ale výzvou je, že síťová výkonnost je snadno potlačena Ethernetem a jinými tradičními sítěmi.

Jaké změny předpovídáte v odvětví s příchodem generativní AI?

Nejprve, použití generativní AI bude lidem více produktivní – žádná technologie v historii neučinila lidské bytosti zastaralými. Každá technologická evoluce a revoluce, kterou jsme měli od čtecího stroje až po automatický tkalcovský stav, telefon, internet a dále, učinily některé úkoly více efektivní, ale nevyřadily lidské bytosti z existence.

Pomocí generativní AI budou společnosti technicky pokrokovější, protože ti, kteří je řídí, budou mít více volného času, aby se soustředili na tyto pokroky. Například, pokud generativní AI poskytuje přesnější předpovědi, reporting, plánování atd. – společnosti se mohou soustředit na inovace ve svém oboru odbornosti

Konkrétně se domnívám, že AI učiní každého z nás multidisciplinárním odborníkem. Například jako odborník na škálovatelný software rozumím spojením mezi HPC, big data, cloudem a AI aplikacemi, které vedou k řešení, jako je Omni-Path. S generativním AI asistentem mohu proniknout hlouběji do významu aplikací, které naše zákazníky používají. Nemám pochyb, že to pomůže navrhnout ještě účinnější hardware a software pro trhy a zákazníky, které sloužíme.

Také předpovídám celkové zlepšení kvality softwaru. AI může účinně fungovat jako “další sada očí” pro statickou analýzu kódu a vývoj poznatků o chybách a problémech s výkonem. To bude zvláště zajímavé ve velkém měřítku, kde mohou být problémy s výkonem zvláště obtížné najít a drahé reprodukovat.

Nakonec doufám a věřím, že generativní AI pomůže našemu odvětví školení a začlenění více softwarových odborníků bez předchozích zkušeností s AI a HPC. Naše pole může vypadat zastrašujícím pro mnohé a může trvat čas, aby se naučili “myslet paralelně”. Zásadně, stejně jako stroje usnadnily výrobu věcí, generativní AI usnadní考虑 a rozumění konceptům.

Ještě něco, co byste rádi sdíleli o své práci nebo společnosti Cornelis Networks obecně?

Chtěl bych povzbudit každého, kdo má zájem o kariéru v informatice, zejména v HPC a AI. V tomto oboru jsme vybaveni nejvýkonnějšími výpočetními zdroji, které byly kdy postaveny, a využíváme je k řešení největších výzev lidstva. Je to zajímavé místo, a já jsem si to užíval každý krok cesty. Generativní AI přináší naše pole do ještě vyšších výšek, protože poptávka po zvyšující se schopnosti dramaticky roste. Nemohu se dočkat, kam půjdeme dál.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Cornelis Networks.