Doug Fuller, VP för programvaruutveckling på Cornelis Networks – Intervjuserie

Som Vice President för programvaruutveckling ansvarar Doug för alla aspekter av Cornelis Networks programvarustack, inklusive Omni-Path Architecture-drivrutinerna, meddelandesoftware och inbäddade enhetskontrollsystem. Innan han anslöt sig till Cornelis Networks ledde Doug programvaruutvecklingsteam på Red Hat inom molnlagring och dataservices. Dougs karriär inom HPC och molnberäkning började på Ames National (ATLO ) Laboratorys Scalable Computing Laboratory. Efter flera roller inom universitetsforskning anslöt sig Doug till US Department of Energys Oak Ridge National Laboratory 2009, där han utvecklade och integrerade nya teknologier på världsklassens Oak Ridge Leadership Computing Facility.

Cornelis Networks är en teknisk ledare som levererar specialbyggda högpresterande vävar för High Performance Computing (HPC), High Performance Data Analytics (HPDA) och Artificiell Intelligens (AI) till ledande kommersiella, vetenskapliga, akademiska och statliga organisationer.

Vad var det som initialt lockade dig till datavetenskap?

Jag tycktes bara njuta av att arbeta med teknologi. Jag njöt av att arbeta med datorer när jag växte upp; vi hade en modem i skolan som lät mig prova på Internet och jag fann det intressant. Som freshman på college mötte jag en USDOE-komputationsvetare medan jag frivilligt arbetade för National Science Bowl. Han bjöd in mig att besöka hans HPC-laboratorium och jag blev fast. Jag har varit en superdatornörd sedan dess.

Du arbetade på Red Hat från 2015 till 2019, vad var några av de projekt du arbetade på och vad var dina viktigaste insikter från den erfarenheten?

Mitt huvudprojekt på Red Hat var Ceph-distribuerad lagring. Jag hade tidigare fokuserat helt på HPC och det gav mig möjlighet att arbeta med teknologier som var kritiska för molninfrastruktur. Det rimmar. Många av principerna för skalbarhet, hanterbarhet och tillförlitlighet är extremt lika, även om de är avsedda att lösa något olika problem. När det gäller teknologi var min viktigaste insikt att moln och HPC har mycket att lära av varandra. Vi bygger alltmer olika projekt med samma Lego-uppsättning. Det har verkligen hjälpt mig att förstå hur möjliggörande teknologier, inklusive vävar, kan komma till användning för HPC-, moln- och AI-applikationer. Det är också där jag verkligen kom att förstå värdet av Open Source och hur man genomför Open Source, upstream-first programvaruutvecklingsfilosofi som jag tog med mig till Cornelis Networks. Personligen var Red Hat där jag verkligen växte och mognade som ledare.

Du är för närvarande Vice President för programvaruutveckling på Cornelis Networks, vad är några av dina ansvarsområden och hur ser en genomsnittlig dag ut för dig?

Som Vice President för programvaruutveckling ansvarar jag för alla aspekter av Cornelis Networks programvarustack, inklusive Omni-Path Architecture-drivrutinerna, meddelandesoftware, vävhantering och inbäddade enhetskontrollsystem. Cornelis Networks är en spännande plats att vara, särskilt i denna stund och på denna marknad. På grund av det är jag inte säker på att jag har en “genomsnittlig” dag. Vissa dagar arbetar jag med mitt team för att lösa den senaste tekniska utmaningen. Andra dagar interagerar jag med våra maskinvaruarkitekter för att säkerställa att våra nästa generations produkter kommer att leverera för våra kunder. Jag är ofta ute på fältet och möter vår fantastiska samling kunder och samarbetspartner för att säkerställa att vi förstår och förutser deras behov.

Cornelis Networks erbjuder nästa generations nätverk för High Performance Computing och AI-applikationer, kan du dela några detaljer om den maskinvara som erbjuds?

Vår maskinvara består av en högpresterande vävtypnätverkslösning. För detta ändamål tillhandahåller vi alla nödvändiga enheter för att fullt ut integrera HPC-, moln- och AI-vävar. Omni-Path Host-Fabric Interface (HFI) är en lågprofils PCIe-kort för slutpunktsenheter. Vi producerar också en 48-port 1U “top-of-rack”-switch. För större distributioner tillverkar vi två fullt integrerade “direktörs-klass”-switchar; en som packar 288 portar i 7U och en 1152-port, 20U-enhet.

Kan du diskutera den programvara som hanterar denna infrastruktur och hur den är utformad för att minska latensen?

Först och främst tillhandahåller vår inbäddade hanteringsplattform enkel installation och konfiguration samt åtkomst till en mängd olika prestanda- och konfigurationsmått som genereras av våra switch-ASIC:er.

Vår drivrutinsprogramvara utvecklas som en del av Linux-kärnan. Faktum är att vi skickar alla våra programvarupatchar till Linux-kärngemenskapen direkt. Det säkerställer att alla våra kunder njuter av maximal kompatibilitet över Linux-distributioner och enkel integration med annan programvara, såsom Lustre. Medan det inte är i latensvägen, minskar en in-tree-drivrutin dramatiskt installationskomplexiteten.

Omni-Path fabric manager (FM) konfigurerar och dirigerar en Omni-Path-väv. Genom att optimera trafikrutter och återhämta sig snabbt från fel, tillhandahåller FM branschledande prestanda och tillförlitlighet på vävar från tiotals till tusentals noder.

Omni-Path Express (OPX) är vår högpresterande meddelandesoftware, som nyligen släpptes i november 2022. Den utformades specifikt för att minska latensen jämfört med vår tidigare meddelandesoftware. Vi körde cykel-exakta simuleringar av vår sänd- och mottagar-kodväg för att minimera instruktionsräkningen och cache-användningen. Det producerade dramatiska resultat: när du är i mikrosekund-regimen, räknas varje cykel!

Vi integrerade också med OpenFabrics Interfaces (OFI), en öppen standard som produceras av OpenFabrics Alliance. OFI:s modulära arkitektur hjälper till att minimera latensen genom att tillåta högre nivåer av programvara, såsom MPI, att utnyttja väv-funktioner utan extra funktionsanrop.

Hela nätverket är också utformat för att öka skalbarheten, kan du dela några detaljer om hur det kan skalas så bra?

Skalbarhet är en kärndesignprincip för Omni-Path. På de lägsta nivåerna använder vi Cray-länklagerteknologi för att korrigera länkfel utan någon latenspåverkan. Det påverkar vävar i alla skalor, men är särskilt viktigt för stora skalor, som naturligt sett upplever fler länkfel. Vår fabric manager fokuserar på att programmera optimala routningstabeller och på att göra det på ett snabbt sätt. Det säkerställer att routning för även de största vävarna kan slutföras på minimal tid.

Skalbarhet är också en kritisk komponent i OPX. Minimera cache-användning förbättrar skalbarheten på enskilda noder med stora kärntal. Minimera latensen förbättrar också skalbarheten genom att förbättra sluttiden för kollektiva algoritmer. Använda våra host-fabric-gränssnittsresurser mer effektivt möjliggör för varje kärna att kommunicera med fler avlägsna peer-enheter. Det strategiska valet av libfabric möjliggör för oss att utnyttja programvarufunktioner som skalbara slutpunkter med standardgränssnitt.

Kan du dela några detaljer om hur AI är integrerat i några av arbetsflödena på Cornelis Networks?

Vi är inte riktigt redo att prata externt om våra interna användningar av och planer för AI. Det sagt, så äter vi vår egen hundmat, så vi får dra nytta av de latens- och skalbarhetsförbättringar vi har gjort till Omni-Path för att stödja AI-arbetsbelastningar. Det gör oss ännu mer entusiastiska över att dela dessa fördelar med våra kunder och partners. Vi har verkligen observerat att, liksom i traditionell HPC, är att skala ut infrastrukturen den enda vägen framåt, men utmaningen är att nätverksprestanda lätt kan hämmas av Ethernet och andra traditionella nätverk.

Vad är några förändringar som du förutser i branschen med ankomsten av generativ AI?

Först och främst kommer användningen av generativ AI att göra människor mer produktiva – ingen teknik i historien har gjort människor överflödiga. Varje teknikevolution och revolution vi har haft, från spinnmaskinen till den automatiska väven, telefonen, internet och bortom, har gjort vissa jobb mer effektiva, men vi har inte arbetat bort mänskligheten.

Genom tillämpningen av generativ AI tror jag att företag kommer att tekniskt utvecklas i en snabbare takt, eftersom de som driver företaget kommer att ha mer ledig tid att fokusera på dessa framsteg. Till exempel, om generativ AI tillhandahåller mer exakt prognostisering, rapportering, planering osv. – kan företag fokusera på innovation inom sitt expertområde

Jag känner specifikt att AI kommer att göra var och en av oss till en multidisciplinär expert. Till exempel, som en skalbar programvaruexpert, förstår jag sambanden mellan HPC, stora data, moln och AI-applikationer som driver dem mot lösningar som Omni-Path. Utrustad med en generativ AI-assistent kan jag dyka djupare in i meningen med de applikationer som används av våra kunder. Jag har ingen tvekan om att detta kommer att hjälpa oss att utforma ännu mer effektiv maskinvara och programvara för de marknader och kunder vi betjänar.

Jag förutser också en allmän förbättring av programvarukvalitet. AI kan effektivt fungera som “ett annat par ögon” för att statiskt analysera kod och utveckla insikter i buggar och prestandaproblem. Det kommer att vara särskilt intressant i stora skalor, där prestandaproblem kan vara särskilt svåra att upptäcka och dyra att reproducera.

Slutligen hoppas och tror jag att generativ AI kommer att hjälpa vår bransch att utbilda och påbörja fler programvaruproffs utan tidigare erfarenhet av AI och HPC. Vår bransch kan verka skrämmande för många, och det kan ta tid att lära sig att “tänka i parallell”. I grunden, precis som maskiner gjorde det lättare att tillverka saker, kommer generativ AI att göra det lättare att överväga och resonera om begrepp.

Finns det något annat som du vill dela om ditt arbete eller Cornelis Networks i allmänhet?

Jag vill uppmuntra alla som är intresserade av att följa en karriär inom datavetenskap, särskilt inom HPC och AI. I detta fält är vi utrustade med de kraftfullaste datorresurserna som någonsin byggts, och vi använder dem mot mänsklighetens största utmaningar. Det är en spännande plats att vara, och jag har njutit av det varje steg på vägen. Generativ AI för vår bransch till ännu högre höjder, eftersom efterfrågan på ökad kapacitet ökar drastiskt. Jag kan inte vänta med att se vart vi går härnäst.

Tack för den underbara intervjun, läsare som vill lära sig mer kan besöka Cornelis Networks.