Doug Fuller, VP tal-Inġinerija tas-Software f'Cornelis Networks - Serje ta' Intervisti

Bħala Viċi President tal-Inġinerija tas-Software, Doug huwa responsabbli għall-aspetti kollha tal- Netwerks Cornelis' munzell ta' softwer, inklużi s-sewwieqa tal-Arkitettura Omni-Path, softwer tal-messaġġi, u sistemi ta 'kontroll tal-apparat inkorporat. Qabel ma ngħaqad ma' Cornelis Networks, Doug mexxa timijiet ta' inġinerija tas-softwer f'Red Hat fis-servizzi ta' ħażna u data cloud. Il-karriera ta' Doug fl-HPC u l-cloud computing bdiet fil-Laboratorju Scalable Computing ta' Ames National Laboratory. Wara diversi rwoli fil-kompjuters tar-riċerka universitarja, Doug ingħaqad mal-Laboratorju Nazzjonali Oak Ridge tad-Dipartiment tal-Enerġija tal-Istati Uniti fl-2009, fejn żviluppa u integra teknoloġiji ġodda fil-Faċilità tal-Kompjuting ta 'Leadership Oak Ridge ta' klassi dinjija.

Cornelis Networks huwa mexxej teknoloġiku li jwassal drappijiet ta’ prestazzjoni għolja mibnija apposta għall-Kompjuter ta’ Prestazzjoni Għolja (HPC), Analiżi tad-Data ta’ Prestazzjoni Għolja (HPDA), u Intelliġenza Artifiċjali (AI) lil organizzazzjonijiet ewlenin kummerċjali, xjentifiċi, akkademiċi u tal-gvern.

X'inizjalment ġibdek lejn ix-xjenza tal-kompjuter?

Jidher biss li nieħu pjaċir naħdem mat-teknoloġija. Ħadt gost naħdem mal-kompjuters li qed jikbru; kellna modem fl-iskola tagħna li ħallieni nipprova l-Internet u sibtha interessanti. Bħala freshman fil-kulleġġ, iltqajt ma' xjenzat komputazzjonali tal-USDOE waqt li kont volontarjat għan-National Science Bowl. Huwa stidinni biex inżur il-laboratorju HPC tiegħu u kont imgannat. Jien kont geek tas-superkompjuter minn dakinhar.

Int ħdimt fir-Red Hat mill-2015 sal-2019, x'kienu xi wħud mill-proġetti li ħdimt fuqhom u l-punti ewlenin tiegħek minn din l-esperjenza?

Il-proġett ewlieni tiegħi f'Red Hat kien il-ħażna mqassma ta' Ceph. Preċedentement kont iffukat kompletament fuq l-HPC u dan tani opportunità biex naħdem fuq teknoloġiji li kienu kritiċi għall-infrastruttura tal-cloud. Hija rimja. Ħafna mill-prinċipji tal-iskalabbiltà, il-ġestjoni u l-affidabbiltà huma estremament simili minkejja li huma mmirati biex isolvu problemi kemmxejn differenti. F'termini ta' teknoloġija, l-iktar ħaġa importanti tiegħi kienet li l-cloud u l-HPC għandhom ħafna x'jitgħallmu minn xulxin. Qed nibnu dejjem aktar proġetti differenti bl-istess sett Lego. Huwa tassew għenni nifhem kif it-teknoloġiji abilitanti, inklużi d-drappijiet, jistgħu jinfluwenzaw bl-istess mod l-applikazzjonijiet HPC, cloud, u AI. Huwa wkoll fejn verament sirt nifhem il-valur ta 'Open Source u kif tesegwixxi l-Open Source, il-filosofija ta' żvilupp ta 'softwer upstream-ewwel li ġibt miegħi ma' Cornelis Networks. Personalment, Red Hat kien fejn verament kiber u mmaturajt bħala mexxej.

Bħalissa int il-Viċi President tal-Inġinerija tas-Software f'Cornelis Networks, x'inhuma xi wħud mir-responsabbiltajiet tiegħek u kif tidher il-ġurnata medja tiegħek?

Bħala Viċi President tal-Inġinerija tas-Software, jiena responsabbli għall-aspetti kollha tal-munzell tas-softwer tal-Cornelis Networks, inklużi s-sewwieqa tal-Arkitettura Omni-Path, is-softwer tal-messaġġi, il-ġestjoni tad-drapp, u s-sistemi ta 'kontroll tal-apparat inkorporat. Cornelis Networks huwa post eċċitanti biex tkun, speċjalment f'dan il-mument u f'dan is-suq. Minħabba f'hekk, m'inix ċert li għandi ġurnata "medja". Xi jiem qed naħdem mat-tim tiegħi biex insolvi l-aħħar sfida tat-teknoloġija. Ġranet oħra qed ninteraġixxi mal-periti tal-ħardwer tagħna biex niżgura li l-prodotti tagħna tal-ġenerazzjoni li jmiss se jwasslu għall-klijenti tagħna. Jien spiss fil-qasam niltaqa 'mal-komunità aqwa tagħna ta' klijenti u kollaboraturi niżguraw li nifhmu u jantiċipaw il-bżonnijiet tagħhom.

Cornelis Networks joffri netwerking tal-ġenerazzjoni li jmiss għal applikazzjonijiet ta' Kompjuter ta' Prestazzjoni Għolja u AI, tista' taqsam xi dettalji dwar il-ħardwer li jiġi offrut?

Il-ħardwer tagħna jikkonsisti f'soluzzjoni ta 'drapp tan-netwerk tat-tip ta' drapp mixgħul ta 'prestazzjoni għolja. Għal dak il-għan, aħna nipprovdu l-apparati kollha meħtieġa biex nintegraw bis-sħiħ id-drappijiet HPC, cloud, u AI. L-Omni-Path Host-Fabric Interface (HFI) hija karta PCIe ta 'profil baxx għal apparati endpoint. Aħna nipproduċu wkoll swiċċ ta '48-port 1U "top-of-rack". Għal skjeramenti akbar, nagħmlu żewġ swiċċijiet ta '"klassi direttur" kompletament integrati; wieħed li jippakkja 288 port f'7U u apparat 1152-port, 20U.

Tista' tiddiskuti s-softwer li jamministra din l-infrastruttura u kif hija mfassla għaliha tnaqqas il-latenza?

L-ewwel, il-pjattaforma ta 'ġestjoni inkorporata tagħna tipprovdi installazzjoni u konfigurazzjoni faċli kif ukoll aċċess għal varjetà wiesgħa ta' metriċi ta 'prestazzjoni u konfigurazzjoni prodotti mill-ASICs tal-iswiċċ tagħna.

Is-softwer tas-sewwieq tagħna huwa żviluppat bħala parti mill-kernel tal-Linux. Fil-fatt, aħna nissottomettu l-irqajja kollha tas-softwer tagħna lill-komunità tal-kernel Linux direttament. Dan jiżgura li l-klijenti kollha tagħna jgawdu kompatibilità massima madwar id-distribuzzjonijiet tal-Linux u integrazzjoni faċli ma 'softwer ieħor bħal Lustre. Filwaqt li mhux fil-passaġġ tal-latency, li jkollok sewwieq fis-siġra inaqqas b'mod drammatiku l-kumplessità tal-installazzjoni.

Il-maniġer tad-drapp Omni-Path (FM) jikkonfigura u jmexxi drapp Omni-Path. Billi jottimizza r-rotot tat-traffiku u jirkupra malajr mill-ħsarat, l-FM jipprovdi prestazzjoni u affidabilità mill-aqwa fl-industrija fuq drappijiet minn għexieren sa eluf ta 'nodi.

Omni-Path Express (OPX) huwa s-softwer tagħna ta 'messaġġi ta' prestazzjoni għolja, rilaxxat reċentement f'Novembru 2022. Kien iddisinjat speċifikament biex inaqqas il-latenza meta mqabbel mas-softwer ta 'messaġġi preċedenti tagħna. Aħna għamilna simulazzjonijiet preċiżi taċ-ċiklu tal-mogħdijiet tal-kodiċi li nibgħatu u nirċievu tagħna sabiex innaqqsu l-għadd tal-istruzzjonijiet u l-utilizzazzjoni tal-cache. Dan ipproduċa riżultati drammatiċi: meta tkun fir-reġim tal-mikrosekonda, kull ċiklu jgħodd!

Aħna wkoll integrati mal- Interfaces OpenFabrics (OFI), standard miftuħ prodott mill-OpenFabrics Alliance. L-arkitettura modulari ta 'OFI tgħin biex timminimizza l-latenza billi tippermetti li softwer ta' livell ogħla, bħal MPI, jisfrutta l-karatteristiċi tad-drapp mingħajr sejħiet ta 'funzjoni addizzjonali.

In-netwerk kollu huwa wkoll iddisinjat biex iżid l-iskalabbiltà, tista 'taqsam xi dettalji dwar kif kapaċi tiskala daqshekk tajjeb?

L-iskalabbiltà hija fil-qalba tal-prinċipji tad-disinn ta 'Omni-Path. Fl-iktar livelli baxxi, nużaw it-teknoloġija Cray link-layer biex nikkoreġu l-iżbalji tal-link mingħajr ebda impatt ta 'latency. Dan jaffettwa d-drappijiet fl-iskali kollha iżda huwa partikolarment importanti għal drappijiet fuq skala kbira, li naturalment jesperjenzaw aktar żbalji ta 'rabta. Il-maniġer tad-drapp tagħna huwa ffokat kemm fuq l-ipprogrammar ta 'tabelli ta' rotta ottimali kif ukoll fuq li jagħmel dan b'mod rapidu. Dan jiżgura li r-rotot anki għall-akbar drappijiet jistgħu jitlestew f'ammont minimu ta 'żmien.

L-iskalabbiltà hija wkoll komponent kritiku tal-OPX. L-imminimizzazzjoni tal-utilizzazzjoni tal-cache ttejjeb l-iskalabbiltà fuq nodi individwali b'għadd kbir ta 'qalba. Il-minimizzazzjoni tal-latenza ttejjeb ukoll l-iskalabbiltà billi ttejjeb il-ħin għat-tlestija għall-algoritmi kollettivi. L-użu tar-riżorsi tagħna ta 'l-interface tad-drapp ospitanti b'mod aktar effiċjenti jippermetti li kull qalba tikkomunika ma' sħabhom aktar remoti. L-għażla strateġika ta 'libfabric tippermettilna nisfruttaw karatteristiċi tas-softwer bħal endpoints skalabbli li jużaw interfaces standard.

Tista' taqsam xi dettalji dwar kif l-AI hija inkorporata f'xi wħud mill-flussi tax-xogħol f'Cornelis Networks?

M'aħniex lesti biex nitkellmu esternament dwar l-użi interni tagħna u l-pjanijiet għall-IA. Cela dit, aħna nieklu l-ikel tal-klieb tagħna stess, sabiex inkunu nistgħu nieħdu vantaġġ mit-titjib tal-latenza u l-iskalabbiltà li għamilna lil Omni-Path biex nappoġġjaw il-piżijiet tax-xogħol tal-AI. Jagħmilna aktar eċċitati li naqsmu dawk il-benefiċċji mal-klijenti u l-imsieħba tagħna. Aħna ċertament osservajna li, bħal fl-HPC tradizzjonali, l-iskala tal-infrastruttura hija l-unika triq 'il quddiem, iżda l-isfida hija li l-prestazzjoni tan-netwerk hija faċilment maħnuqa minn Ethernet u netwerks tradizzjonali oħra.

X'inhuma xi bidliet li tipprevedi fl-industrija bil-miġja tal-AI ġenerattiva?

L-ewwel nett, l-użu ta 'AI ġenerattiva se jagħmel lin-nies aktar produttivi - l-ebda teknoloġija fl-istorja ma għamlet lill-bnedmin skaduti. Kull evoluzzjoni u rivoluzzjoni teknoloġika li kellna mill-ħżin tal-qoton sal-newl awtomatiku sat-telefon, l-internet u lil hinn għamlu ċerti impjiegi aktar effiċjenti, iżda ma ħdimniex l-umanità mingħajr l-eżistenza.

Permezz tal-applikazzjoni tal-AI ġenerattiva, nemmen li l-kumpaniji se javvanzaw teknoloġikament b'rata aktar mgħaġġla minħabba li dawk li jmexxu l-kumpanija se jkollhom aktar ħin liberu biex jiffokaw fuq dawk l-avvanzi. Pereżempju, jekk l-AI ġenerattiva tipprovdi tbassir, rappurtar, ippjanar, eċċ aktar preċiżi – il-kumpaniji jistgħu jiffokaw fuq l-innovazzjoni fil-qasam tal-kompetenza tagħhom

Inħoss speċifikament li l-AI se tagħmel lil kull wieħed minna espert multidixxiplinarju. Pereżempju, bħala espert tas-softwer skalabbli, nifhem il-konnessjonijiet bejn l-applikazzjonijiet HPC, big data, cloud, u AI li jmexxuhom lejn soluzzjonijiet bħal Omni-Path. Mgħammar b'assistent AI ġenerattiv, nista' nidħol aktar fil-fond jfisser tal-applikazzjonijiet użati mill-klijenti tagħna. M'għandi l-ebda dubju li dan se jgħinna niddisinjaw ħardwer u software saħansitra aktar effettivi għas-swieq u l-klijenti li naqdu.

Nipprevedi wkoll titjib ġenerali fil-kwalità tas-software. L-AI tista' tiffunzjona b'mod effettiv bħala "sett ieħor ta' għajnejn" biex tanalizza b'mod statiku l-kodiċi u tiżviluppa għarfien dwar bugs u problemi ta 'prestazzjoni. Dan se jkun partikolarment interessanti fuq skali kbar fejn kwistjonijiet ta' prestazzjoni jistgħu jkunu partikolarment diffiċli biex jinstabu u għaljin biex jiġu riprodotti.

Fl-aħħar nett, nittama u nemmen li l-AI ġenerattiva se tgħin lill-industrija tagħna tħarreġ u abbord aktar professjonisti tas-softwer mingħajr esperjenza preċedenti fl-AI u l-HPC. Il-​qasam tagħna jistaʼ jidher skoraġġanti għal ħafna u jistaʼ jieħu ż-​żmien biex titgħallem “naħsbu b’mod parallel.” Fundamentalment, bħall-magni għamluha aktar faċli biex jimmanifatturaw l-affarijiet, l-AI ġenerattiva tagħmilha aktar faċli biex tikkunsidra u tirraġuna dwar kunċetti.

Hemm xi ħaġa oħra li tixtieq taqsam dwar ix-xogħol tiegħek jew in-Netwerks Cornelis b'mod ġenerali?

Nixtieq inħeġġeġ lil kull min għandu interess biex isegwi karriera fl-informatika, speċjalment fl-HPC u l-AI. F'dan il-qasam, aħna mgħammra bl-aktar riżorsi tal-kompjuter b'saħħithom li qatt inbnew u nġibuhom kontra l-akbar sfidi tal-umanità. Huwa post eċċitanti biex tkun, u ħadt gost f'kull pass tat-triq. L-AI ġenerattiva ġġib il-qasam tagħna f'għoli saħansitra aktar ġodda hekk kif id-domanda għal żieda fil-kapaċità tiżdied drastikament. Ma nistax nistenna biex nara fejn immorru wara.

Grazzi għall-intervista mill-aqwa, il-qarrejja li jixtiequ jitgħallmu aktar għandhom iżuru Netwerks Cornelis.