Elad Raz, NextSiliconin CEO – Haastattelusarja

Elad Raz, NextSiliconin CEO, on kokenut yrittäjä ja teknologiajohtaja, jota arvostetaan laajasta osaamisestaan alhaisissa järjestelmissä, turvallisuudessa, verkkotekniikassa ja tiedostojärjestelmäkehityksessä. Uransa aikana hän on johtanut monimutkaisia, kriittisiä projekteja operatiivisen järjestelmän sisäisissä osissa ja laitteisto-ohjelmisto-integraatiossa. Ennen NextSiliconin perustamista hän perusti ja myi useita teknologiayrityksiä, toimi johtavissa asemissa johtavassa puolijohdeyhtiössä ja sijoitti monipuoliseen startup-portfolioon, yhdistäen käytännön insinöörintutkimuksen vahvaan toimeenpanoon ja pitkän aikavälin strategiseen näkemykseen.

NextSilicon on israelilainen suorituskykyinen laskenta- ja puolijohdeyhtiö, joka perustettiin vuonna 2017 ja joka määrittelee uudelleen laskentarakenteen vaativille työkuormille, kuten tekoälylle ja tieteelliselle laskennalle. Yhtiö on kehittänyt ohjelmistopohjaisen, älykkään laskentaplatformin, joka on suunniteltu tarjoamaan suorituskykyä ja tehokkuutta ilman kehittäjien tarvetta uudelleenkirjoittaa sovelluksia. Keskittyessään sopeutumiseen laitteistotasolla NextSilicon pyrkii ratkaisemaan perussäännön mukaisia pullonkauloja modernissa tietokeskuksissa ja supertietokoneympäristöissä ja asettamaan itsensä seuraavan sukupolven vaihtoehtona perinteisille kiihdyttimille.

Voitko kertoa matkastasi ennen NextSiliconin perustamista? Mikä herätti alkuperäisen idean, ja miten varhaiset kokemuksesi tietokoneiden parissa muovasivat näkemystäsi?

Olen ollut tietokoneiden fani lapsesta asti. Se intohimo vei minut vanhojen Commodore 64:ien ja Atarin (joita vielä keräilen tänä päivänä) kanssa leikkimisestä startup-yhtiöiden perustamiseen ja lopulta edellisen yhtiöni myymiseen Mellanoxille. Mutta niiden varhaisiden menestysten kanssa näin jatkuvasti saman haasteen tässä alalla. Koska laskentatyökuormat ovat muuttuneet monimutkaisemmiksi, perinteiset CPU- ja GPU-arkkitehtuurit ovat saavuttaneet suorituskyvyn, virrankäytön ja skaalautuvuuden rajat. Olipa kyse sitten algoritmien optimoinnista tai suurmittakaavaisista simulaatioiden suorittamisesta, kävi ilmi, että nykyiset arkkitehtuurit pakottavat työkuormat sopeutumaan laitteistoon – ei toisin päin.

NextSiliconin sytyke tuli tästä toistuvasta haasteesta ja herätti kysymyksen: Mitä jos voisimme kääntää kirjoitustavan ja rakentaa laskentarakenteita, jotka sopeutuvat työkuormiin, sen sijaan että pakottaisimme työkuormat sopeutumaan laitteistoon? Varhainen altistumiseni algoritmien suunnittelulle ja laitteistolle opetti minulle, että todellinen läpimurto tulee yhdistämällä ne todella ajassa. Se on Intelligent Compute Architecture (ICA):n ja NextSiliconin johdantavan vision perusta alusta alkaen.

Maverick-2 on kuvattu älykkääksi laskentakiihdyttimiksi, joka sopeutuu todellisen ajan työkuormiin. Miten sen arkkitehtuuri eroaa perinteisistä GPU:ista tai FPGA:ista, ja mitä mahdollistaa tämänkaltaisen sopeutumisen taso?

CPUt ja GPUt ovat muuttaneet maailmaamme ja palvelleet meitä hyvin. Mutta ne eivät olleet suunniteltu täyttämään modernin tekoälyn ja suorituskykyisen laskennan (HPC) työkuormien vaatimuksia aloilla, kuten tieteessä, säässä, energiassa ja puolustuksessa. Nämä työkuormat ovat kompleksisia data-riippuvuuksia, muistin pääsykaistoja ja laskennallisia kaistoja, joita nykyiset prosessorit eivät ole suunniteltu käsittämään. Tuloksena on pullonkaulat, jotka hidastavat innovaatiota.

Maverick-2:n avainero on uudenlainen lähestymistapa, joka yhdistää uudelleenmääriteltävän data-virran moottorin ja todellisen ajan ohjelmistoptimoinnin. Arkkitehtuurinen ero on, että laitteistoa määritetään työkuorman perusteella, ei toisin päin. Maverick-2:lle data saatavuus ohjaa laskentaa, ei ohjelmalaskuri ohjaa käskyjen suorittamista kuten perinteisissä prosessoreissa. Tämä mahdollistaa meille luoda ohjelmistopohjaisia virtuaalisia prosessointiyksiköitä, jotka voidaan määritellä ja uudelleenmääritellä todellisessa ajassa työkuorman mukaan.

Tulokset puhuvat itsestään: Maverick-2 tarjoaa yli 4-kertaisen suorituskyvyn virrankäytön suhteen GPU:iin verrattuna ja yli 20-kertaisen suorituskyvyn suhteen kuin korkean suorituskyvyn CPU:iin, samalla kun se vähentää toimintakustannuksia yli puolella. Tämän seurauksena tutkijat ja insinöörit voivat suorittaa suuria, epäsäännöllisiä simulaatioita nopeammin ja tehokkaammin, lukiten näkemyksiä ja läpimurtoja murto-osassa ajasta.

Olet ilmoittanut saavuttaneesi yli 4-kertaisen suorituskyvyn virrankäytön suhteen GPU:iin verrattuna ja yli 20-kertaisen suorituskyvyn suhteen kuin korkean suorituskyvyn CPU:iin. Mitkä ovat avaininnovaatiot, jotka tuottavat nämä suorituskyvyn parannukset todellisissa työkuormissa?

Suorituskyvyn parannukset tulevat muutamasta avaininnovaatiosta, jotka toimivat yhdessä.

Ensinnäkin, poikkesimme Von Neumannin mallista, joka on hallinnut tietokonelaitteita 80 vuoden ajan. Sen sijaan, että seuraisimme peräkkäistä käskyjen suorittamista, Maverick-2 käyttää data-virran arkkitehtuuria, jossa laskenta seuraa data saatavuutta. Tämä on perustavanlaatuisesti paremmin sovellettavissa epäsäännöllisiin, muisti-intensiivisiin työkuormiin.

Toiseksi, itse-optimoiva arkkitehtuurimme luo ohjelmistopohjaisia prosessoriydinten todellisessa ajassa. Laitteisto sopeutuu kunkin sovelluksen tarpeisiin ilman koodin uudelleenkirjoittamistarvetta – saat optimoinnin ilman ylirasitusta.

Kolmanneksi, ja tämä on kriittistä: keskitymme pitkään, todelliseen suorituskykyyn, ei teoreettisiin huippuihin. Monet arkkitehtuurit näyttävät hyvältä paperilla, mutta epäonnistuvat todellisissa työkuormissa. Maverick-2 ylläpitää tehokkuutta tekoälyssä, HPC:ssä ja vektorigooglessa jatkuvasti sopeutumalla työkuorman tarpeisiin.

Maverick-2 tukee C/C++, Fortran, OpenMP:ää ja Kokkosta ilman koodin muutostarvetta. Miten kehittäjät ovat vastaanottaneet tämän yhteensopivuuden, ja mitkä ovat suunnitelmat CUDA:n, ROCm:n tai suosittujen tekoälykehyksen tukemiseksi?

Kehittäjät rakastavat sitä, että Maverick-2 on aito “drop-in korvaaja”. He voivat suorittaa olemassa olevia sovelluksiaan välittömästi ilman siirtokynnysten vaikutusta, joka vaivaa tätä alaa. Tällä hetkellä tuemme C/C++, Fortran, OpenMP:ää ja Kokkosta ilman koodin muutostarvetta, ja CUDA, ROCm ja suuret tekoälykehykset, kuten TensorFlow, JAX, PyTorch ja ONNX, ovat aktiivisessa kehityksessä. Tämä poistaa valmistajan lukituksen ja kalliit koodin uudelleenkirjoittamiset ja sallii asiakkaiden arvioida ja omaksua uusia arkkitehtuureja ilman työprosessien keskeytymistä.

Miten Maverick-2:n etäisyysmittauksen ohjaama järjestelmäoptimointi toimii taustalla? Mitä on osana profiilia ja uudelleenmäärittelyä piiriä todellisessa ajassa?

Ajattele meidän järjestelmäoptimointia jatkuvana silmukkana: suorittamisen aikana meidän etäisyysmittaamme mittaa satoja suorituskykyyn liittyviä osoittimia (esim. muistin kaistanleveys, käyttö, jonon syvyys). Kaikki tämä data syötetään ajonaikaiseen optimoijaan, joka määrittää, säilyykö nykyinen laitteiston konfiguraatio optimaalisena työkuorman ja sen ennustettujen tarpeiden kannalta. Jos ei, se voi uudelleenjakaa resursseja, uudelleenjärjestää data-reittejä ja säätää laskentaputkia jatkuvasti, mikä tarkoittaa, että sovellus ei pysähdy. Tämä tapahtuu millisekunteja, joten sovellus ylläpitää johdonmukaista huippu-tehokkuutta, kun sen laskennallinen profiili muuttuu.

Onko tiettyjä työkuormia tai reunatapauksia, joissa adaptiivinen ajonaikainen suorituskyvyn säätö on vähemmän tehokasta tai aiheuttaa kompromisseja viiveessä tai virrankäytössä?

Mikä tahansa arkkitehtuuri voi aiheuttaa kompromisseja. Maverick-2 erottuu monimutkaisissa, epäsäännöllisissä työkuormissa, joissa on muuttuvia laskennallisia ja data-riippuvuuksia. Tietyissä, hyvin ennustettavissa, kiinteätoimisissa työkuormissa hyvin säätelty GPU voi olla erittäin tehokas ilman sopeutumisen ylirasitusta. Näissä tapauksissa sopeutumisemme tarjoaa edelleen vankkaa suorituskykyä, mutta suhteellinen etu voi olla pienempi.

NextSiliconin suunnittelu on kaiken kaikkiaan monipuolisuudesta ja kilpailukyvystä suoraviivaisissa tapauksissa, mutta muuntuvissa tapauksissa se on muodonmuuttaja.

Miksi päättäjät priorisoivat HPC-markkinat aluksi, kun useimmat startupit kiirehtivät tekoälyyn? Miten tämä on muovannut tuotteenne ja liiketoimintastrategianne?

HPC edustaa laskennallisen monimuotoisuuden ja ongelmanratkaisun rintamaa massiivisille tietojoukoille, epäsäännöllisille muistiin pääsylle ja ennustamattomille laskennallisille kaistoille. Jos voit rakentaa arkkitehtuurin, joka menestyy siellä – kuten suorittaa exatavuun mittakaavan simulaatioita ilmastomallinnuksessa tai hiukkasfysiikassa, se menestyy myös tekoälyssä.

Keskittymällä HPC:hen aluksi, osoitimme Maverick-2:n todellisessa suorituskyvyssä vaativimmissa työkuormissa ilmastomallinnuksessa, fysiikassa ja elämän tieteissä. Se antoi meille uskottavuutta, todellisen suorituskyvyn tietoja ja kypsynyt tuote ennen siirtymistä tekoälymarkkinoille. Nyt olemme asemassa palvelemaan molempia ilman kompromisseja arkkitehtuurissamme lyhytaikaisia trendejä tai tarpeita varten.

Nyt kun Maverick-2 on tuotannossa ja on käytössä kymmenissä asiakkaissa, voitko jakaa esimerkkejä siitä, miten sitä käytetään? Onko mitään tiettyjä tuloksia tai benchmarkkejä lippulaiva-asiakkuuksista?

Lippulaiva-esimerkki on meidän käyttöönotto Sandia National Labsissa, jossa Maverick-2 on voimassa heidän Spectra-supertietokoneessaan osana Vanguard-II-ohjelmaa. Näemme vaikuttavia ulosotto- ja suorituskykytuloksia ilman koodin muutostarvetta. Työskentelemme myös ODISSEE:n (Online Data Intensive Solutions for Science in the Exabytes Era) kanssa, joka kokoaa johtavat tutkimuslaitokset käsittelemään exatavuun mittakaavan tietoja CERNin High-Luminosity Large Hadron Colliderista ja Square Kilometre Array -observatoriosta. Rooli, jota Maverick-2 tulee pelaamaan, on ratkaisemalla haaste raw-kokeellisen datan prosessoinnista murto-osassa aiemmasta ajasta ja energiasta. Lopullinen tavoite on mahdollistaa nopeampi fysiikan analyysi ja astronomiset löydöt.

Olette kerännyt yli 300 miljoonaa dollaria, ja suuret kierrokset ilmoitettiin vuonna 2021 ja äskettäin. Voitko jakaa, miten tämä rahoitus on kiihdyttänyt tuotekehitystänne ja markkinoiden ulottuvuutta?

Rahoitus mahdollisti meille kolme asiaa. Ensinnäkin, voimme työntää arkkitehtuuria eteenpäin, ei vain askelittain, vaan perustavanlaatuisia edistysaskelia, jotka tekivät Maverick-2:sta tuotantovalmiin. Toiseksi, voimme skaalata valmistustamme ja toimitusketjuamme kasvavan kysynnän täyttämiseksi, mikä ei ole vähäinen haaste uudelle silikoniolle. Kolmanneksi, laajensimme ohjelmistoympäristöämme, jotta asiakkaat voivat integroida ja ottaa käyttöön nopeammin.

Se myös mahdollisti strategiset kumppanuudet supertietokonekeskuksien ja pilvipalvelujen kanssa, mikä mahdollisti meidän nopeuttamaan konseptista käyttöönottoon ja laajentamaan paljon nopeammin kuin perinteiset laitteistostartupit.

Miten näet NextSiliconin asemoinnin maisemassa, jossa on Cerebras (CBRS ), SambaNova ja Nvidia (NVDA )? Mihin suuntaan on menossa markkinointistrategia haastajana?

Näen NextSiliconin enemmän teknologiayhtiönä kuin vain toisena piiriyhtiönä. Optimoidaan jokaista työkuormaa, tarjoamme sopeutumista ja emme lukitse asiakkaitamme omiin ohjelmistoihin tai laitteistoihin. Asiakkaiden ei tarvitse tuoda uutta koodia tai joutua lukituksi yhteen ekosysteemiin, kuten CUDA:han. Tämä on erityisen tärkeää, kun tekoälytyökuormat kehittyvät yksinomaan koulutuksesta. Syytysmallit, laajennettu deduktiivinen päättely ja suuret kontekstiohjaimet vaativat perustavanlaatuisesti erilaisia laskentamalleja: dynaamisempaa muistin pääsyä, muuttuvan pituuden laskentaa ja sopeutuvaa resurssien jakoa. Nämä eivät ole ongelmia, joita ratkaistaan lisäämällä enemmän samanlaista kiinteää arkkitehtuuria.

Markkinointistrategiamme keskittyy ratkaisemiseen haasteellisimpiin ongelmiin ensin: työskentelemällä tutkimuslaitosten, kansallisten laboratorioiden ja yritysten kanssa, joissa suorituskyky, virrankäyttö ja joustavuus ovat kriittisiä. Sieltä laajennamme laajempiin tekoäly- ja data-intensiivisiin markkinoihin. Teollisuus on hallinnut kiinteitä arkkitehtuureja. Tarjoamme jotain erilaista, sopeutumista alusta alkaen. Tekoäly siirtyy yksinomaan skaalasta älykkyyteen. Suuremmat mallit mahdollistavat älykkäämpää päättelyä, lyhyistä ohjauksista pitkiin kontekstien ymmärtämiseen. Tässä siirtymässä sopeutuvat arkkitehtuurit eivät ole vain uusia; ne ovat välttämättömiä.

Kiitos haastattelusta, lukijoille, jotka haluavat oppia lisää, suosittelemme vierailemaan NextSiliconissa.