Ken Claffey, VDURAn toimitusjohtaja – Haastattelusarja: Paluu keskusteluun

Ken Claffey, VDURAn toimitusjohtaja ja presidentti, on kokenut asiakaslähtöinen liiketoimintajohtaja, jolla on syvä osaaminen pilvi- ja yritysinfrastruktuurissa, laitteisto- ja ohjelmistokehityksessä sekä strategisen kasvun johtamisessa tuote-, operatiivisissa ja markkinointitoiminnoissa. Uransa aikana hän on rakentanut ja johtanut korkean suorituskyvyn omia globaaleja tiimejä, toteuttanut yritysstrategiaa, ajanut kannattavaa liikevaihdon kasvua ja tuoteinnovaatiota sekä kääntänyt heikosti suoriutuvat liiketoiminnat. Ennen VDURAn johtoon siirtymistä Claffey toimi johtavissa rooleissa Seagate Technologyn palveluksessa, jossa hän toimi senior vice presidentinä ja yleisenä johtajana, joka vastasi yrityksen järjestelmistä ja P&L:stä, ja aikaisemmin hänellä oli johtavat asemat Xyratexissa, Adaptecin ja Eurologiassa, mikä antoi hänelle vuosikymmenien kokemuksen yritysvarastoinnista ja suorituskykyisestä laskennasta.

VDURA on ohjelmistopohjainen data-infrastruktuuriyhtiö, joka rakentaa moderneja varastoratkaisuja, jotka on optimoitu tekoäly- ja suorituskykyisten laskentatyökuormien tarpeisiin “nopeus kohtaa kestävyyden” -isännykkärillä. Yhtiön lipputuote VDURA Data Platform yhdistää flash-ensin rinnakkaisen tiedostojärjestelmän suorituskyvyn objektitallennuksen kestävyyden yhdistetyssä arkkitehtuurissa, joka skaalautuu lineaarisesti tuhansien asiakkaiden ja solmujen yli yksinkertaisten operaatioiden ja vähentäen ylläpitokustannuksia. Alun perin perustettu Panasas-nimellä ja uudelleenbrändätty vuonna 2024, VDURAn alusta tukee paikallisia, pilvi- ja hybridiympäristöjä edistyneellä automaatiolla, metadatakiihdytyksellä ja skaalautuvalla suorituskyvylle, joka on suunniteltu pitämään GPU-klusterit ruokittuina ja datan suojeltuna yritys-, tutkimus- ja kriittisten tekoäly- ja HPC-käyttötarkoituksiin.

Miten on muovannut matkasi HPC- ja yritysvarastoinnin kautta käsityksesi siitä, että varastointi on muuttumassa tekoäly-infrastruktuurin määrittäväksi rajoitteeksi?

Rakennettuani varastojärjestelmiä maailman vaativimpien laskentaympäristöjen tarpeisiin, kehittyy intuitio siitä, missä pulmien todelliset syyt sijaitsevat verrattuna siihen, missä ihmiset olettavat niiden sijaitsevan. Xyratexissa ja Seagaten ClusterStor-työssä ratkaisimme varastointiongelmia supertietokoneille, joissa fysiikka oli armoton. Joko ruokittiin laskentaa tai ei.

Mitä nyt näen tekoäly-infrastruktuurissa, on sama perusrajoite, vaikka taloudellisesti erilainen. GPU-intohtiminen Neocloud-markkinassa oli ymmärrettävää. NVIDIA (NVDA ) loi harvan ja muodonmuuttuvan resurssin. Mutta oletus, että varastointi skaalautuisi rinnalla edullisesti ja helposti, oli aina menevä rikki. Se on murtunut. Varastointi on nyt siirtymässä 20-30 prosenttiin tekoäly-infrastruktuurin budjetista kaikki-flash-asennuksissa, kasvamassa nopeammin kuin mikään muu komponentti. Kun olet viettänyt uraa katsomassa varastointia muuttuvan sitoutumattomaksi jokaisessa suuressa laskentaympäristössä, lopetat yllättymisen, kun markkina muuallakin tulee tietoiseksi tästä todellisuudesta.

Miksi varastoinnin suunnittelu oli aliarvioitu Neocloud-infrastruktuurin maahantuonnissa?

Joukko rakenteellisia oletuksia yhtyi täsmälleen väärään hetkeen. Ensinnäkin, flash-hintojen oli tilapäisesti suotuisa. NVMe-SSD:t olivat edullisia ja runsaasti saatavilla, joten kaikki-flash-toteutus tuntui kohtuulliselta oletukselta. Se ei ollut arkkitehtonista viisautta, vaan tilapäinen taloudellinen ikkuna, jonka toimijat sekoittivat pysyvään tilaan.

Toiseksi, kilpailudynamiikka palkitsi GPU-lukumääriä kaiken muun edelle. Neocloud-markkinaa arvioitiin NVIDIA-piirien määrän perusteella. Varastointi oli noin 10 prosentin rivi, jota oli helppo ohittaa hankinnassa ilman syvällistä tarkastelua. Kolmanneksi, kaikki-flash-päätös tuntui turvallisen oletukselta, koska se poisti monimutkaisuuden. Yksi taso, yksi media, helppo hankkia ja operoida. Ongelma on, että “yksinkertainen” ja “taloudellisesti kestävä” lakkasivat olemasta sama asia, kun NAND-tarjonta kiristyi ja hinnat nousivat. Siihen mennessä infrastruktuuripäätökset olivat jo lukittu.

Mikä yllättää operaattoreita eniten, kun he näkevät, miten varastointi vaikuttaa heidän GPU-käyttöön?

Suhde on suorempi, kuin useimmat operaattorit tajuvat, kunnes he tuijottavat tyhjiä GPU:ita. Koulutusajot, joissa on usein tarkistuspisteitä, luovat pulsaattoriset kirjoitusvaatimukset, jotka voivat jarruttaa laskentaa, jos varastointikerros ei voi nielaista niitä tarpeeksi nopeasti. Data-pipeline esikäsittelyyn ja syöttöön luovat jatkuvat lukemisen läpäisyvaatimukset, jotka, jos ne eivät täyty, nälkäisevät GPU:ita työstä.

NVIDIAN omat DGX-ohjeet kvantifioivat tämän: tekstipohjaisen LLM-koulutuksen vaatii noin 0,5 GB/s lukemisen läpäisyä GPU:ta kohden, kun taas fyysinen AI- ja visualisointityö vaatii noin 4 GB/s lukemista ja 2 GB/s kirjoitusta GPU:ta kohden. Jos varastointiarkkitehtuuri ei voi toimittaa sitä, et ole ajamassa GPU:ita kapasiteetilla. Olet ajamassa niitä siinä määrin, kuin varastointi sallii.

Arkkitehtuuri on äärimmäisen tärkeä klusterin mittakaavassa. Varastointijärjestelmä, joka asettaa välittäjän aseman kiintolevyn ja asiakkaan välille, voi osoittaa vertailukelpoista otsikkoläpäisyä yhdellä kiintolevyllä, mutta skaalautuvuudessa voit lopulta tarvita kolme kertaa enemmän kiintolevyjä, jotta voit täyttää saman GPU-laivaston. Kolme kertaa enemmän SSD:itä, kolme kertaa enemmän virtaa, kolme kertaa enemmän rack-tilaa. Käyttöasteen laskelma kasvaa nopeasti.

Mitkä kustannuserot voivat syntyä pelkästään SSD-valinnasta ja arkkitehtonisesta suunnittelusta, vaikka otsikkoläpäisy-metrit näyttävät samanlaisilta?

Tässä operaattorit ajautuvat vakavaan ongelmaan, koska otsikkoläpäisy-luvut voivat olla todella harhaanjohtavia. Otetaan edustava esimerkki. 122,88 TB QLC NVMe SSD maksaa noin 27 000 dollaria. 7,68 TB:n levy samasta sukupolvesta toimittaa vertailukelpoisen sekvenssiläpäisyn noin 1 800 dollarilla. 4 096 GPU:ta käsittävälle NVIDIA Enhanced -määritykselle yksittäinen kapasiteettivalinta tuottaa flash-laskun, joka vaihtelee 600 000 dollarin ja 9,6 miljoonan dollarin välillä. Läpäisy on käytännössä identtinen. Ainoa muuttuja on, kuinka paljon kylmää dataa valitset sijoittaa premium-medialle, josta ei ole lisähyötyä suorituskyvylle.

Lisäksi arkkitehtoninen suunnittelu määrää kiintolevymäärän klusterin mittakaavassa. Arkkitehtuuri, joka toimittaa noin 5,8 GB/s mitattua lukemisen läpäisyä SSD:ltä, tarvitsee noin 353 levyä, jotta se voi täyttää 4 096 GPU:ta. Arkkitehtuuri, joka toimittaa noin 1,9 GB/s SSD:ltä johtuen välittäjän ylirakennetta, tarvitsee yli 1 000. 12 000 dollarilla 30 TB:n levyllä ero ei ole pyöristysvirhe – se on liiketoimintamallin kysymys.

Miten operaattorit tulisi uudelleenarvioida kaikki-flash- ja kerrosvarastoinnin suhdetta, kun flash-hinnat nousevat ja NAND-tarjonta on edelleen rajoitettu?

Lähtökohta on hyväksyä, että taloudellinen perusta kaikki-flash-AI-infrastruktuurille oli aina ehdollinen, ei perustava. Phisonin toimitusjohtaja on kuvannut NAND-tuotantokapasiteetin käytännössä varattuna vuoteen 2026 saakka. Goldman Sachs (GS ) ennustaa DRAM-hintojen nousevan kaksinumeroisesti neljännesvuosittain saman ajanjaksolla. Kaikki-flash-oletus oli järkevä, kun flash oli halpaa ja runsaasti saatavilla. Se ei ole enää.

Oikea viitekehys on kysyä, mihin flash on todella tarkoitettu. Flash on suorituskykyinen medium. Se tulisi olla kooltaan sellainen, että se voi täyttää GPU:n läpäisyvaatimukset, ei enempää. Kaikki muu, mukaan lukien kylmä data, tarkistuspisteet, jotka eivät ole aktiivisesti luettavissa, ja arkistoidut koulutusjoukot, kuuluvat korkeatiheyksisiin kiintolevyihin, jotka ovat edelleen kertaluokkaa halvempia gigatavun kohtaisesti.

Ansapyydystä, johon operaattorit joutuvat, on kohdellaan kerroksellisuutta lisäominaisuutena: ostaa kaikki-flash-ensisijainen kerros, lisätä erillinen objektitallennus kylmään dataan ja yhdistää ne ulkoisilla datasiirtimillä. Tämä esittää toisen ohjelmistopinon, toisen datatakan, verkkoympäristön monimutkaisuuden ja operaatiivisen kuormituksen. Hyperskalaattorin lähestymistapa, joka suorittaa SSD- ja HDD-levyjä samassa ohjelmistopinossa, käyttäen korkean suorituskyvyn kerroksellisuutta ilman ulkoisia datasiirtimiä, pitää varastoinnin lähellä 10 prosenttia infrastruktuurin budjettia täyttäen samalla jokaisen GPU:n.

Mitkä oppitunnit Neocloud-taso voi omaksua hyperskalaattorin varastoinnin suunnittelupäätöksistä?

Tärkein oppitunti on, että Google (GOOGL ), Meta ja Microsoft (MSFT ) eivät käytä kaikki-flash-ratkaisuja, ja heillä on enemmän tekoäly-työkuormien kokemusta kuin kenenkään. He käyttävät sekoitettuja kerrosarkkitehtuureja älykkäällä kerroksellisuudella: riittävästi NVMe-flashia täyttämään GPU:n läpäisyvaatimukset, sitten valuminen korkeatiheyksisiin kiintolevyihin niin nopeasti kuin fysiikka sallii. Tämä ei ole filosofinen suuntautuminen. Se on taloudellinen pakote, joka johtuu selkeästä ymmärryksestä tekoäly-työkuormien fysiikasta.

Toinen oppitunti on arkkitehtoninen integraatio. Hyperskalaattorit eivät ratkaise kerroksellisuutta kiinnittämällä erillisiä järjestelmiä yhteen. He suorittavat SSD- ja HDD-levyjä samassa ohjelmistopinossa, samassa datatakan, kerroksellisuuden ollessa ensisijainen operaatio varastointijärjestelmässä, ei erillinen työ, jota hallitaan erillisellä työkalulla. Tämä integraatio on se, mikä mahdollistaa heidän pitää varastoinnin taloudellisena valtavassa mittakaavassa samalla, kun he ylläpitävät suorituskykyisen takeita, joita heidän GPU-laivastonsa vaativat.

Miten infrastruktuuritiimit tulisi kvantifoida varastoinnin saatavuuden taloudellinen vaikutus GPU-laivastoihin?

Matematiikka on synkkä, kun lasketaan rehellisesti. Jaettu varastointivirhe ei tuota suhteellista SLA-vajetta. Se tuottaa samanaikaisen rikkomisen jokaisessa GPU-rackissa, joka on yhdistetty tähän varastointiin. 5 000 GPU:ta käsittävä klusteri, jolla on 98 prosentin varastointisaatavuus, ei toimita 2 prosentin suorituskykyvajetta. Se tuottaa 876 000 GPU-tuntia menetettyä laskentaa vuodessa. Edustavien GPU-tuntihintojen kanssa se kääntyy miljooniksi dollareiksi idle-laskennasta vuodessa, lisäksi SLA-luottotiliä kullekin vaikuttavalle rackille samanaikaisesti.

Miten erilaiset varastointiarkkitehtuuri vertautuvat suorituskykyyn watin suhteen voimavarojen rajoitettujen ympäristöissä?

Se tulee esiin lähes jokaisessa vakavassa infrastruktuurikeskustelussa nyt, ja ero on multiplicative. Perustuen julkaistuihin määrityksiin ja vertailukelpoisiin konfiguraatioihin, jotka toimittavat noin 1 340 GB/s lukemisen läpäisyä, yksi arkkitehtuuri palaa 55 kW, kun taas toinen saavuttaa saman tuloksen noin 16 kW:lla. Se on 3,4-kertaa ero suorituskykyssä watin suhteen. Datakeskuksessa, jossa tekoäly-työkuormat kuluttavat 40-250 kilowattia rackia kohden kiinteää verkkoyhteyttä vastaan, haaskatut varastoinnin watin on GPUs, joita et voi käyttää. NVIDIAN oma BlueField-4-dokumentaatio toteaa nimenomaisesti, että virran saatavuus on ensisijainen rajoite tekoäly-tehtaiden skaalautumiselle.

(CRWV ) (ORCL )

On myös toissijainen vaikutus, jota operaattorit harvoin ottaa huomioon. Jotkut varastointiarkkitehtuuri vaativat 5 GB DRAM:ia ja yhdestä neljään omistettua CPU-ydintä pysyvästi lukittuna kunkin GPU-solmun kanssa saavuttaakseen huippuvarastoinnin suorituskyvyn. 500-solmuisessa klusterissa se on 2,5 TB DRAM:ia ja jopa 2 000 CPU-ydintä, jotka ovat pysyvästi poissa tekoäly-työkuormilta. Kun maksat 30 000 dollaria tai enemmän GPU:ta kohden, jokainen varastoitunut ydin ja jokainen lukittu gigatavu on suora verotus laskennan sijoitukseen, joka on käytännössä koko infrastruktuurin tarkoitus.

Miten varastointiarkkitehtuuri vaikuttaa suoraan SLA-kilpailukykyyn, kun saatavuustakuut lähestyvät 99 prosenttia?

Varastointi on yksin suurin rikkoutumisalue kussakin GPU-klusterissa, mikä tekee siitä yksin tärkeimmän muuttujan missä tahansa rehellisessa SLA-sitoumukseen. SemiAnalysis ClusterMAX 2.0 -arvostelu, josta on tullut vaikuttava vertailukohta Neocloud-hankinnoissa, tekee SLA:ista nimenomaisen tekijän hinnan neuvotteluissa. Toimittajat, joilla ei ole kilpailukykyisiä SLA:ita, menettävät kauppoja jo nyt.

Mitkä varastointikapasiteetit ovat todennäköisesti määrittäviä Neocloudin pitkän aikavälin säilymisen konsolidaatiota?

Toimittajat, jotka selviävät, ovat niitä, jotka ovat ratkaisseet koko infrastruktuurin omistamisen kokonaiskustannusyhtälön, ei vain GPU-hankintayhtälön. Se tarkoittaa useita tiettyjä kykyjä.

Ensinnäkin yhdistetty ohjelmistopohjainen arkkitehtuuri, joka suorittaa flash- ja levykiintolevyt yhdessä datatakan, käyttäen korkean suorituskyvyn kerroksellisuutta ilman ulkoisia datasiirtimiä, ilman toista ohjelmistopinoa, ilman operaatiivista monimutkaisuutta, joka johtuu erillisten järjestelmien yhdistämisestä. Toiseksi, varastointi, joka voi ratsastaa itsenäisillä kustannuskaarroilla flash- ja levykiintolevyjen osalta, kun nämä markkinat liikkuvat toisistaan riippumatta. Kolmanneksi, itsestään korjaavat järjestelmät, jotka ylläpitävät korkeaa saatavuutta ilman erikoistuneiden järjestelmänvalvojien manuaalista palauttamista keskellä yötä. Operaatiivisesti monimutkainen varastointi on näkymätön kustannus, joka kasvaa mittakaavassa. Neljänneksi, kestävyys, joka voidaan uskottavasti sitoutua SLA:aan hyperskalaattorin vertailukohtana.

Mikä on viestisi Neocloud-operaattoreille, jotka arvioivat varastointistrategiaansa tänään?

Älä anna varastointipäätöksen olla se, jonka teit oletuksena. Jokainen muu infrastruktuurin osa saa tiukan insinöörien ja taloudellisen tarkastelun. Varastointi ei tulisi olla poikkeus. Toimittajat, jotka ovat täällä kolmen vuoden kuluttua, ovat niitä, jotka ottivat lähemmän katseensa todelliseen kustannukseen GPU-tunnissa hyödyllistä laskentaa, ymmärtivät todellisen saatavuusasentonsa ja varmistivat, että heidän kokoamisensa oli kooltaan työkuormaa varten, ei hankintapikan oikkuksi.

Aikona saada tämä oikein on kapea. Konsolidaatio on jo käynnissä, ja talous on armoton. Mutta operaattoreille, jotka ovat valmiit uudelleenarvioimaan varastointikerrosta samalla tarkkuudella kuin he sovelsivat GPU-valintaan, mahdollisuus on merkittävä. Varastointi tehty oikein ei pelkästään vähennä kustannuksia. Se lukitsee jokaisen GPU:n täyden arvon rackissa.

Kiitos hienosta haastattelusta, lukijat, jotka haluavat oppia enemmän tästä teknologiasta, voivat vierailla VDURAssa. He voivat myös lukea aiemman haastattelun Ken Claffey:n kanssa.