David Driggers, teknisk direktør i Cirrascale – Intervju-serie

David Driggers er teknisk direktør i Cirrascale Cloud Services, en ledende leverandør av dypt lærings-infrastruktur-løsninger. Guidet av verdiene integritet, fleksibilitet og fokus på kunden, leverer Cirrascale innovative, sky-baserte Infrastructure-as-a-Service (IaaS)-løsninger. Ved å samarbeide med AI-økosystem-ledere som Red Hat og WekaIO, sikrer Cirrascale enkel tilgang til avanserte verktøy, og muliggjør at kundene kan drive fremgang i dypt læringsarbeid samtidig som de opprettholder forutsigbare kostnader.

Cirrascale er den eneste GPUaaS-leverandøren som samarbeider med store halvleder-selskaper som NVIDIA (NVDA ), AMD, Cerebras (CBRS ) og Qualcomm. Hvordan gir denne unike posisjonen fordeler for dine kunder når det gjelder ytelse og skalerbarhet?

Da industrien utvikler seg fra trening av modeller til utrulling av disse modellene, kalt Inferencing, finnes det ingen en-size-fits-all-løsning. Avhengig av modellens størrelse og latenskrav, tilbyr ulike akseleratorer forskjellige verdier som kan være viktige. Tid til å svare, kostnad per token-fordeler eller ytelse per watt kan alle påvirke kostnaden og brukeropplevelsen. Ettersom Inferencing er for produksjon, er disse funksjonene/kapasiteter viktige.

Hva skiller Cirrascales AI-innovasjons-sky fra andre GPUaaS-leverandører når det gjelder å støtte AI- og dypt lærings-arbeidsflyter?

Cirrascales AI-innovasjons-sky lar brukerne prøve nye teknologier på en sikker, assistert og fullt støttet måte, noe som ikke er tilgjengelig i noen annen sky. Dette kan hjelpe ikke bare med sky-teknologi-beslutninger, men også med potensielle på-sted-kjøp.

Hvordan sikrer Cirrascales plattform enkel integrasjon for start-ups og bedrifter med forskjellige AI-akselererings-behov?

Cirrascale tar en løsning-tilnærming for vår sky. Dette betyr at både for start-ups og bedrifter tilbyr vi en komplett løsning som inkluderer både Dev-Ops og Infra-Ops. Mens vi kaller det bare-metal for å skille våre tilbud fra delt eller virtualisert, konfigurerer Cirrascale fullt ut alle aspekter av tilbudet, inkludert full konfigurasjon av servere, nettverk, lagring, sikkerhet og brukertilgangskrav før vi overleverer tjenesten til våre kunder. Våre kunder kan umiddelbart begynne å bruke tjenesten uten å måtte konfigurere alt selv.

Bedrifter som ønsker å innføre AI på bedriftsnivå møter hindringer som datakvalitet, infrastruktur-begrensninger og høye kostnader. Hvordan møter Cirrascale disse utfordringene for bedrifter som skal skalerer AI-initiativer?

Mens Cirrascale ikke tilbyr datakvalitetstjenester, samarbeider vi med selskaper som kan hjelpe med data-problemer. Når det gjelder infrastruktur og kostnader, kan Cirrascale tilpasse en løsning til en kundes spesifikke behov, noe som resulterer i bedre ytelse og relaterte kostnader som er spesifikke for kundens krav.

Med Googles fremgang i kvantecomputing (Willow) og AI-modeller (Gemini 2.0), hvordan ser du på landskapet for bedrifts-AI i nær fremtid?

Kvantecomputing er fortsatt ganske langt ifra å være klar for de fleste på grunn av mangelen på programmerere og ferdige programmer som kan utnytte funksjonene. Gemini 2.0 og andre store tilbud som GPT4 og Claude vil sannsynligvis få en viss oppslutning fra bedriftskunder, men en stor del av bedriftsmarkedet er ikke klar til å stole på sine data med tredjeparter, og spesielt ikke de som kan bruke disse dataene til å trene sine egne modeller.

Finding riktig balanse mellom kraft, pris og ytelse er kritisk for å skalerer AI-løsninger. Hva er dine topp-anbefalinger for bedrifter som navigerer i denne balansen?

Test, test, test. Det er kritisk for et selskap å teste sine modeller på forskjellige plattformer. Produksjon er forskjellig fra utvikling – kostnader teller i produksjon. Trening kan være en gang, men inferencing er for alltid. Hvis ytelseskravene kan møtes til en lavere kostnad, faller disse besparelsene til bunns linje og kan til og med gjøre løsningen livskraftig. Ofte er utrulling av en stor modell for dyrt å være praktisk for bruk. Sluttbrukere bør også søke etter selskaper som kan hjelpe med denne testingen, da en ML-ingeniør ofte kan hjelpe med utrulling i motsetning til data-vitenskapsmannen som skapte modellen.

Hvordan tilpasser Cirrascale sine løsninger for å møte den økende etterspørselen etter generative AI-applikasjoner, som LLM og bilde-genererings-modeller?

Cirrascale tilbyr det bredeste utvalget av AI-akseleratorer, og med spredningen av LLM og GenAI-modeller som varierer både i størrelse og omfang (som multi-modale scenarier), og batch mot sanntid, er det virkelig et hest-for-en-kurs-scenario.

Kan du gi eksempler på hvordan Cirrascale hjelper bedrifter å overvinne latens- og data-overførings-hindringer i AI-arbeidsflyter?

Cirrascale har flere data-sentre i flere regioner og ser ikke på nettverks-tilkobling som en inntekts-kilde. Dette lar våre brukere “rett-størrelse” forbindelsene som trengs for å flytte data, samt bruke mer enn ett sted hvis latens er en kritisk funksjon. Ved å profilere de faktiske arbeidsbelastningene, kan Cirrascale hjelpe med å balansere latens, ytelse og kostnad for å levere den beste verdien etter å ha møtt ytelseskravene.

Hva er de fremvoksende trendene i AI-hardware eller -infrastruktur som du er mest begeistret for, og hvordan forbereder Cirrascale seg på disse?

Vi er mest begeistret for nye prosessorer som er bygget spesifikt for inferencing mot generiske GPU-baserte prosessorer som passer ganske bra for trening, men som ikke er optimert for inferens-bruksfall som har innebygde forskjellige beregnings-krav enn trening.

Takk for det flotte intervjuet, lesere som ønsker å lære mer bør besøke Cirrascale Cloud Services.