David Driggers, CTO hos Cirrascale – Intervju-serie

David Driggers er Chief Technology Officer hos Cirrascale Cloud Services, en førende leverandør af dyb læring infrastruktur løsninger. Guidet af værdier som integritet, fleksibilitet og fokus på kunder, leverer Cirrascale innovative, cloud-baserede Infrastructure-as-a-Service (IaaS) løsninger. I samarbejde med AI-økosystem ledere som Red Hat og WekaIO, sikrer Cirrascale problemfri adgang til avancerede værktøjer, hvilket giver kunderne mulighed for at fremme fremskridt i dyb læring samtidig med, at de opretholder forudsigelige omkostninger.

Cirrascale er den eneste GPUaaS-leverandør, der samarbejder med store halvlederfirmaer som NVIDIA (NVDA ), AMD, Cerebras (CBRS ) og Qualcomm. Hvordan giver denne unikke positionering fordele for dine kunder i forhold til ydeevne og skalerbarhed?

Da industrien udvikler sig fra træning af modeller til implementering af disse modeller, kaldet Inferencing, er der ikke én løsning, der passer alle. Afhængigt af modellens størrelse og latenskrav, tilbyder forskellige acceleratorer forskellige værdier, der kan være vigtige. Tid til at svare, omkostningsfordele per token eller ydeevne per watt kan alle påvirke omkostningerne og brugeroplevelsen. Da Inferencing er til produktion, er disse funktioner/værdier vigtige.

Hvad adskiller Cirrascales AI Innovation Cloud fra andre GPUaaS-leverandører i forhold til at understøtte AI- og dyb læring arbejdsgange?

Cirrascales AI Innovation Cloud giver brugerne mulighed for at teste nye teknologier på en sikker, assisteret og fuldt understøttet måde, som ikke er tilgængelige i andre cloud-tjenester. Dette kan hjælpe ikke kun med cloud-teknologi beslutninger, men også med potentielle køb på stedet.

Hvordan sikrer Cirrascales platform en problemfri integration for startups og virksomheder med forskellige AI-accelerationsbehov?

Cirrascale tilbyder en løsningsorienteret tilgang til vores cloud. Dette betyder, at både startups og virksomheder kan få en komplet løsning, der inkluderer både Dev-Ops og Infra-Ops. Mens vi kalder det bare-metal for at adskille vores tilbud fra delte eller virtualiserede løsninger, konfigurerer Cirrascale alle aspekter af tilbuddet, herunder fuld konfiguration af servere, netværk, lagring, sikkerhed og brugeradgang, før vi overdrager tjenesten til vores kunder. Vore kunder kan straks begynde at bruge tjenesten uden at skulle konfigurere alt selv.

Virksomhedsomfattende AI-adopteringsbarrierer som datakvalitet, infrastruktur begrænsninger og høje omkostninger. Hvordan adresserer Cirrascale disse udfordringer for virksomheder, der skal skalerer AI-initiativer?

Cirrascale tilbyder ikke datakvalitets-tjenester, men samarbejder med firmaer, der kan hjælpe med data-problemer. I forhold til infrastruktur og omkostninger kan Cirrascale tilpasse en løsning til en klients specifikke behov, hvilket resulterer i bedre ydeevne og omkostninger, der er specifikke for kundens krav.

Med Googles fremskridt i kvantecomputering (Willow) og AI-modeller (Gemini 2.0), hvordan ser du på udviklingen af virksomheds-AI i den nærmeste fremtid?

Kvantecomputering er stadig langt fra at være klar til at blive anvendt i stor skala på grund af manglen på programmører og færdige programmer, der kan udnytte funktionerne. Gemini 2.0 og andre store tilbud som GPT4 og Claude vil sandsynligvis få en vis opbakning fra virksomheds-kunder, men en stor del af virksomheds-markedet er ikke klar til at stole på deres data med tredjeparter, og især ikke med dem, der kan bruge disse data til at træne deres modeller.

Finding den rette balance mellem ydeevne, pris og ydeevne er afgørende for at skalerer AI-løsninger. Hvad er dine topprioriteter for virksomheder, der skal navigere i denne balance?

Test, test, test. Det er afgørende for en virksomhed at teste deres model på forskellige platforme. Produktion er forskelligt end udvikling – omkostninger betyder noget i produktion. Træning kan være en gangs sag, men inferencing er for altid. Hvis ydeevnekrav kan opfyldes til en lavere omkostning, falder disse besparelser til bundlinjen og kan måske endda gøre løsningen anvendelig. Ofte er implementeringen af en stor model for dyr til at være praktisk anvendelig. Sluttbrugere bør også søge efter firmaer, der kan hjælpe med denne testning, da en ML-ingeniør kan hjælpe med implementering i stedet for den datavidenskabsmand, der oprettede modellen.

Hvordan tilpasser Cirrascale sine løsninger for at møde den stigende efterspørgsel efter generative AI-anvendelser, som f.eks. LLM’er og billedgenereringsmodeller?

Cirrascale tilbyder det bredeste udvalg af AI-acceleratorer, og med den øgede anvendelse af LLM’er og GenAI-modeller, der varierer i størrelse og omfang (som f.eks. multi-modale scenarier) og batch vs. realtid, er det virkelig et hest-for-kursscenarie.

Kan du give eksempler på, hvordan Cirrascale hjælper virksomheder med at overvinde latens- og dataoverførselsbottlenecks i AI-arbejdsgange?

Cirrascale har flere datacentre i flere regioner og ser ikke på netværksforbindelser som en profitkilde. Dette giver vores brugere mulighed for at “rette-størrelse” forbindelserne, der er nødvendige for at flytte data, samt bruge mere end én lokalitet, hvis latens er en kritisk funktion. Ved at profilere de faktiske arbejdslast, kan Cirrascale hjælpe med at balancere latens, ydeevne og omkostninger for at levere den bedste værdi efter at have opfyldt ydeevnekrav.

Hvad er de opkomende tendenser i AI-hardware eller -infrastruktur, som du er mest begejstret for, og hvordan forbereder Cirrascale sig på dem?

Vi er mest begejstret for nye processorer, der er bygget specifikt til inferencing i modsætning til generiske GPU-baserede processorer, der passer godt til træning, men ikke er optimeret til inferencing-anvendelser, der har forskellige beregningskrav end træning.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Cirrascale Cloud Services.