David Driggers, CTO van Cirrascale – Interviewreeks

David Driggers is de Chief Technology Officer bij Cirrascale Cloud Services, een toonaangevende aanbieder van diepe leeroplossingen voor infrastructuur. Geleid door waarden van integriteit, flexibiliteit en klantgerichtheid, levert Cirrascale innovatieve, cloudgebaseerde Infrastructure-as-a-Service (IaaS)-oplossingen. Door samen te werken met AI-ecosysteemleiders zoals Red Hat en WekaIO, zorgt Cirrascale voor naadloze toegang tot geavanceerde tools, waardoor klanten vooruitgang kunnen boeken in diepe leerprocessen en tegelijkertijd voorspelbare kosten kunnen behouden.

Cirrascale is de enige GPUaaS-aanbieder die samenwerkt met grote halfgeleiderbedrijven zoals NVIDIA (NVDA ), AMD, Cerebras (CBRS ) en Qualcomm. Hoe profiteren uw klanten hiervan in termen van prestaties en schaalbaarheid?

Aangezien de industrie evolueert van het trainen van modellen naar het implementeren van deze modellen, genaamd Inferencing, is er geen universele oplossing. Afhankelijk van de grootte en latentievereisten van het model, bieden verschillende accelerators verschillende voordelen die belangrijk kunnen zijn. De tijd om te reageren, de kosten per token en de prestaties per watt kunnen allemaal de kosten en de gebruikerservaring beïnvloeden. Aangezien Inferencing voor productie is, zijn deze functies/mogelijkheden belangrijk.

Wat onderscheidt Cirrascale’s AI Innovation Cloud van andere GPUaaS-aanbieders bij het ondersteunen van AI- en diepe leerprocessen?

Cirrascale’s AI Innovation Cloud stelt gebruikers in staat om op een beveiligde, ondersteunde en volledig ondersteunde manier nieuwe technologieën uit te proberen die niet beschikbaar zijn in andere clouds. Dit kan niet alleen helpen bij cloudtechnologiebeslissingen, maar ook bij potentiële on-site aankopen.

Hoe zorgt Cirrascale’s platform voor naadloze integratie voor startups en ondernemingen met uiteenlopende AI-versnellingseisen?

Cirrascale neemt een oplossingsgerichte aanpak voor onze cloud. Dit betekent dat wij voor zowel startups als ondernemingen een turnkey-oplossing aanbieden die zowel Dev-Ops als Infra-Ops omvat. Terwijl wij onze diensten “bare-metal” noemen om aan te geven dat onze diensten niet gedeeld of gevirtualiseerd zijn, configureert Cirrascale alle aspecten van de dienst, inclusief servers, netwerken, opslag, beveiliging en gebruikers-toegangseisen, voordat wij de dienst overdragen aan onze klanten. Onze klanten kunnen meteen beginnen met het gebruik van de dienst zonder dat zij alles zelf hoeven te configureren.

De adoptie van AI door ondernemingen wordt geconfronteerd met barrières zoals gegevenskwaliteit, infrastructuurbeperkingen en hoge kosten. Hoe adresseert Cirrascale deze uitdagingen voor bedrijven die AI-initiatieven opschalen?

Hoewel Cirrascale geen diensten voor gegevenskwaliteit aanbiedt, werken wij samen met bedrijven die kunnen helpen bij gegevensproblemen. Wat betreft infrastructuur en kosten, kan Cirrascale een oplossing aanbieden die specifiek is afgestemd op de behoeften van een klant, wat resulteert in betere algehele prestaties en gerelateerde kosten die specifiek zijn afgestemd op de behoeften van de klant.

Met Google’s vooruitgang in quantumcomputing (Willow) en AI-modellen (Gemini 2.0), hoe ziet u de toekomst van enterprise AI?

Quantumcomputing is nog ver weg van de mainstream voor de meeste mensen vanwege het gebrek aan programmeurs en kant-en-klare programma’s die gebruik kunnen maken van de functies. Gemini 2.0 en andere grote aanbiedingen zoals GPT4 en Claude zullen zeker enige acceptatie krijgen van enterprise-klanten, maar een groot deel van de enterprise-markt is op dit moment niet klaar om hun gegevens te vertrouwen aan derden, en vooral niet aan bedrijven die deze gegevens mogelijk gebruiken om hun eigen modellen te trainen.

Het vinden van de juiste balans tussen kracht, prijs en prestaties is cruciaal voor het opschalen van AI-oplossingen. Wat zijn uw belangrijkste aanbevelingen voor bedrijven die deze balans proberen te vinden?

Test, test, test. Het is cruciaal voor een bedrijf om hun model te testen op verschillende platforms. Productie is anders dan ontwikkeling – kosten zijn belangrijk in productie. Training kan eenmalig zijn, maar inferencing is voor altijd. Als prestatievereisten kunnen worden vervuld tegen een lagere kostprijs, vallen deze besparingen ten gunste van de onderste regel en kunnen ze zelfs de oplossing haalbaar maken. Vaak is de implementatie van een groot model te duur om praktisch te zijn. Eindgebruikers moeten ook bedrijven zoeken die kunnen helpen met deze tests, aangezien een ML-engineer kan helpen bij de implementatie in plaats van de datawetenschapper die het model heeft gemaakt.

Hoe past Cirrascale zijn oplossingen aan om te voldoen aan de groeiende vraag naar generatieve AI-toepassingen, zoals LLM’s en beeldgeneratiemodellen?

Cirrascale biedt het breedste aanbod aan AI-versnellers, en met de verspreiding van LLM’s en GenAI-modellen die variëren in grootte en omvang (zoals multimodale scenario’s), en batch versus real-time, is het echt een paard voor een koerssituatie.

Kunt u voorbeelden geven van hoe Cirrascale bedrijven helpt om latency- en datatransferbottlenecks in AI-workflows te overwinnen?

Cirrascale heeft meerdere datacenters in meerdere regio’s en beschouwt netwerkconnectiviteit niet als een winstcentrum. Dit stelt onze gebruikers in staat om de verbindingen “right-size” te maken die nodig zijn om gegevens te verplaatsen, evenals om meer dan één locatie te gebruiken als latentie een kritische functie is. Bovendien kan Cirrascale, door het profileren van de daadwerkelijke workloads, helpen bij het balanceren van latentie, prestaties en kosten om de beste waarde te bieden nadat de prestatievereisten zijn vervuld.

Welke opkomende trends in AI-hardware of -infrastructuur zijn u het meest enthousiast over, en hoe bereidt Cirrascale zich hierop voor?

Wij zijn het meest enthousiast over nieuwe processoren die specifiek zijn ontworpen voor inferencing in plaats van generieke GPU-gebaseerde processoren die goed passen bij training, maar niet zijn geoptimaliseerd voor inferencing-use cases die inherent andere rekenvereisten hebben dan training.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten Cirrascale Cloud Services bezoeken.