David Driggers, CTO på Cirrascale – Intervjuserie

David Driggers är Chief Technology Officer på Cirrascale Cloud Services, en ledande leverantör av infrastrukturlösningar för djupinlärning. Guidade av värderingar som integritet, smidighet och kundfokus, tillhandahåller Cirrascale innovativa, molnbaserade Infrastructure-as-a-Service (IaaS)-lösningar. Genom samarbeten med AI-ekosystemledare som Red Hat och WekaIO, säkerställer Cirrascale enkel åtkomst till avancerade verktyg, vilket möjliggör för kunder att driva framsteg inom djupinlärning samtidigt som de upprätthåller förutsägbara kostnader.

Cirrascale är den enda GPUaaS-leverantören som samarbetar med stora halvledartillverkare som NVIDIA (NVDA ), AMD, Cerebras (CBRS ) och Qualcomm. Hur gynnar denna unika positionering era kunder i termer av prestanda och skalbarhet?

Såsom branschen utvecklas från utbildningsmodeller till distribution av dessa modeller som kallas Inferens, finns det ingen universallösning som passar alla. Beroende på modellens storlek och latenskrav, erbjuder olika acceleratorer olika värden som kan vara viktiga. Tid till svar, kostnadsfördelar per token eller prestanda per watt kan alla påverka kostnaden och användarupplevelsen. Eftersom Inferens används i produktion är dessa funktioner/värden viktiga.

Vad särskiljer Cirrascales AI Innovation Cloud från andra GPUaaS-leverantörer när det gäller att stödja AI- och djupinlärningsarbetsflöden?

Cirrascales AI Innovation Cloud tillåter användare att prova nya teknologier på ett säkert, assisterat och fullt stödd sätt, vilket inte finns tillgängligt i något annat moln. Detta kan inte bara hjälpa till med molntekniska beslut, utan också med potentiella inköp på plats.

Hur säkerställer Cirrascales plattform en smidig integration för startups och företag med olika AI-accelerationsbehov?

Cirrascale använder en lösningstilvägagångssätt för vår molntjänst. Detta innebär att vi för både startups och företag erbjuder en komplett lösning som omfattar både Dev-Ops och Infra-Ops. Medan vi kallar det “bare-metal” för att skilja våra erbjudanden från delade eller virtualiserade lösningar, konfigurerar Cirrascale alla aspekter av erbjudandet, inklusive fullständig konfiguration av servrar, nätverk, lagring, säkerhet och användaråtkomst, innan vi lämnar över tjänsten till våra kunder. Våra kunder kan omedelbart börja använda tjänsten utan att behöva konfigurera allt själva.

Foretagsspecifik AI-antagning möter hinder som datakvalitet, infrastrukturbegränsningar och höga kostnader. Hur hanterar Cirrascale dessa utmaningar för företag som skalar upp AI-initiativ?

Medan Cirrascale inte erbjuder datakvalitetstjänster, samarbetar vi med företag som kan hjälpa till med datarelaterade problem. När det gäller infrastruktur och kostnader kan Cirrascale skräddarsy en lösning som är specifik för en kunds behov, vilket resulterar i bättre övergripande prestanda och relaterade kostnader som är anpassade till kundens krav.

Med Googles framsteg inom kvantberäkning (Willow) och AI-modeller (Gemini 2.0), hur ser du på den framtida utvecklingen av företags-AI?

Kvantberäkning är fortfarande ganska långt ifrån att vara redo för primetime för de flesta på grund av bristen på programmerare och färdiga program som kan dra nytta av funktionerna. Gemini 2.0 och andra storskaliga erbjudanden som GPT4 och Claude kommer säkert att få en viss upptagning från företagskunder, men en stor del av företagsmarknaden är inte redo att lita på sina data till tredje parter, och särskilt inte till de som kan använda dessa data för att träna sina modeller.

Att hitta rätt balans mellan kraft, pris och prestanda är avgörande för att skala upp AI-lösningar. Vilka är dina topprekommendationer för företag som navigerar denna balans?

Testa, testa, testa. Det är avgörande för ett företag att testa sin modell på olika plattformar. Produktion skiljer sig från utveckling – kostnaden spelar roll i produktion. Utbildning kan vara en engångshändelse, men inferens är för alltid. Om prestandakraven kan uppfyllas till en lägre kostnad, kan besparingarna hamna på bottenlinjen och kanske till och med göra lösningen livskraftig. Det är ofta för dyrt att distribuera en stor modell för att göra den praktiskt användbar. Slutanvändare bör också söka efter företag som kan hjälpa till med detta testande, eftersom en ML-ingenjör ofta kan hjälpa till med distributionen jämfört med datavetenskaparen som skapade modellen.

Hur anpassar Cirrascale sina lösningar för att möta den växande efterfrågan på generativa AI-applikationer, som LLM och bildgenereringsmodeller?

Cirrascale erbjuder den bredaste paletten av AI-acceleratorer, och med spridningen av LLM och GenAI-modeller som varierar i storlek och omfattning (såsom multimodala scenarier), och batch kontra realtid, är det verkligen en häst för en kurs-situation.

Kan du ge exempel på hur Cirrascale hjälper företag att övervinna latens- och dataöverföringsbottleneck i AI-arbetsflöden?

Cirrascale har många datacenter i flera regioner och ser inte på nätverksanslutning som en vinstcentral. Detta tillåter våra användare att “rätt-storleks”-anslutningarna som behövs för att flytta data, samt att använda mer än ett läge om latens är en kritisk funktion. Dessutom kan Cirrascale, genom att profilera de faktiska arbetsbelastningarna, hjälpa till att balansera latens, prestanda och kostnad för att leverera det bästa värdet efter att ha uppfyllt prestandakraven.

Vilka framväxande trender inom AI-hårdvara eller infrastruktur är du mest entusiastisk över, och hur förbereder sig Cirrascale för dem?

Vi är mest entusiastiska över nya processorer som är specialbyggda för inferens kontra generiska GPU-baserade processorer som passar bra för utbildning, men inte är optimerade för inferensanvändningsfall som har inneboende olika beräkningskrav än utbildning.

Tack för den underbara intervjun, läsare som vill lära sig mer bör besöka Cirrascale Cloud Services.