David Driggers, CTO di Cirrascale – Serie di Interviste

David Driggers è il Chief Technology Officer di Cirrascale Cloud Services, un fornitore leader di soluzioni di infrastruttura di apprendimento profondo. Guidato da valori di integrità, agilità e focalizzazione sul cliente, Cirrascale fornisce soluzioni innovative di Infrastructure-as-a-Service (IaaS) basate su cloud. In collaborazione con leader dell’ecosistema AI come Red Hat e WekaIO, Cirrascale garantisce l’accesso senza soluzione di continuità a strumenti avanzati, consentendo ai clienti di guidare il progresso nell’apprendimento profondo mantenendo costi prevedibili.

Cirrascale è l’unico fornitore di GPUaaS che collabora con importanti aziende di semiconduttori come NVIDIA (NVDA ), AMD, Cerebras (CBRS ) e Qualcomm. Come beneficiano i suoi clienti in termini di prestazioni e scalabilità da questa posizione unica?

Mentre l’industria evolve dalle fasi di formazione dei modelli alla loro distribuzione, chiamata Inferenza, non esiste un approccio “una soluzione per tutti”. A seconda delle dimensioni e dei requisiti di latenza del modello, diversi acceleratori offrono diversi vantaggi che potrebbero essere importanti. Il tempo di risposta, i vantaggi per token, o le prestazioni per watt possono tutti influenzare i costi e l’esperienza dell’utente. Poiché l’Inferenza è per la produzione, queste caratteristiche/capacità sono importanti.

Cosa distingue la piattaforma AI Innovation Cloud di Cirrascale dagli altri fornitori di GPUaaS nel supporto ai flussi di lavoro di AI e apprendimento profondo?

La piattaforma AI Innovation Cloud di Cirrascale consente agli utenti di provare in modo sicuro, assistito e completamente supportato nuove tecnologie non disponibili in altri cloud. Ciò può aiutare non solo nelle decisioni relative alle tecnologie cloud, ma anche negli acquisti potenziali on-site.

Come garantisce la piattaforma di Cirrascale un’integrazione senza soluzione di continuità per startup e imprese con esigenze di accelerazione AI diverse?

Cirrascale adotta un approccio di soluzione per il suo cloud. Ciò significa che, sia per le startup che per le imprese, offriamo una soluzione chiavi in mano che include sia Dev-Ops che Infra-Ops. Mentre la chiamiamo “bare-metal” per distinguere le nostre offerte come non condivise o virtualizzate, Cirrascale configura completamente tutti gli aspetti dell’offerta, compresi server, rete, archiviazione, sicurezza e requisiti di accesso utente, prima di consegnare il servizio ai nostri clienti. I nostri clienti possono iniziare immediatamente a utilizzare il servizio senza dover configurare tutto loro stessi.

L’adozione di AI a livello aziendale affronta barriere come la qualità dei dati, le limitazioni dell’infrastruttura e i costi elevati. Come affronta Cirrascale queste sfide per le aziende che ampliano le iniziative di AI?

Sebbene Cirrascale non offra servizi di qualità dei dati, collaboriamo con aziende che possono aiutare con problemi di dati. Per quanto riguarda l’infrastruttura e i costi, Cirrascale può personalizzare una soluzione specifica per le esigenze di ogni cliente, il che si traduce in una migliore prestazione generale e costi correlati alle esigenze specifiche del cliente.

Con gli avanzamenti di Google (GOOGL ) nel calcolo quantistico (Willow) e nei modelli di AI (Gemini 2.0), come vedi il panorama di AI aziendale cambiare nel prossimo futuro?

Il calcolo quantistico è ancora lontano dall’essere pronto per la maggior parte delle persone a causa della mancanza di programmatori e programmi pronti all’uso che possano sfruttare le sue caratteristiche. Gemini 2.0 e altre offerte su larga scala come GPT4 e Claude saranno sicuramente adottate da clienti aziendali, ma una grande parte del mercato aziendale non è ancora pronta a fidarsi dei propri dati con terze parti, specialmente se queste potrebbero utilizzare tali dati per formare i propri modelli.

Trovare il giusto equilibrio tra potenza, prezzo e prestazioni è cruciale per scalare le soluzioni di AI. Quali sono le tue raccomandazioni principali per le aziende che navigano in questo equilibrio?

Testare, testare, testare. È fondamentale per un’azienda testare il proprio modello su diverse piattaforme. La produzione è diversa dalla fase di sviluppo – i costi contano nella produzione. La formazione potrebbe essere un evento unico, ma l’inferenza è per sempre. Se i requisiti di prestazione possono essere soddisfatti a un costo inferiore, quei risparmi vanno a beneficio del cliente e potrebbero rendere la soluzione più fattibile. Spesso, il deploy di un modello di grandi dimensioni è troppo costoso per essere pratico. Gli utenti finali dovrebbero anche cercare aziende che possano aiutare con questo testing, poiché spesso un ingegnere di apprendimento automatico può aiutare con il deploy rispetto allo scienziato dei dati che ha creato il modello.

Come si sta adattando Cirrascale per soddisfare la crescente domanda di applicazioni di AI generativa, come LLM e modelli di generazione di immagini?

Cirrascale offre la gamma più ampia di acceleratori di AI e, con la proliferazione di LLM e modelli di GenAI che variano sia in termini di dimensioni che di portata (come scenari multi-modalità), e batch vs. tempo reale, è veramente un caso di “cavallo per corso”.

Puoi fornire esempi di come Cirrascale aiuta le aziende a superare i collo di bottiglia di latenza e trasferimento di dati nei flussi di lavoro di AI?

Cirrascale ha numerosi data center in diverse regioni e non considera la connettività di rete come un centro di profitto. Ciò consente ai nostri utenti di “dimensionare correttamente” le connessioni necessarie per spostare i dati, nonché di utilizzare più di una posizione se la latenza è una caratteristica critica. Inoltre, profilando i carichi di lavoro effettivi, Cirrascale può aiutare a bilanciare la latenza, le prestazioni e i costi per offrire il miglior valore dopo aver soddisfatto i requisiti di prestazione.

Quali sono le tendenze emergenti nel campo dell’hardware o dell’infrastruttura di AI che ti entusiasmano di più e come si sta preparando Cirrascale per esse?

Siamo entusiasti dei nuovi processori progettati specificamente per l’inferenza rispetto ai processori GPU generici che, per caso, si adattano bene alla formazione, ma non sono ottimizzati per i casi d’uso di inferenza che hanno esigenze di calcolo intrinsecamente diverse dalla formazione.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Cirrascale Cloud Services.