Alex Yeh, Fondatore e Amministratore Delegato di GMI Cloud – Serie di Interviste

Alex Yeh è il Fondatore e Amministratore Delegato di GMI Cloud, un’azienda di infrastrutture digitali supportata da venture capital con la missione di consentire a chiunque di distribuire l’AI senza sforzo e di semplificare la façon in cui le aziende costruiscono, distribuiscono e scalano l’AI attraverso soluzioni hardware e software integrate.

Cosa ti ha ispirato a fondare GMI Cloud, e come il tuo background ha influenzato il tuo approccio alla costruzione dell’azienda?

GMI Cloud è stata fondata nel 2021, concentrandosi principalmente nei suoi primi due anni sulla costruzione e gestione di data center per fornire nodi di calcolo Bitcoin. In questo periodo, abbiamo stabilito tre data center in Arkansas e Texas.

Nel giugno dell’anno scorso, abbiamo notato una forte domanda da parte degli investitori e dei clienti per la potenza di calcolo GPU. Nel giro di un mese, ho preso la decisione di orientarmi verso l’infrastruttura cloud AI. Lo sviluppo rapido dell’AI e l’ondata di nuove opportunità commerciali che porta sono impossibili da prevedere o difficili da descrivere. Fornendo l’infrastruttura essenziale, GMI Cloud mira a rimanere strettamente allineata con le opportunità emozionanti e spesso inimmaginabili nell’AI.

Prima di GMI Cloud, ero un partner in una società di venture capital, impegnato regolarmente con settori emergenti. Vedrei l’intelligenza artificiale come l’ultima “corsa all’oro” del XXI secolo, con le GPU e i server AI che fungono da “picconi” per i “prospectors” moderni, stimolando una rapida crescita per le aziende cloud specializzate nella locazione di potenza di calcolo GPU.

Ci puoi parlare della missione di GMI Cloud di semplificare l’infrastruttura AI e perché questo focus è così cruciale nel mercato odierno?

Semplificare l’infrastruttura AI è essenziale a causa della complessità e della frammentazione attuali dello stack AI, che possono limitare l’accessibilità e l’efficienza per le aziende che mirano a sfruttare il potenziale dell’AI. Le attuali configurazioni AI spesso coinvolgono diversi strati non connessi – dalla pre-elaborazione dei dati e dalla formazione del modello alla distribuzione e alla scalabilità – che richiedono molto tempo, competenze specializzate e risorse per gestirle efficacemente. Molte aziende spendono settimane e addirittura mesi nell’identificare i migliori strati dell’infrastruttura AI, un processo che può estendersi a settimane o addirittura mesi, impattando l’esperienza utente e la produttività.

1. Accelerazione della distribuzione: Un’infrastruttura semplificata consente uno sviluppo e una distribuzione più rapidi delle soluzioni AI, aiutando le aziende a rimanere competitive e adattabili alle esigenze del mercato in evoluzione.
2. Riduzione dei costi e delle risorse: Minimizzando la necessità di hardware specializzato e integrazioni personalizzate, uno stack AI ottimizzato può ridurre notevolmente i costi, rendendo l’AI più accessibile, soprattutto per le piccole aziende.
3. Abilitazione della scalabilità: Un’infrastruttura ben integrata consente una gestione efficiente delle risorse, essenziale per scalare le applicazioni man mano che la domanda cresce, garantendo che le soluzioni AI rimangano robuste e reattive su larga scala.
4. Miglioramento dell’accessibilità: Un’infrastruttura semplificata rende più facile per un’ampia gamma di organizzazioni adottare l’AI senza richiedere competenze tecniche estese. Questa democratizzazione dell’AI promuove l’innovazione e crea valore in più settori.
5. Supporto all’innovazione rapida: Man mano che la tecnologia AI si evolve, un’infrastruttura meno complessa rende più facile incorporare nuovi strumenti, modelli e metodi, consentendo alle organizzazioni di rimanere agili e innovare rapidamente.

La missione di GMI Cloud di semplificare l’infrastruttura AI è essenziale per aiutare le aziende e le startup a realizzare appieno i benefici dell’AI, rendendola accessibile, efficiente in termini di costo e scalabile per le organizzazioni di tutte le dimensioni.

Hai recentemente ottenuto 82 milioni di dollari in finanziamenti di serie A. Come verranno utilizzati questi nuovi capitali e quali sono i tuoi obiettivi di espansione immediati?

GMI Cloud utilizzerà i finanziamenti per aprire un nuovo data center in Colorado e investirà principalmente in GPU H200 per costruire un altro grande cluster GPU. GMI Cloud sta anche attivamente sviluppando la sua piattaforma di gestione delle risorse cloud-native, Cluster Engine, che è perfettamente integrata con il nostro hardware avanzato. Questa piattaforma fornisce capacità senza precedenti in termini di virtualizzazione, containerizzazione e orchestrazione.

GMI Cloud offre l’accesso a GPU al doppio della velocità rispetto ai concorrenti. Quali approcci o tecnologie uniche rendono ciò possibile?

Un aspetto chiave dell’approccio unico di GMI Cloud è l’utilizzo di NVIDIA NCP, che fornisce a GMI Cloud l’accesso prioritario a GPU e altre risorse all’avanguardia. Questo approvvigionamento diretto dai produttori, combinato con opzioni di finanziamento solide, garantisce l’efficienza dei costi e una catena di approvvigionamento altamente sicura.

Con le GPU NVIDIA H100 disponibili in cinque località globali, come questa infrastruttura supporta le esigenze dei tuoi clienti AI negli Stati Uniti e in Asia?

GMI Cloud ha stabilito una presenza globale strategica, servendo più paesi e regioni, tra cui Taiwan, Stati Uniti e Thailandia, con una rete di IDC (Internet Data Center) in tutto il mondo. Attualmente, GMI Cloud opera migliaia di schede GPU basate su NVIDIA Hopper e si trova su una traiettoria di rapida espansione, con piani per moltiplicare le sue risorse nel prossimo semestre. Questa distribuzione geografica consente a GMI Cloud di fornire servizi senza interruzioni, a bassa latenza, ai clienti in diverse regioni, ottimizzando l’efficienza del trasferimento dei dati e fornendo un’infrastruttura robusta per le aziende che espandono le loro operazioni AI in tutto il mondo.

Inoltre, le capacità globali di GMI Cloud gli consentono di comprendere e soddisfare le diverse esigenze del mercato e i requisiti normativi attraverso le regioni, fornendo soluzioni personalizzate adattate alle esigenze uniche di ogni luogo. Con una crescente quantità di risorse di calcolo, GMI Cloud affronta la crescente domanda di potenza di calcolo AI, offrendo ai clienti una notevole capacità computazionale per accelerare la formazione dei modelli, migliorare la precisione e migliorare le prestazioni del modello per un’ampia gamma di progetti AI.

Come leader nei servizi cloud nativi AI, quali tendenze o esigenze dei clienti stai concentrando per guidare GMI avanti?

Dalle GPU alle applicazioni, GMI Cloud guida la trasformazione intelligente per i clienti, soddisfacendo le esigenze dello sviluppo della tecnologia AI.

Architettura hardware:

• Architettura del cluster fisico: Istanze come le 1250 H100 includono rack GPU, rack foglia e rack colonna vertebrale, con configurazioni ottimizzate di server e attrezzature di rete che forniscono potenza di calcolo ad alta prestazione.
• Struttura della topologia di rete: Progettata con tessuto IB efficiente e tessuto Ethernet, garantendo una trasmissione di dati e una comunicazione senza problemi.

Software e servizi:

• Cluster Engine: Utilizzo di un motore sviluppato internamente per gestire risorse come bare metal, Kubernetes/contenitori e HPC Slurm, abilitando un’allocazione ottimale delle risorse per gli utenti e gli amministratori.
• Piattaforma cloud proprietaria: Il CLUSTER ENGINE è un sistema di gestione cloud proprietario che ottimizza la pianificazione delle risorse, fornendo una soluzione di gestione del cluster flessibile ed efficiente

Aggiungi roadmap del motore di inferenza:

1. Calcolo continuo, garantisce un alto SLA.
2. Condivisione del tempo per l’utilizzo frazionario.
3. Istanza spot

Consulenza e servizi personalizzati: Offre consulenza, reporting dei dati e servizi personalizzati come containerizzazione, raccomandazioni per la formazione dei modelli e piattaforme MLOps personalizzate.

Funzioni di sicurezza e monitoraggio robuste: Includono il controllo degli accessi basato sui ruoli (RBAC), la gestione dei gruppi utente, il monitoraggio in tempo reale, la tracciabilità storica e le notifiche di allarme.

Nella tua opinione, quali sono alcune delle sfide e delle opportunità più grandi per l’infrastruttura AI nei prossimi anni?

Sfide:

1. Scalabilità e costi: Man mano che i modelli diventano più complessi, mantenere la scalabilità e l’accessibilità diventa una sfida, soprattutto per le piccole aziende.
2. Energia e sostenibilità: Il consumo energetico elevato richiede soluzioni più ecocompatibili man mano che l’adozione dell’AI aumenta.
3. Sicurezza e privacy: La protezione dei dati nelle infrastrutture condivise richiede una sicurezza e una conformità normativa in evoluzione.
4. Interoperabilità: Gli strumenti frammentati nello stack AI complicano la distribuzione e l’integrazione senza problemi. Complica infatti la distribuzione di qualsiasi AI. Ora possiamo ridurre il tempo di sviluppo di 2 volte e ridurre il numero di dipendenti per un progetto AI di 3 volte.

Opportunità:

1. Crescita dell’AI edge: L’elaborazione AI più vicina alle fonti dei dati offre una riduzione della latenza e della conservazione della larghezza di banda.
2. MLOps automatizzati: Le operazioni semplificate riducono la complessità della distribuzione, consentendo alle aziende di concentrarsi sulle applicazioni.
3. Hardware efficiente in termini energetici: Le innovazioni possono migliorare l’accessibilità e ridurre l’impatto ambientale.
4. Cloud ibrido: Un’infrastruttura che funziona sia sul cloud che su ambienti on-prem è adatta alla flessibilità aziendale.
5. Gestione AI: Utilizzare l’AI per ottimizzare autonomamente l’infrastruttura riduce il tempo di inattività e aumenta l’efficienza.

Puoi condividere informazioni sulla tua visione a lungo termine per GMI Cloud? Qual è il ruolo che vedi per essa nell’evoluzione dell’AI e dell’AGI?

Voglio costruire l’AI di Internet. Voglio costruire l’infrastruttura che alimenta il futuro in tutto il mondo.

Per creare una piattaforma accessibile, simile a Squarespace o Wix, ma per l’AI. Chiunque dovrebbe essere in grado di costruire la propria applicazione AI.

Nei prossimi anni, l’AI vedrà una crescita sostanziale, in particolare con i casi d’uso dell’AI generativa, poiché più settori integrano queste tecnologie per migliorare la creatività, automatizzare i processi e ottimizzare la presa di decisioni. L’inferenza svolgerà un ruolo centrale in questo futuro, consentendo applicazioni AI in tempo reale che possono gestire compiti complessi in modo efficiente e su larga scala. I casi d’uso business-to-business (B2B) saranno quelli dominanti, con le aziende sempre più concentrate sull’utilizzo dell’AI per aumentare la produttività, semplificare le operazioni e creare nuovo valore. La visione a lungo termine di GMI Cloud si allinea con questa tendenza, mirando a fornire un’infrastruttura avanzata e affidabile che supporti le aziende nel massimizzare la produttività e l’impatto dell’AI in tutta la loro organizzazione.

Mentre si espandono le operazioni con il nuovo data center in Colorado, quali obiettivi strategici o pietre miliari stai cercando di raggiungere nel prossimo anno?

Mentre espandiamo le operazioni con il nuovo data center in Colorado, ci concentriamo su diversi obiettivi strategici e pietre miliari nel prossimo anno. Gli Stati Uniti rappresentano il mercato più grande per l’AI e il calcolo AI, rendendo imperativo per noi stabilire una presenza solida in questa regione. La posizione strategica del Colorado, unita al suo solido ecosistema tecnologico e all’ambiente aziendale favorevole, ci consente di servire meglio una base clienti in crescita e di potenziare le nostre offerte di servizio.

Quali consigli daresti alle aziende o alle startup che cercano di adottare un’infrastruttura AI avanzata?

Per le startup concentrate sull’innovazione guidata dall’AI, la priorità dovrebbe essere quella di costruire e perfezionare i loro prodotti, non spendere tempo prezioso nella gestione dell’infrastruttura. Collaborare con fornitori di tecnologia affidabili che offrono soluzioni GPU affidabili e scalabili, evitando fornitori che tagliano gli angoli con alternative white-labeled. L’affidabilità e la rapida distribuzione sono fondamentali; nelle fasi iniziali, la velocità è spesso l’unico vantaggio competitivo che una startup ha rispetto ai giocatori stabiliti. Scegliere opzioni cloud-based e flessibili che supportano la crescita, concentrandosi sulla sicurezza e sulla conformità senza sacrificare l’agilità. Facendo ciò, le startup possono integrarsi senza problemi, iterare rapidamente e canalizzare le loro risorse in ciò che conta veramente – fornire un prodotto di spicco nel mercato.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare GMI Cloud,