Alex Yeh, Fondatore e Amministratore Delegato di GMI Cloud – Serie di Interviste

Alex Yeh è il Fondatore e Amministratore Delegato di GMI Cloud, un’azienda di infrastrutture digitali supportata da venture capital con la missione di consentire a chiunque di distribuire l’intelligenza artificiale in modo semplice e di semplificare la modalità in cui le aziende costruiscono, distribuiscono e scalano l’intelligenza artificiale attraverso soluzioni hardware e software integrate.

Cosa ti ha ispirato a fondare GMI Cloud e come il tuo background ha influenzato il tuo approccio alla costruzione dell’azienda?

GMI Cloud è stata fondata nel 2021, concentrandosi principalmente nei suoi primi due anni sulla costruzione e gestione di data center per fornire nodi di calcolo Bitcoin. In questo periodo, abbiamo stabilito tre data center in Arkansas e Texas.

Nel giugno dell’anno scorso, abbiamo notato una forte domanda da parte degli investitori e dei clienti per la potenza di calcolo GPU. Entro un mese, ho preso la decisione di orientarmi verso l’infrastruttura cloud per l’intelligenza artificiale. Lo sviluppo rapido dell’intelligenza artificiale e l’onda di nuove opportunità commerciali che porta sono impossibili da prevedere o difficili da descrivere. Fornendo l’infrastruttura essenziale, GMI Cloud mira a mantenersi strettamente allineata con le opportunità emozionanti e spesso inimmaginabili nell’ambito dell’intelligenza artificiale.

Prima di GMI Cloud, ero un partner in una società di venture capital, impegnato regolarmente con settori emergenti. Considero l’intelligenza artificiale come l’ultima “corsa all’oro” del XXI secolo, con le GPU e i server di intelligenza artificiale che fungono da “picconi” per i “prospectors” moderni, stimolando una rapida crescita per le aziende cloud specializzate nella locazione di potenza di calcolo GPU.

Puoi dirci qualcosa sulla missione di GMI Cloud di semplificare l’infrastruttura dell’intelligenza artificiale e perché questo focus è così cruciale nel mercato odierno?

Semplificare l’infrastruttura dell’intelligenza artificiale è essenziale a causa della complessità e della frammentazione attuali dello stack dell’intelligenza artificiale, che possono limitare l’accessibilità e l’efficienza per le aziende che intendono sfruttare il potenziale dell’intelligenza artificiale. Le attuali configurazioni dell’intelligenza artificiale spesso coinvolgono diversi strati non connessi – dalla pre-elaborazione dei dati e dalla formazione del modello alla distribuzione e alla scalabilità – che richiedono molto tempo, competenze specializzate e risorse per essere gestiti efficacemente. Molte aziende spendono settimane e addirittura mesi nell’identificare i migliori strati dell’infrastruttura dell’intelligenza artificiale, un processo che può estendersi a settimane o addirittura mesi, impattando sull’esperienza utente e sulla produttività.

1. Accelerazione della distribuzione: Un’infrastruttura semplificata consente una più rapida sviluppo e distribuzione di soluzioni di intelligenza artificiale, aiutando le aziende a rimanere competitive e adattabili alle esigenze del mercato in evoluzione.
2. Riduzione dei costi e delle risorse: Minimizzando la necessità di hardware specializzato e integrazioni personalizzate, uno stack di intelligenza artificiale ottimizzato può ridurre notevolmente i costi, rendendo l’intelligenza artificiale più accessibile, specialmente per le piccole aziende.
3. Abilitazione della scalabilità: Un’infrastruttura ben integrata consente una gestione efficiente delle risorse, essenziale per la scalabilità delle applicazioni man mano che la domanda cresce, garantendo che le soluzioni di intelligenza artificiale rimangano robuste e reattive su larga scala.
4. Miglioramento dell’accessibilità: Un’infrastruttura semplificata rende più facile per un’ampia gamma di organizzazioni adottare l’intelligenza artificiale senza richiedere una vasta esperienza tecnica. Questa democratizzazione dell’intelligenza artificiale promuove l’innovazione e crea valore in più settori.
5. Supporto all’innovazione rapida: Man mano che la tecnologia dell’intelligenza artificiale si evolve, un’infrastruttura meno complessa rende più facile incorporare nuovi strumenti, modelli e metodi, consentendo alle organizzazioni di rimanere agili e innovare rapidamente.

La missione di GMI Cloud di semplificare l’infrastruttura dell’intelligenza artificiale è essenziale per aiutare le aziende e le startup a realizzare appieno i benefici dell’intelligenza artificiale, rendendola accessibile, efficiente e scalabile per aziende di tutte le dimensioni.

Hai recentemente ottenuto 82 milioni di dollari in finanziamenti di serie A. Come verranno utilizzati questi nuovi capitali e quali sono i tuoi obiettivi di espansione immediati?

GMI Cloud utilizzerà i finanziamenti per aprire un nuovo data center in Colorado e investirà principalmente in GPU H200 per costruire un ulteriore grande cluster di GPU. GMI Cloud sta anche attivamente sviluppando la sua piattaforma di gestione delle risorse cloud-native, Cluster Engine, che è perfettamente integrata con il nostro hardware avanzato. Questa piattaforma fornisce capacità senza precedenti in termini di virtualizzazione, containerizzazione e orchestrazione.

GMI Cloud offre l’accesso alle GPU al doppio della velocità rispetto ai concorrenti. Quali approcci o tecnologie uniche rendono possibile ciò?

Un aspetto chiave dell’approccio unico di GMI Cloud è lo sfruttamento di NVIDIA (NVDA ) NCP, che fornisce a GMI Cloud l’accesso prioritario alle GPU e ad altre risorse all’avanguardia. Questo approvvigionamento diretto dai produttori, combinato con opzioni di finanziamento solide, garantisce l’efficienza dei costi e una catena di approvvigionamento altamente sicura.

Con le GPU NVIDIA H100 disponibili in cinque località globali, come questa infrastruttura supporta le esigenze dei tuoi clienti di intelligenza artificiale negli Stati Uniti e in Asia?

GMI Cloud ha stabilito una presenza globale, servendo più paesi e regioni, tra cui Taiwan, Stati Uniti e Thailandia, con una rete di IDC (Internet Data Center) in tutto il mondo. Attualmente, GMI Cloud opera migliaia di schede GPU basate su NVIDIA Hopper e si trova su una traiettoria di rapida espansione, con piani per moltiplicare le proprie risorse nel prossimo semestre. Questa distribuzione geografica consente a GMI Cloud di fornire un servizio fluido e a bassa latenza ai clienti in diverse regioni, ottimizzando l’efficienza del trasferimento dei dati e fornendo un’infrastruttura robusta per le aziende che estendono le loro operazioni di intelligenza artificiale in tutto il mondo.

Inoltre, le capacità globali di GMI Cloud gli consentono di comprendere e soddisfare le diverse esigenze del mercato e i requisiti normativi attraverso le regioni, fornendo soluzioni personalizzate adattate alle esigenze uniche di ogni località. Con una crescente quantità di risorse di calcolo, GMI Cloud affronta la crescente domanda di potenza di calcolo per l’intelligenza artificiale, offrendo ai clienti una notevole capacità computazionale per accelerare la formazione dei modelli, migliorare l’accuratezza e migliorare le prestazioni del modello per un’ampia gamma di progetti di intelligenza artificiale.

Come leader nei servizi cloud nativi per l’intelligenza artificiale, quali tendenze o esigenze dei clienti stai concentrando per guidare l’innovazione tecnologica di GMI?

Dalle GPU alle applicazioni, GMI Cloud guida la trasformazione intelligente per i clienti, soddisfacendo le esigenze dello sviluppo della tecnologia dell’intelligenza artificiale.

Architettura hardware:

• Architettura del cluster fisico: Istanze come il 1250 H100 includono rack di GPU, rack foglia e rack spine, con configurazioni ottimizzate di server e attrezzature di rete che forniscono una potenza di calcolo ad alta prestazione.
• Struttura della topologia di rete: Progettata con tessuto IB efficiente e tessuto Ethernet, garantendo una trasmissione dei dati fluida e una comunicazione.

Software e servizi:

• Cluster Engine: Utilizzo di un motore sviluppato internamente per gestire risorse come metallo nudo, Kubernetes/contenitori e HPC Slurm, abilitando un’allocazione ottimale delle risorse per gli utenti e gli amministratori.
• Piattaforma cloud proprietaria: Il CLUSTER ENGINE è un sistema di gestione cloud proprietario che ottimizza la pianificazione delle risorse, fornendo una soluzione di gestione del cluster flessibile ed efficiente.

Piano del motore di inferenza:

1. Calcolo continuo, garantisce un alto SLA.
2. Condivisione del tempo per l’uso frazionato.
3. Istanza spot

Consulenza e servizi personalizzati:: Offre consulenza, reporting dei dati e servizi personalizzati come containerizzazione, raccomandazioni per la formazione del modello e piattaforme MLOps personalizzate.

Funzioni di sicurezza e monitoraggio robuste: Includono il controllo di accesso basato sui ruoli (RBAC), gestione dei gruppi utente, monitoraggio in tempo reale, tracciamento storico e notifiche di allarme.

Secondo te, quali sono le sfide e le opportunità più grandi per l’infrastruttura dell’intelligenza artificiale nei prossimi anni?

Sfide:

1. Scalabilità e costi: Man mano che i modelli diventano più complessi, mantenere la scalabilità e l’accessibilità diventa una sfida, specialmente per le piccole aziende.
2. Energia e sostenibilità: Il consumo energetico elevato richiede soluzioni più ecocompatibili man mano che l’adozione dell’intelligenza artificiale aumenta.
3. Sicurezza e privacy: La protezione dei dati nelle infrastrutture condivise richiede una sicurezza e una conformità normativa in evoluzione.
4. Interoperabilità: Gli strumenti frammentati nello stack dell’intelligenza artificiale complicano la distribuzione e l’integrazione senza problemi. Ciò complica la distribuzione di qualsiasi intelligenza artificiale di fatto. Ora possiamo ridurre il tempo di sviluppo di 2 volte e ridurre il numero di dipendenti per un progetto di intelligenza artificiale di 3 volte.

Opportunità:

1. Crescita dell’intelligenza artificiale edge: L’elaborazione dell’intelligenza artificiale più vicina alle fonti dei dati offre una riduzione della latenza e della conservazione della larghezza di banda.
2. MLOps automatizzati: Le operazioni di flusso semplificate riducono la complessità della distribuzione, consentendo alle aziende di concentrarsi sulle applicazioni.
3. Hardware efficiente in termini energetici: Le innovazioni possono migliorare l’accessibilità e ridurre l’impatto ambientale.
4. Cloud ibrido: Un’infrastruttura che funziona sia nel cloud che negli ambienti on-prem è adatta per la flessibilità aziendale.
5. Gestione dell’infrastruttura con l’intelligenza artificiale: Utilizzare l’intelligenza artificiale per ottimizzare autonomamente l’infrastruttura riduce il tempo di inattività e aumenta l’efficienza.

Puoi condividere alcune informazioni sulla tua visione a lungo termine per GMI Cloud? Qual è il ruolo che vedi per GMI Cloud nell’evoluzione dell’intelligenza artificiale e dell’intelligenza artificiale generale?

Voglio costruire l’intelligenza artificiale di Internet. Voglio costruire l’infrastruttura che alimenta il futuro in tutto il mondo.

Per creare una piattaforma accessibile, simile a Squarespace o Wix, ma per l’intelligenza artificiale. Chiunque dovrebbe essere in grado di costruire la propria applicazione di intelligenza artificiale.

Negli anni a venire, l’intelligenza artificiale vedrà una crescita sostanziale, in particolare con i casi d’uso dell’intelligenza artificiale generativa, poiché più settori integrano queste tecnologie per migliorare la creatività, automatizzare i processi e ottimizzare la presa di decisioni. L’inferenza svolgerà un ruolo centrale in questo futuro, consentendo applicazioni di intelligenza artificiale in tempo reale che possono gestire compiti complessi in modo efficiente e su larga scala. I casi d’uso business-to-business (B2B) domineranno, con le aziende sempre più concentrate sull’utilizzo dell’intelligenza artificiale per aumentare la produttività, semplificare le operazioni e creare nuovo valore. La visione a lungo termine di GMI Cloud si allinea con questa tendenza, mirando a fornire un’infrastruttura avanzata e affidabile che supporti le aziende nel massimizzare la produttività e l’impatto dell’intelligenza artificiale in tutta la loro organizzazione.

Mentre si espande l’operazione con il nuovo data center in Colorado, quali obiettivi strategici o pietre miliari stai cercando di raggiungere nel prossimo anno?

Mentre espandiamo le operazioni con il nuovo data center in Colorado, ci concentriamo su diversi obiettivi strategici e pietre miliari nel prossimo anno. Gli Stati Uniti rappresentano il mercato più grande per l’intelligenza artificiale e il calcolo dell’intelligenza artificiale, rendendo imperativo per noi stabilire una forte presenza in questa regione. La posizione strategica del Colorado, combinata con il suo solido ecosistema tecnologico e un ambiente aziendale favorevole, ci consente di servire meglio una base clienti in crescita e di migliorare le nostre offerte di servizio.

Qual consiglio daresti alle aziende o alle startup che intendono adottare un’infrastruttura di intelligenza artificiale avanzata?

Per le startup concentrate sull’innovazione guidata dall’intelligenza artificiale, la priorità dovrebbe essere quella di costruire e perfezionare i propri prodotti, non spendere tempo prezioso nella gestione dell’infrastruttura. Collabora con fornitori di tecnologia affidabili che offrono soluzioni di GPU affidabili e scalabili, evitando i fornitori che tagliano gli angoli con alternative etichettate in bianco. L’affidabilità e la rapida distribuzione sono critiche; nelle fasi iniziali, la velocità è spesso l’unico vantaggio competitivo che una startup ha contro i giocatori stabiliti. Scegli opzioni cloud-based e flessibili che supportino la crescita e concentrati sulla sicurezza e sulla conformità senza sacrificare l’agilità. Facendo ciò, le startup possono integrarsi senza problemi, iterare rapidamente e canalizzare le proprie risorse in ciò che conta veramente – consegnare un prodotto di spicco nel mercato.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare GMI Cloud,