Alex Yeh, Fondator și CEO al GMI Cloud – Seria de interviuri

Alex Yeh este fondatorul și CEO-ul GMI Cloud, o companie de infrastructură digitală cu capital de risc, cu misiunea de a împuternici oricine să implementeze inteligența artificială (AI) fără efort și să simplifice modul în care companiile construiesc, implementează și extind AI prin soluții integrate de hardware și software

Ce v-a inspirat să înființați GMI Cloud, și cum v-a influențat background-ul în abordarea construirii companiei?

GMI Cloud a fost fondat în 2021, concentrându-se în primii doi ani pe construirea și operarea centrelor de date pentru a oferi noduri de calcul Bitcoin. În acest interval, am stabilit trei centre de date în Arkansas și Texas.

În luna iunie a anului trecut, am observat o cerere puternică din partea investitorilor și clienților pentru putere de calcul GPU. În decurs de o lună, am luat decizia de a ne orienta către infrastructura de cloud pentru AI. Dezvoltarea rapidă a AI și valul de noi oportunități de afaceri pe care le aduce sunt fie imposibil de prevăzut, fie greu de descris. Prin furnizarea infrastructurii esențiale, GMI Cloud își propune să rămână strâns aliniat cu oportunitățile interesante și adesea de neimaginat din domeniul AI.

Înainte de GMI Cloud, am fost partener la o firmă de capital de risc, implicându-mă regulat în industrii emergente. Văd inteligența artificială ca ultima “goană după aur” a secolului al XXI-lea, cu GPU-urile și serverele AI servind ca “târnăcoape” pentru “prospectori” moderni, stimulând creșterea rapidă a companiilor de cloud specializate în închirierea puterii de calcul GPU.

Ne puteți spune despre misiunea GMI Cloud de a simplifica infrastructura AI și de ce această focalizare este atât de crucială pe piața de astăzi?

Simplificarea infrastructurii AI este esențială din cauza complexității și fragmentării actuale a stivei AI, ceea ce poate limita accesibilitatea și eficiența pentru companiile care își propun să valorifice potențialul AI. Instalările actuale de AI implică adesea mai multe straturi desconectate – de la prelucrarea datelor și antrenarea modelului la implementare și extindere – care necesită timp semnificativ, abilități specializate și resurse pentru a fi gestionate eficient. Multe companii petrec săptămâni și chiar luni identificând cele mai potrivite straturi ale infrastructurii AI, un proces care poate dura săptămâni sau chiar luni, afectând experiența utilizatorului și productivitatea.

1. Accelerarea implementării: O infrastructură simplificată permite o dezvoltare și implementare mai rapidă a soluțiilor AI, ajutând companiile să rămână competitive și adaptabile la nevoile pieței în schimbare.
2. Reducerea costurilor și a resurselor: Prin minimizarea nevoii de hardware specializat și integrări personalizate, o stivă AI eficientă poate reduce semnificativ costurile, făcând AI mai accesibil, în special pentru companiile mici.
3. Permiterea extinderii: O infrastructură bine integrată permite o gestionare eficientă a resurselor, care este esențială pentru extinderea aplicațiilor pe măsură ce crește cererea, asigurând că soluțiile AI rămân robuste și receptive la scară largă.
4. Îmbunătățirea accesibilității: Infrastructura simplificată face ca adoptarea AI să fie mai ușoară pentru o gamă mai largă de organizații, fără a necesita expertiză tehnică extinsă. Această democratizare a AI promovează inovația și creează valoare în mai multe industrii.
5. Susținerea inovației rapide: Pe măsură ce tehnologia AI evoluează, o infrastructură mai puțin complexă face mai ușoară integrarea unor noi instrumente, modele și metode, permițând organizațiilor să rămână agile și să inoveze rapid.

Misiunea GMI Cloud de a simplifica infrastructura AI este esențială pentru a ajuta întreprinderile și startup-urile să valorifice pe deplin beneficiile AI, făcând-o accesibilă, eficientă din punct de vedere al costurilor și extensibilă pentru organizații de toate dimensiunile.

Ați obținut recent 82 de milioane de dolari în finanțare de serie A. Cum va fi utilizat acest capital nou, și care sunt obiectivele dvs. imediate de extindere?

GMI Cloud va utiliza finanțarea pentru a deschide un nou centru de date în Colorado și va investi în principal în GPU-uri H200 pentru a construi un cluster GPU de mare scală suplimentar. GMI Cloud dezvoltă activ și o platformă de gestionare a resurselor cloud-native, Cluster Engine, care este integrată perfect cu hardware-ul nostru avansat. Această platformă oferă capacități fără precedent în virtualizare, containerizare și orchestrare.

GMI Cloud oferă acces la GPU cu o viteză de 2 ori mai mare comparativ cu competitorii. Care sunt abordările sau tehnologiile unice care fac acest lucru posibil?

Un aspect cheie al abordării unice a GMI Cloud este utilizarea NCP (NVIDIA Compute Platform) de către NVIDIA, care oferă GMI Cloud acces prioritar la GPU-uri și alte resurse de ultimă generație. Acest achiziționare directă de la producători, combinată cu opțiuni de finanțare solide, asigură eficiența costurilor și o lanț de aprovizionare foarte securizată.

Cu GPU-uri NVIDIA H100 disponibile în cinci locații globale, cum susține această infrastructură nevoile clienților dvs. AI din SUA și Asia?

GMI Cloud a stabilit o prezență globală strategică, deservind multiple țări și regiuni, inclusiv Taiwan, Statele Unite și Thailanda, cu o rețea de centre de date (IDC) în întreaga lume. În prezent, GMI Cloud operează mii de carduri GPU bazate pe NVIDIA Hopper și se află pe o traiectorie de extindere rapidă, cu planuri de a-și multiplica resursele în următorii șase luni. Această distribuție geografică permite GMI Cloud să ofere servicii fluide, cu latență redusă, clienților din diferite regiuni, optimizând eficiența transferului de date și oferind o infrastructură robustă pentru întreprinderile care își extind operațiunile AI la nivel global.

În plus, capacitățile globale ale GMI Cloud îi permit să înțeleagă și să satisfacă cererile diverse de pe piață și cerințele de reglementare din diferite regiuni, oferind soluții personalizate adaptate nevoilor specifice ale fiecărui loc. Cu o creștere a resurselor de calcul, GMI Cloud răspunde cererii în creștere pentru puterea de calcul AI, oferind clienților o capacitate de calcul suficientă pentru a accelera antrenarea modelului, a îmbunătăți precizia și a îmbunătăți performanța modelului pentru o gamă largă de proiecte AI.

Ca lider în servicii cloud native AI, care tendințe sau nevoi ale clienților vă concentrați pentru a impulsiona tehnologia GMI înainte?

De la GPU-uri la aplicații, GMI Cloud stimulează transformarea inteligentă pentru clienți, satisfăcând cererile dezvoltării tehnologiei AI.

Arhitectură hardware:

• Arhitectură de cluster fizic: Instanțe precum 1250 H100 includ rafturi GPU, rafturi de frunze și rafturi de spini, cu configurații optimizate de servere și echipamente de rețea care oferă putere de calcul de înaltă performanță.
• Structură de topologie de rețea: Proiectată cu țesătură IB eficientă și țesătură Ethernet, asigurând o transmisie netedă a datelor și comunicare.

Software și servicii:

• Motor de cluster: Utilizând un motor dezvoltat intern pentru a gestiona resurse precum metal gol, containere Kubernetes și HPC Slurm, permițând o alocare optimă a resurselor pentru utilizatori și administratori.
• Platformă cloud proprietară: Motorul CLUSTER ENGINE este un sistem de gestionare cloud proprietar care optimizează programarea resurselor, oferind o soluție de gestionare a clusterului flexibilă și eficientă

Adăugați planul motorului de inferență:

1. Calcul continuu, garantând un SLA ridicat.
2. Împărțirea timpului pentru utilizarea fracționată a timpului.
3. Instanță de tip spot

Servicii de consultanță și personalizate: Oferă consultanță, raportare de date și servicii personalizate, cum ar fi containerizarea, recomandări de antrenare a modelului și platforme MLOps personalizate.

Caracteristici robuste de securitate și monitorizare: Include controlul accesului bazat pe rol (RBAC), gestionarea grupului de utilizatori, monitorizarea în timp real, urmărirea istorică și notificări de alertă.

În opinia dvs., care sunt unele dintre cele mai mari provocări și oportunități pentru infrastructura AI în următorii ani?

Provocări:

1. Extinderea și costurile: Pe măsură ce modelele devin mai complexe, menținerea extensibilității și a accesibilității devine o provocare, în special pentru companiile mici.
2. Energie și durabilitate: Consumul ridicat de energie necesită soluții mai eco-friendly pe măsură ce adoptarea AI crește.
3. Securitate și confidențialitate: Protecția datelor în infrastructuri partajate necesită securitate și conformitate regulamentară în evoluție.
4. Interoperabilitate: Uneltele fragmentate din stiva AI complică implementarea și integrarea fără probleme. Putem reduce acum timpul de dezvoltare cu 2x și reduce numărul de angajați pentru un proiect AI cu 3x.

Oportunități:

1. Cresterea AI de margine: Procesarea AI mai aproape de sursele de date oferă reducerea latenței și conservarea benzii de transfer.
2. MLOps automatizat: Operațiunile eficientizate reduc complexitatea implementării, permițând companiilor să se concentreze pe aplicații.
3. Hardware eficient din punct de vedere energetic: Inovațiile pot îmbunătăți accesibilitatea și reduce impactul asupra mediului.
4. Cloud hibrid: Infrastructura care funcționează atât în cloud, cât și în medii on-premise este potrivită pentru flexibilitatea întreprinderilor.
5. Managementul AI-powderat: Utilizarea AI pentru a optimiza în mod autonom infrastructura reduce timpul de închidere și crește eficiența.

Ne puteți împărtăși perspective asupra viziunii pe termen lung a GMI Cloud? Care rol credeți că va juca în evoluția AI și AGI?

Vreau să construiesc inteligența artificială a internetului. Vreau să construiesc infrastructura care va alimenta viitorul în întreaga lume.

Să creez o platformă accesibilă, similară cu Squarespace sau Wix, dar pentru AI. Oricine ar trebui să poată construi aplicația sa de inteligență artificială.

În anii următori, AI va cunoaște o creștere semnificativă, în special cu cazuri de utilizare a AI generativ, pe măsură ce mai multe industrii integrează aceste tehnologii pentru a îmbunătăți creativitatea, a automatiza procesele și a optimiza luarea deciziilor. Inferența va juca un rol central în acest viitor, permițând aplicații AI în timp real care pot gestiona sarcini complexe eficient și la scară. Cazurile de utilizare B2B (business-to-business) vor domina, companiile fiind din ce în ce mai focalizate pe utilizarea AI pentru a-și îmbunătăți productivitatea, a-și eficientiza operațiunile și a crea valoare nouă. Viziunea pe termen lung a GMI Cloud se aliniază cu această tendință, urmărind să ofere infrastructură avansată și fiabilă care să sprijine întreprinderile în maximizarea productivității și impactului AI în organizațiile lor.

Pe măsură ce extindeți operațiunile cu noul centru de date din Colorado, care sunt obiectivele strategice sau reperele pe care le urmăriți să le atingeți în următorul an?

Pe măsură ce extindem operațiunile cu noul centru de date din Colorado, ne concentrăm pe mai multe obiective strategice și repere pe termen scurt. Statele Unite reprezintă cel mai mare market pentru AI și calculul AI, făcând imperativ pentru noi să stabilim o prezență puternică în această regiune. Locația strategică a Colorado, combinată cu ecosistemul tehnologic robust și mediul de afaceri favorabil, ne poziționează pentru a ne servi mai bine o bază de clienți în creștere și a îmbunătăți ofertele noastre de servicii.

Ce sfaturi ați da companiilor sau startup-urilor care doresc să adopte infrastructura AI avansată?

Pentru startup-urile axate pe inovația bazată pe AI, prioritatea ar trebui să fie construirea și rafinarea produselor lor, nu cheltuirea timpului valoros pe gestionarea infrastructurii. Parteneriați cu furnizori de tehnologie de încredere care oferă soluții GPU fiabile și extensibile, evitând furnizorii care taie colțuri cu alternative white-labeled. Fiabilitatea și implementarea rapidă sunt critice; în stadiile incipiente, viteza este adesea singura barieră competitivă pe care o are un startup împotriva jucătorilor consacrați. Alegeți opțiuni cloud bazate pe flexibilitate care susțin creșterea, și concentrați-vă pe securitate și conformitate fără a sacrifica agilitatea. Prin urmare, startup-urile pot integra în mod fluent, itera rapid și canaliza resursele lor în ceea ce contează cu adevărat – livrarea unui produs remarcabil pe piață.

Mulțumim pentru acest interviu minunat; cititorii care doresc să afle mai multe despre GMI Cloud ar trebui să viziteze site-ul nostru.