Alex Yeh, grundare och VD för GMI Cloud – Intervjuserie

Alex Yeh är grundare och VD för GMI Cloud, ett venturebackat digitalt infrastrukturföretag med uppdraget att göra det möjligt för alla att distribuera AI utan ansträngning och förenkla hur företag bygger, distribuerar och skalar AI genom integrerade hårdvaru- och mjukvarulösningar

Vad inspirerade dig att starta GMI Cloud, och hur har din bakgrund påverkat ditt tillvägagångssätt för att bygga företaget?

GMI Cloud grundades 2021 och fokuserade primärt under de första två åren på att bygga och driva datacenter för att tillhandahålla Bitcoin-beräkningsnoder. Under denna period etablerade vi tre datacenter i Arkansas och Texas.

I juni förra året upptäckte vi en stark efterfrågan från investerare och kunder efter GPU-beräkningskraft. Inom en månad fattade han beslutet att gå över till AI-molninfrastruktur. AI:s snabba utveckling och den våg av nya affärsmöjligheter den medför är antingen omöjliga att förutse eller svåra att beskriva. Genom att tillhandahålla den väsentliga infrastrukturen syftar GMI Cloud till att hålla sig nära de spännande och ofta oförutsägbara möjligheterna inom AI.

Innan GMI Cloud var jag partner i ett riskkapitalbolag och engagerade mig regelbundet i nya branscher. Jag ser artificiell intelligens som 2000-talets senaste “guldrush”, med GPU:er och AI-servrar som “hackor” för dagens “prospektörer”, vilket driver snabb tillväxt för molnföretag som specialiserar sig på uthyrning av GPU-beräkningskraft.

Kan du berätta om GMI Clouds uppdrag att förenkla AI-infrastruktur och varför denna fokus är så viktig på dagens marknad?

Att förenkla AI-infrastruktur är avgörande på grund av den nuvarande komplexiteten och fragmenteringen av AI-stacken, som kan begränsa tillgänglighet och effektivitet för företag som syftar till att utnyttja AI:s potential. Dagens AI-konfigurationer involverar ofta flera frånkopplade lager – från dataförbehandling och modellträning till distribution och skalning – som kräver betydande tid, specialiserad kompetens och resurser för att hanteras effektivt. Många företag spenderar veckor och till och med månader på att identifiera de bäst passande lagren av AI-infrastruktur, en process som kan ta veckor eller till och med månader, vilket påverkar användarupplevelsen och produktiviteten.

1. Accelerera distributionen: En förenklad infrastruktur möjliggör snabbare utveckling och distribution av AI-lösningar, vilket hjälper företag att hålla sig konkurrenskraftiga och anpassa sig till förändrade marknadsbehov.
2. Sänka kostnaderna och minska resurserna: Genom att minimera behovet av specialiserad hårdvara och anpassade integrationer kan en strömlinjeformad AI-stack avsevärt minska kostnaderna, vilket gör AI mer tillgängligt, särskilt för mindre företag.
3. Möjliggöra skalbarhet: En väl integrerad infrastruktur möjliggör effektiv resurshantering, vilket är avgörande för att skala applikationer när efterfrågan ökar, vilket säkerställer att AI-lösningar förblir robusta och svarar snabbt i större skala.
4. Förbättra tillgängligheten: Förenklad infrastruktur gör det lättare för en bredare range av organisationer att anta AI utan att kräva omfattande teknisk expertis. Denna demokratisering av AI främjar innovation och skapar värde över flera branscher.
5. Stödja snabb innovation: När AI-tekniken utvecklas gör mindre komplex infrastruktur det lättare att införliva nya verktyg, modeller och metoder, vilket möjliggör för organisationer att förbli agila och innovativa.

GMI Clouds uppdrag att förenkla AI-infrastruktur är avgörande för att hjälpa företag och startups att fullt ut nyttja AI:s fördelar, göra det tillgängligt, kostnadseffektivt och skalbart för organisationer av alla storlekar.

Nyligen säkrade du 82 miljoner dollar i serie A-finansiering. Hur kommer den nya kapitalet att användas, och vad är dina omedelbara expansionsmål?

GMI Cloud kommer att använda finansieringen för att öppna ett nytt datacenter i Colorado och främst investera i H200-GPU:er för att bygga en ytterligare stor GPU-kluster. GMI Cloud utvecklar också aktivt sin egen molnbaserade resurshanteringplattform, Cluster Engine, som är sömlöst integrerad med vår avancerade hårdvara. Denna plattform erbjuder enastående funktioner i virtualisering, containernisering och orkestrering.

GMI Cloud erbjuder GPU-åtkomst med 2x hastighet jämfört med konkurrenter. Vilka unika tillvägagångssätt eller tekniker gör detta möjligt?

En viktig aspekt av GMI Clouds unika tillvägagångssätt är att utnyttja NVIDIAs NCP, som ger GMI Cloud prioriterad åtkomst till GPU:er och andra toppmoderna resurser. Denna direkt inköp från tillverkare, kombinerat med starka finansieringsalternativ, säkerställer kostnadseffektivitet och en högt säker leveranskedja.

Med NVIDIA (NVDA ) H100-GPU:er tillgängliga på fem globala platser, hur stöder denna infrastruktur era AI-kunders behov i USA och Asien?

GMI Cloud har etablerat en global närvaro, som betjänar flera länder och regioner, inklusive Taiwan, USA och Thailand, med ett nätverk av IDC:er (Internet Data Centers) runt om i världen. För närvarande opererar GMI Cloud tusentals NVIDIA Hopper-baserade GPU-kort och är på en bana av snabb expansion, med planer på att multiplicera sina resurser under de kommande sex månaderna. Denna geografiska distribution möjliggör för GMI Cloud att leverera sömlös, låglatens service till kunder i olika regioner, optimerar dataöverföringseffektivitet och tillhandahåller robust infrastrukturstöd för företag som utökar sina AI-verksamheter globalt.

Utöver detta möjliggör GMI Clouds globala kapacitet för företaget att förstå och tillmötesgå olika marknadsbehov och regulatoriska krav över regioner, vilket tillhandahåller anpassade lösningar som är skräddarsydda för varje lokals unika behov. Med en växande pool av beräkningsresurser tillgodoser GMI Cloud den ökande efterfrågan på AI-beräkningskraft, vilket erbjuder kunderna tillräcklig beräkningskapacitet för att accelerera modellträning, förbättra noggrannhet och förbättra modellprestanda för en bred range av AI-projekt.

Som ledare inom AI-nativa molntjänster, vilka trender eller kundbehov fokuserar du på för att driva GMI:s teknologi framåt?

Från GPU:er till applikationer driver GMI Cloud intelligent omvandling för kunder, som möter kraven för AI-teknikutveckling.

Maskinvaruarkitektur:

• Fysisk klusterarkitektur: Exempel som 1250 H100 inkluderar GPU-hyllor, bladhyllor och ryggmärgshyllor, med optimerade konfigurationer av servrar och nätverksutrustning som tillhandahåller högpresterande beräkningskraft.
• Nätverkstopologisk struktur: Utformad med effektiv IB-tyg och Ethernet-tyg, som säkerställer smidig dataöverföring och kommunikation.

Mjukvara och tjänster:

• Cluster Engine: Använder en inbyggd motor för att hantera resurser som bar metall, Kubernetes/containrar och HPC Slurm, vilket möjliggör optimal resursallokering för användare och administratörer.
• Proprietär molnplattform: CLUSTER ENGINE är ett proprietärt molnhanteringssystem som optimerar resursschemaläggning, vilket tillhandahåller en flexibel och effektiv klusterhanteringslösning

Lägg till inferensmotorväg:

1. Kontinuerlig beräkning, garanterar hög SLA.
2. Tidsdelning för bråkdel av användningstid.
3. Spot-instans

Konsult- och anpassade tjänster: Erbjuder konsulttjänster, datarapportering och anpassade tjänster som containernisering, modellträningsrekommendationer och skräddarsydda MLOps-plattformar.

Säkerhets- och övervakningsfunktioner: Inkluderar rollbaserad åtkomstkontroll (RBAC), användargrupphanterare, realtidsövervakning, historisk spårning och varningsmeddelanden.

I ditt tycke, vilka är några av de största utmaningarna och möjligheterna för AI-infrastruktur under de kommande åren?

Utmaningar:

1. Skalbarhet och kostnader: När modellerna blir mer komplexa blir det en utmaning att upprätthålla skalbarhet och prisvärdhet, särskilt för mindre företag.
2. Energi och hållbarhet: Hög energiförbrukning kräver mer miljövänliga lösningar när AI-användningen ökar.
3. Säkerhet och sekretess: Dataskydd i delade infrastrukturer kräver utveckling av säkerhet och regulatorisk efterlevnad.
4. Samverkansförmåga: Fragmenterade verktyg i AI-stacken komplicerar sömlös distribution och integration.

Möjligheter:

1. Edge AI-tillväxt: AI-bearbetning närmare datakällorna erbjuder minskad latens och bandbreddsbesparing.
2. Automatiserad MLOps: Strömlinjeformade operationer minskar komplexiteten vid distribution, vilket möjliggör för företag att fokusera på applikationer.
3. Energi-effektiv hårdvara: Innovationer kan förbättra tillgänglighet och minska miljöpåverkan.
4. Hybridmoln: Infrastruktur som fungerar över moln- och lokala miljöer är väl lämpad för företagsflexibilitet.
5. AI-styrd hantering: Användning av AI för att autonomt optimera infrastruktur minskar driftstopp och ökar effektivitet.

Kan du dela insikter om din långsiktiga vision för GMI Cloud? Vilken roll ser du att det spelar i AI:s och AGI:s utveckling?

Jag vill bygga AI för internet. Jag vill bygga infrastrukturen som driver framtiden över hela världen.

Skapa en tillgänglig plattform, liknande Squarespace eller Wix, men för AI. Alla borde kunna bygga sin AI-applikation.

Under de kommande åren kommer AI att se en betydande tillväxt, särskilt med generativ AI-användning, när fler branscher integrerar dessa tekniker för att förbättra kreativitet, automatisera processer och optimera beslutsfattning. Inferens kommer att spela en central roll i denna framtid, vilket möjliggör realtids AI-applikationer som kan hantera komplexa uppgifter effektivt och i stor skala. Business-to-business (B2B)-användningsfall förväntas dominera, med företag som alltmer fokuserar på att utnyttja AI för att förbättra produktivitet, strömlinjeforma verksamhet och skapa nytt värde. GMI Clouds långsiktiga vision är i linje med denna trend, med målet att tillhandahålla avancerad, tillförlitlig infrastruktur som stöder företag i att maximera produktiviteten och påverkan av AI över hela organisationen.

När du skalar upp verksamheten med det nya datacentret i Colorado, vilka strategiska mål eller milstolpar syftar du till att uppnå under det kommande året?

När vi skalar upp verksamheten med det nya datacentret i Colorado fokuserar vi på flera strategiska mål och milstolpar under det kommande året. USA står som den största marknaden för AI och AI-beräkning, vilket gör det avgörande för oss att etablera en stark närvaro i denna region. Colorados strategiska läge, kombinerat med dess robusta tekniska ekosystem och företagsvänliga affärsmiljö, positionerar oss för att bättre betjäna en växande kundbas och förbättra våra tjänsteerbjudanden.

Vad råd skulle du ge till företag eller startups som vill anta avancerad AI-infrastruktur?

För startups som fokuserar på AI-driven innovation bör prioriteringen ligga på att bygga och förfinansiera sina produkter, inte spendera värdefull tid på infrastrukturhantering. Samarbeta med pålitliga teknikutvecklare som erbjuder tillförlitliga och skalbara GPU-lösningar, undvik leverantörer som skär ner på vita etiketterade alternativ. Tillförlitlighet och snabb distribution är avgörande; i de tidiga skedena är hastighet ofta den enda konkurrensfördelen en startup har mot etablerade aktörer. Välj molnbaserade, flexibla alternativ som stöder tillväxt, och fokusera på säkerhet och efterlevnad utan att offra agilitet. Genom att göra detta kan startups integreras smidigt, iterera snabbt och kanalisera sina resurser till vad som verkligen spelar roll – leverera en utmärkt produkt på marknaden.

Tack för den underbara intervjun, läsare som vill lära sig mer bör besöka GMI Cloud,