Alex Yeh, Grunnlegger og CEO av GMI Cloud – Intervju-serie

Alex Yeh er grunnlegger og CEO av GMI Cloud, et venture-backet digitalt infrastruktur-selskap med misjonen om å gi alle mulighet til å deployere AI uten anstrengelse og å forenkle hvordan bedrifter bygger, deployer og skalerer AI gjennom integrerte hardware- og programvareløsninger.

Hva inspirerte deg til å starte GMI Cloud, og hvordan har din bakgrunn påvirket din tilnærming til å bygge selskapet?

GMI Cloud ble grunnlagt i 2021, med fokus primært på å bygge og drive data-sentre for å tilby Bitcoin-computing-noder i de to første årene. Over denne perioden etablerte vi tre data-sentre i Arkansas og Texas.

I juni i fjor merkede vi en sterk etterspørsel fra investorer og kunder etter GPU-computing-kraft. Innen en måned tok jeg beslutningen om å endre fokus mot AI-cloud-infrastruktur. AI sin raske utvikling og den bølgen av nye forretningsmuligheter den bringer, er enten umulig å forutse eller vanskelig å beskrive. Ved å tilby den essensielle infrastrukturen, har GMI Cloud som mål å holde tett kontakt med de spennende og ofte uforutsigbare mulighetene i AI.

Før GMI Cloud var jeg partner i et venture-kapital-selskap, og engasjerte jevnt over med nye industrier. Jeg ser på kunstig intelligens som det 21. århundres siste “gullrush”, med GPU-er og AI-servere som “pickaxes” for moderne “prospektører”, og som driver rask vekst for cloud-selskaper som spesialiserer seg på GPU-computing-kraft-leie.

Kan du fortelle oss om GMI Clouds misjon om å forenkle AI-infrastruktur og hvorfor dette fokuset er så viktig i dagens marked?

Å forenkle AI-infrastruktur er essensielt på grunn av den nåværende kompleksiteten og fragmenteringen av AI-staken, som kan begrense tilgjengeligheten og effektiviteten for bedrifter som ønsker å utnytte AI sin potensiale. Dagens AI-oppsæt involverer ofte flere separate lag – fra dataforberedelse og modelltrening til deployering og skaleringsmuligheter – som krever mye tid, spesialisert kompetanse og ressurser for å håndtere effektivt. Mange selskaper bruker uker og til og med måneder på å identifisere de beste lagene av AI-infrastruktur, en prosess som kan strekke seg til uker eller til og med måneder, og som kan påvirke brukeropplevelsen og produktiviteten.

1. Accelererende deployering: En forenklet infrastruktur muliggjør raskere utvikling og deployering av AI-løsninger, og hjelper selskaper å holde seg konkurransedyktige og tilpasse seg endringer i markedets behov.
2. Redusere kostnader og ressurser: Ved å minimere behovet for spesialisert hardware og tilpassede integrasjoner, kan en strømlinjeformet AI-stak reducere kostnadene betydelig, og gjøre AI mer tilgjengelig, spesielt for mindre bedrifter.
3. Muliggjøre skalerbarhet: En godt integrert infrastruktur tillater effektiv ressursforvaltning, som er essensiell for å skaleringsmuligheter når etterspørselen øker, og sikrer at AI-løsningene forblir robuste og responsive på større skalaer.
4. Forbedre tilgjengelighet: En forenklet infrastruktur gjør det lettere for en bredere rekke organisasjoner å adoptere AI uten å kreve omfattende teknisk ekspertise. Denne demokratiseringen av AI fremmer innovasjon og skaper verdi over flere industrier.
5. Støtte til rask innovasjon: Ettersom AI-teknologien utvikles, gjør en mindre kompleks infrastruktur det lettere å inkorporere nye verktøy, modeller og metoder, og lar organisasjoner holde seg agile og innovere raskt.

GMI Clouds misjon om å forenkle AI-infrastruktur er essensiell for å hjelpe bedrifter og startups å fullt ut realisere AI sin potensiale, og gjøre det tilgjengelig, kostnadseffektivt og skalerbart for selskaper av alle størrelser.

Du har nylig sikret 82 millioner dollar i Series A-finansiering. Hvordan vil denne nye kapitalen bli brukt, og hva er dine umiddelbare ekspansjonsmål?

GMI Cloud vil bruke finansieringen til å åpne et nytt data-senter i Colorado og primært investere i H200-GPU-er for å bygge en større GPU-kluster. GMI Cloud utvikler også aktivt sin egen cloud-native ressursforvaltningsplattform, Cluster Engine, som er sammenkoblet med vår avanserte hardware. Denne plattformen tilbyr ubesvarte muligheter for virtualisering, containerisering og orkestrering.

GMI Cloud tilbyr GPU-tilgang med 2 ganger høyere hastighet sammenlignet med konkurrenter. Hva er de unike tilnærmingene eller teknologiene som gjør dette mulig?

En nøkkelaspekt av GMI Clouds unike tilnærming er å utnytte NVIDIAs NCP, som gir GMI Cloud prioritet tilgang til GPU-er og andre avanserte ressurser. Denne direkte innkjøp fra produsenter, kombinert med sterke finansielle muligheter, sikrer kostnadseffektivitet og en høyt sikker forsyningskjede.

Med NVIDIA (NVDA ) H100-GPU-er tilgjengelig på fem globale lokasjoner, hvordan støtter denne infrastrukturen dine AI-kunders behov i USA og Asia?

GMI Cloud har etablert en global tilstedeværelse, og betjener flere land og regioner, inkludert Taiwan, USA og Thailand, med et nettverk av IDC-er (Internet Data Centers) over hele verden. For tiden opererer GMI Cloud tusenvis av NVIDIA Hopper-baserte GPU-kort, og er på en bane av rask ekspansjon, med planer om å multiplisere sine ressurser over de neste seks månedene. Denne geografiske distribusjonen lar GMI Cloud levere sammenhengende, lav-forsinket tjeneste til kunder i ulike regioner, og optimaliserer dataoverførings-effektiviteten og tilbyr robust infrastruktur-støtte for bedrifter som utvider sine AI-operasjoner globalt.

Som leder i AI-nativ skytjenester, hva er trendene eller kundenes behov som du fokuserer på for å drive GMI sin teknologi fremover?

Fra GPU-er til applikasjoner, driver GMI Cloud intelligent transformasjon for kunder, og møter kravene til AI-teknologiens utvikling.

Maskinarkitektur:

• Fysisk cluster-arkitektur: Eksempler som 1250 H100 inkluderer GPU-hylere, blad-hylere og rygg-hylere, med optimaliserte konfigurasjoner av servere og nettverksutstyr som leverer høy-ytelses databehandling.
• Nettverkstopologi-struktur: Designet med effektiv IB-stoff og Ethernet-stoff, og sikrer jevn dataoverføring og kommunikasjon.

Programvare og tjenester:

• Cluster Engine: Utnytter en selvutviklet motor til å forvalte ressurser som bare metall, Kubernetes/containere og HPC Slurm, og muliggjør optimal ressursallokering for brukere og administratorer.
• Proprietær skyplattform: CLUSTER ENGINE er en proprietær skyforvaltnings-system som optimaliserer ressursplanlegging, og tilbyr en fleksibel og effektiv cluster-forvaltningsløsning.

Tilføy inferensmotor-veikart:

1. Kontinuerlig databehandling, garanterer høy SLA.
2. Deling av tid for brukt tid.
3. Punkt-eksempel

Konsulent- og tilpassede tjenester: Tilbyr konsulent, data-rapportering og tilpassede tjenester som containerisering, modelltrening-anbefalinger og tilpassede MLOps-plattformer.

Robust sikkerhets- og overvåkingsfunksjoner: Inkluderer rollebasert tilgangskontroll (RBAC), brukergruppehåndtering, sanntids-overvåking, historisk sporings- og varsling.

I din mening, hva er noen av de største utfordringene og mulighetene for AI-infrastruktur de neste årene?

Utfordringer:

1. Skalerbarhet og kostnader: Ettersom modellene blir mer komplekse, blir det en utfordring å opprettholde skalerbarhet og kostnadseffektivitet, spesielt for mindre selskaper.
2. Energi og bærekraft: Høy energiforbruk krever mer miljøvennlige løsninger når AI-antagelsen øker.
3. Sikkerhet og personvern: Dataproteksjon i delt infrastruktur krever utvikling av sikkerhet og retningslinjer for overholdelse.
4. Interoperabilitet: Fragmenterte verktøy i AI-staken kompliserer sammenhengende deployering og integrering. Dette kompliserer deployering av AI som en realitet. Vi kan nå redusere utviklingstiden med 2 ganger og redusere antall ansatte for et AI-prosjekt med 3 ganger.

Muligheter:

1. Edge AI-vækst: AI-behandling nærmere datakildene tilbyr lavere forsinkelse og båndbredde-besparing.
2. Automatiserte MLOps: Strømlinjeformede operasjoner reduserer kompleksiteten ved deployering, og lar selskaper fokusere på applikasjoner.
3. Energi-effektivt hardware: Innovasjoner kan forbedre tilgjengeligheten og redusere miljøpåvirkningen.
4. Hybrid sky: Infrastruktur som opererer over sky og lokale miljøer er godt egnet for bedriftens fleksibilitet.
5. AI-drevet forvaltning: Bruk av AI til å optimalisere infrastruktur autonomt reduserer nedetid og øker effektiviteten.

Kan du dele innsikt i din langtidsvisjon for GMI Cloud? Hva rolle ser du for GMI Cloud i utviklingen av AI og AGI?

Jeg ønsker å bygge AI-en for internettet. Jeg ønsker å bygge infrastrukturen som driver fremtiden over hele verden.

For å skape en tilgjengelig plattform, lik Squarespace eller Wix, men for AI. Enhver bør kunne bygge sin egen AI-applikasjon.

I de kommende årene vil AI se en betydelig vekst, spesielt med generativ AI-bruksområder, ettersom flere industrier integrerer disse teknologiene for å forbedre kreativiteten, automatisere prosesser og optimalisere beslutningstaking. Inferens vil spille en sentral rolle i denne fremtiden, og muliggjøre sanntids AI-applikasjoner som kan håndtere komplekse oppgaver effektivt og i stor skala. Forretning-til-forretning (B2B)-bruksområder forventes å dominere, med bedrifter som stadig fokuserer på å utnytte AI til å øke produktiviteten, strømlinjeforme operasjoner og skape ny verdi. GMI Clouds langtidsvisjon er i linje med denne trenden, og har som mål å tilby avansert, pålitelig infrastruktur som støtter bedrifter i å maksimere produktiviteten og påvirkningen av AI over hele organisasjonen.

Når du skalerer operasjoner med det nye data-senteret i Colorado, hva er de strategiske målene eller milepælene du ønsker å oppnå i løpet av det neste året?

Når vi skalerer operasjoner med det nye data-senteret i Colorado, fokuserer vi på flere strategiske mål og milepæler over det neste året. USA står som det største markedet for AI og AI-regning, og det er derfor viktig for oss å etablere en sterk tilstedeværelse i denne regionen. Colorados strategiske beliggenhet, kombinert med dens robuste teknologiske økosystem og gunstige forretningsmiljø, gjør det mulig for oss å bedre betjene en voksende kundebase og forbedre våre tjenestetilbud.

Hva råd ville du gi til selskaper eller startups som ønsker å adoptere avansert AI-infrastruktur?

For startups som fokuserer på AI-drevet innovasjon, bør prioritet være å bygge og forbedre produktene, og ikke bruke verdifull tid på infrastrukturhåndtering. Samarbeid med pålitelige teknologileverandører som tilbyr pålitelige og skalerbare GPU-løsninger, og unngå leverandører som kuttinger hjørner med hvit-merkede alternativer. Pålitelighet og rask deployering er kritisk; i de tidlige fasene er hastighet ofte den eneste konkurranse-muren en startup har mot etablerte spillere. Velg cloud-baserte, fleksible alternativer som støtter vekst, og fokus på sikkerhet og overholdelse uten å ofre agilitet. Ved å gjøre dette, kan startups integrere sammenhengende, iterere raskt og kanalisere sine ressurser inn i det som virkelig betyr noe – å levere et fremragende produkt på markedet.

Takk for det flotte intervjuet, lesere som ønsker å lære mer bør besøke GMI Cloud,