Alex Yeh, Oprichter & CEO van GMI Cloud – Interviewreeks

Alex Yeh is de oprichter en CEO van GMI Cloud, een venture-backed digitale infrastructuurbedrijf met als missie om iedereen in staat te stellen om AI moeiteloos te implementeren en het bouwen, implementeren en schalen van AI voor bedrijven te vereenvoudigen door geïntegreerde hardware- en softwareoplossingen.

Wat inspireerde u om GMI Cloud te starten, en hoe heeft uw achtergrond uw aanpak beïnvloed bij het opbouwen van het bedrijf?

GMI Cloud werd in 2021 opgericht en richtte zich in de eerste twee jaar voornamelijk op het bouwen en exploiteren van datacenters om Bitcoin-computekneden te bieden. In deze periode hebben we drie datacenters gevestigd in Arkansas en Texas.

In juni van het afgelopen jaar zagen we een sterke vraag van investeerders en klanten naar GPU-rekenkracht. Binnen een maand nam hij de beslissing om over te schakelen naar AI-cloud-infrastructuur. De snelle ontwikkeling van AI en de golf van nieuwe zakelijke kansen die het met zich meebrengt, zijn ofwel onvoorspelbaar of moeilijk te beschrijven. Door de essentiële infrastructuur te bieden, streeft GMI Cloud ernaar om nauw aansluiting te houden bij de spannende en vaak onvoorspelbare kansen in AI.

Voordat ik GMI Cloud oprichtte, was ik partner bij een venture capital-firma, waar ik regelmatig in contact kwam met opkomende industrieën. Ik zie kunstmatige intelligentie als de “gold rush” van de 21e eeuw, waarbij GPU’s en AI-servers dienen als de “pickaxes” voor de moderne “prospectors”, waardoor een snelle groei ontstaat voor cloudbedrijven die gespecialiseerd zijn in het verhuren van GPU-rekenkracht.

Kunt u ons vertellen over de missie van GMI Cloud om AI-infrastructuur te vereenvoudigen en waarom deze focus zo cruciaal is in de huidige markt?

Het vereenvoudigen van AI-infrastructuur is essentieel vanwege de huidige complexiteit en fragmentatie van de AI-stack, die de toegankelijkheid en efficiëntie voor bedrijven die de potentie van AI willen benutten, kan beperken. De huidige AI-opstellingen omvatten vaak meerdere losse lagen – van gegevensvoorbewerking en modeltraining tot implementatie en schalen – die veel tijd, gespecialiseerde vaardigheden en middelen vereisen om effectief te beheren. Veel bedrijven besteden weken en zelfs maanden aan het identificeren van de beste lagen van AI-infrastructuur, een proces dat kan uitstrekken tot weken of zelfs maanden, waardoor de gebruikerservaring en productiviteit worden beïnvloed.

1. Implementatie versnellen: Een vereenvoudigde infrastructuur maakt een snellere ontwikkeling en implementatie van AI-oplossingen mogelijk, waardoor bedrijven concurrerend en aanpasbaar blijven aan veranderende marktbehoeften.
2. Kosten verlagen en middelen verminderen: Door de behoefte aan gespecialiseerde hardware en aangepaste integraties te minimaliseren, kan een gestroomlijnde AI-stack de kosten aanzienlijk verlagen, waardoor AI toegankelijker wordt, vooral voor kleinere bedrijven.
3. Schaalbaarheid mogelijk maken: Een goed geïntegreerde infrastructuur maakt een efficiënt middelenbeheer mogelijk, wat essentieel is voor het schalen van toepassingen naarmate de vraag toeneemt, waardoor AI-oplossingen robuust en responsief blijven op grotere schaal.
4. Toegankelijkheid verbeteren: Een vereenvoudigde infrastructuur maakt het gemakkelijker voor een bredere range aan organisaties om AI te adopteren zonder uitgebreide technische expertise. Deze democratisering van AI bevordert innovatie en creëert waarde in meer industrieën.
5. Rapide innovatie ondersteunen: Aangezien AI-technologie vordert, maakt minder complexe infrastructuur het gemakkelijker om nieuwe tools, modellen en methoden te integreren, waardoor organisaties agile en innovatief blijven.

De missie van GMI Cloud om AI-infrastructuur te vereenvoudigen is essentieel om ondernemingen en startups te helpen de voordelen van AI volledig te benutten, waardoor het toegankelijk, kostenefficiënt en schaalbaar wordt voor organisaties van alle maten.

U heeft onlangs $82 miljoen aan Series A-financiering veiliggesteld. Hoe zal dit nieuwe kapitaal worden gebruikt, en wat zijn uw onmiddellijke expansiedoelen?

GMI Cloud zal de financiering gebruiken om een nieuw datacenter in Colorado te openen en voornamelijk te investeren in H200-GPU’s om een extra grote GPU-cluster te bouwen. GMI Cloud ontwikkelt ook actief zijn eigen cloud-native resource management-platform, Cluster Engine, dat naadloos geïntegreerd is met onze geavanceerde hardware. Dit platform biedt ongeëvenaarde mogelijkheden in virtualisatie, containerisatie en orkestratie.

GMI Cloud biedt toegang tot GPU’s met 2x de snelheid in vergelijking met concurrenten. Wat zijn de unieke benaderingen of technologieën die dit mogelijk maken?

Een belangrijk aspect van de unieke benadering van GMI Cloud is het gebruik van NVIDIA’s (NVDA ) NCP, waardoor GMI Cloud voorkeursrecht heeft op toegang tot GPU’s en andere geavanceerde middelen. Deze directe inkoop van fabrikanten, in combinatie met sterke financieringsmogelijkheden, garandeert kostenefficiëntie en een zeer veilige toeleveringsketen.

Met NVIDIA H100-GPU’s beschikbaar op vijf wereldwijde locaties, hoe ondersteunt deze infrastructuur de behoeften van uw AI-klanten in de VS en Azië?

GMI Cloud heeft een wereldwijde aanwezigheid gevestigd, serveert meerdere landen en regio’s, waaronder Taiwan, de Verenigde Staten en Thailand, met een netwerk van IDC’s (Internet Data Centers) over de hele wereld. Op dit moment exploiteert GMI Cloud duizenden NVIDIA Hopper-gebaseerde GPU-kaarten en is het op een traject van snelle expansie, met plannen om zijn middelen in de komende zes maanden te verdubbelen. Deze geografische verdeling stelt GMI Cloud in staat om naadloze, lage-latentie diensten te bieden aan klanten in verschillende regio’s, waardoor de efficiëntie van gegevensoverdracht wordt geoptimaliseerd en robuuste infrastructuurondersteuning wordt geboden voor ondernemingen die hun AI-operaties wereldwijd uitbreiden.

Daarnaast stelt de wereldwijde capaciteit van GMI Cloud het in staat om diverse marktvragen en regelgevingsvereisten over de hele wereld te begrijpen en te vervullen, waardoor maatwerkoplossingen kunnen worden aangeboden die zijn afgestemd op de unieke behoeften van elke regio. Met een groeiend reservoir aan rekenkracht kan GMI Cloud de stijgende vraag naar AI-rekenkracht aan, waardoor klanten over voldoende rekenkracht beschikken om modeltraining te versnellen, de nauwkeurigheid te verbeteren en de prestaties van modellen te verbeteren voor een breed scala aan AI-projecten.

Als leider in AI-native cloudservices, welke trends of klantbehoeften richt u zich op om de technologie van GMI vooruit te helpen?

Van GPU’s tot toepassingen, GMI Cloud drijft intelligente transformatie voor klanten aan, waardoor de vraag naar AI-technologieontwikkeling wordt vervuld.

Hardware-architectuur:

• Fysieke clusterarchitectuur: Instanties zoals de 1250 H100 omvatten GPU-racks, leaf-racks en spine-racks, met geoptimaliseerde configuraties van servers en netwerkapparatuur die hoge rekenkracht leveren.
• Netwerktopologiestructuur: Ontworpen met efficiënte IB-stof en Ethernet-stof, waardoor soepele gegevensoverdracht en communicatie worden gegarandeerd.

Software en services:

• Cluster Engine: Gebruikmakend van een in-house ontwikkeld engine om middelen zoals bare metal, Kubernetes/containers en HPC Slurm te beheren, waardoor optimale middelentoewijzing voor gebruikers en beheerders mogelijk wordt.
• Propriëtaire cloudplatform: De CLUSTER ENGINE is een propriëtaire cloudbeheersysteem dat middelentoewijzing optimaliseert, waardoor een flexibele en efficiënte clusterbeheeroplossing wordt geboden.

Aanvullende inferentiemotor:

1. Continue berekening, hoge SLA garanderen.
2. Tijd delen voor fractionele tijdsgebruik.
3. Spot-instantie

Consulting en aangepaste services: Biedt consulting, gegevensrapportage en aangepaste services, zoals containerisatie, modeltrainingaanbevelingen en maatwerk MLOps-platforms.

Robuuste beveiligings- en bewakingsfuncties: Omvat rolgebaseerde toegangscontrole (RBAC), gebruikersgroepbeheer, real-time bewaking, historische tracking en waarschuwingsmeldingen.

Wat zijn volgens u de grootste uitdagingen en kansen voor AI-infrastructuur in de komende jaren?

Uitdagingen:

1. Schaalbaarheid en kosten: Aangezien modellen complexer worden, wordt het behoud van schaalbaarheid en betaalbaarheid een uitdaging, vooral voor kleinere bedrijven.
2. Energie en duurzaamheid: Het hoge energieverbruik vereist meer milieuvriendelijke oplossingen aangezien de adoptie van AI toeneemt.
3. Beveiliging en privacy: Gegevensbescherming in gedeelde infrastructuur vereist evoluerende beveiliging en regelgevingsconformiteit.
4. Interoperabiliteit: Gefragmenteerde tools in de AI-stack compliceren een naadloze implementatie en integratie. We kunnen nu de ontwikkeltijd met 2x verkorten en het aantal medewerkers voor een AI-project met 3x verminderen.

Kansen:

1. Edge AI-groei: AI-verwerking dichter bij gegevensbronnen biedt vermindering van latentie en bandbreedtebesparing.
2. Geautomatiseerde MLOps: Gestroomlijnde operaties verminderen de complexiteit van implementatie, waardoor bedrijven zich kunnen concentreren op toepassingen.
3. Energie-efficiënte hardware: Innovaties kunnen de toegankelijkheid verbeteren en de milieueffecten verminderen.
4. Hybride cloud: Infrastructuur die zowel in de cloud als in on-premisesomgevingen werkt, is zeer geschikt voor de flexibiliteit van ondernemingen.
5. AI-gebaseerde beheer: Het gebruik van AI om infrastructuur autonoom te optimaliseren, vermindert downtime en verhoogt efficiëntie.

Kunt u inzicht geven in uw langetermijnvisie voor GMI Cloud? Wat voor rol ziet u voor GMI Cloud Away in de evolutie van AI en AGI?

Ik wil de AI van het internet bouwen. Ik wil de infrastructuur bouwen die de toekomst over de hele wereld aandrijft.

Om een toegankelijk platform te creëren, vergelijkbaar met Squarespace of Wix, maar voor AI. Iedereen zou in staat moeten zijn om zijn AI-toepassing te bouwen.

In de komende jaren zal AI een aanzienlijke groei zien, met name met generatieve AI-use cases, aangezien meer industrieën deze technologieën integreren om creativiteit te verbeteren, processen te automatiseren en besluitvorming te optimaliseren. Inferentie zal een centrale rol spelen in deze toekomst, waardoor real-time AI-toepassingen mogelijk worden die complexe taken efficiënt en op grote schaal kunnen verwerken. Business-to-business (B2B)-use cases zullen waarschijnlijk de overhand hebben, waarbij ondernemingen zich steeds meer richten op het benutten van AI om productiviteit te stimuleren, operaties te stroomlijnen en nieuwe waarde te creëren. De langetermijnvisie van GMI Cloud sluit aan bij deze trend, met als doel geavanceerde, betrouwbare infrastructuur te bieden die ondernemingen helpt om de productiviteit en impact van AI over hun hele organisatie te maximaliseren.

Terwijl u de operaties uitbreidt met het nieuwe datacenter in Colorado, welke strategische doelen of mijlpalen wilt u bereiken in het komende jaar?

Terwijl we de operaties uitbreiden met het nieuwe datacenter in Colorado, zijn we gericht op verschillende strategische doelen en mijlpalen in het komende jaar. De VS vormt de grootste markt voor AI en AI-rekenkracht, waardoor het essentieel is voor ons om een sterke aanwezigheid in deze regio te vestigen. De strategische locatie van Colorado, in combinatie met zijn robuuste technologische ecosysteem en gunstige zakenomgeving, stelt ons in staat om een groeiende klantenbasis beter te dienen en onze dienstenaanbod te verbeteren.

Wat is uw advies aan bedrijven of startups die geavanceerde AI-infrastructuur willen adopteren?

Voor startups die zich richten op AI-gedreven innovatie, moet de prioriteit liggen bij het bouwen en verfijnen van hun producten, in plaats van waardevolle tijd te besteden aan infrastructuurbeheer. Partner met betrouwbare technologieaanbieders die betrouwbare en schaalbare GPU-oplossingen bieden, en vermijd aanbieders die corners afsnijden met witgelabelde alternatieven. Betrouwbaarheid en snelle implementatie zijn cruciaal; in de vroege stadia is snelheid vaak de enige concurrentievoordeel die een startup heeft ten opzichte van gevestigde spelers. Kies voor cloudgebaseerde, flexibele opties die groei ondersteunen, en richt u op beveiliging en conformiteit zonder agility op te offeren. Door dit te doen, kunnen startups naadloos integreren, snel itereren en hun middelen kanaliseren naar wat er echt toe doet – het leveren van een opvallend product op de markt.

Bedankt voor het geweldige interview, lezers die meer willen leren, kunnen bezoeken GMI Cloud,