Alex Yeh, Założyciel i Dyrektor Generalny GMI Cloud – Seria Wywiadów

Alex Yeh jest założycielem i dyrektorem generalnym GMI Cloud, firmy zainwestowanej przez venture capital, która zajmuje się cyfrową infrastrukturą i ma na celu umożliwienie każdemu łatwego wdrożenia sztucznej inteligencji oraz uproszczenia sposobu, w jaki firmy budują, wdrażają i skalują sztuczną inteligencję za pomocą zintegrowanych rozwiązań sprzętowych i programowych.

Czym skłoniło Cię do założenia GMI Cloud, i jak Twoje doświadczenie wpłynęło na sposób budowania tej firmy?

GMI Cloud została założona w 2021 roku, a w pierwszych dwóch latach swojej działalności skupiła się głównie na budowaniu i eksploatacji centrów danych w celu świadczenia usług komputowania Bitcoin. W tym okresie utworzyliśmy trzy centra danych w Arkansas i Teksasie.

W czerwcu ubiegłego roku zauważyliśmy duże zapotrzebowanie ze strony inwestorów i klientów na moc obliczeniową GPU. W ciągu miesiąca podjęliśmy decyzję o zmianie kierunku rozwoju na infrastrukturę chmury obliczeniowej AI. Szybki rozwój sztucznej inteligencji i fala nowych możliwości biznesowych, które niesie, są albo trudne do przewidzenia, albo niezwykle interesujące. Poprzez zapewnienie niezbędnej infrastruktury, GMI Cloud chce pozostać ściśle związana z ekscytującymi, a często niewyobrażalnymi możliwościami w dziedzinie sztucznej inteligencji.

Przed założeniem GMI Cloud, byłem partnerem w firmie venture capital, regularnie współpracując z branżami w fazie rozwoju. Uważam sztuczną inteligencję za najnowszą “gorączkę złota” XXI wieku, gdzie GPU i serwery AI pełnią rolę “kilofów” dla współczesnych “poszukiwaczy”, wywołując szybki wzrost firm specjalizujących się w wynajmie mocy obliczeniowej GPU.

Opowiedz nam o misji GMI Cloud, aby uprościć infrastrukturę sztucznej inteligencji i dlaczego ten kierunek jest tak ważny na dzisiejszym rynku?

Uproszczenie infrastruktury sztucznej inteligencji jest niezbędne ze względu na obecne złożoność i fragmentację stosu sztucznej inteligencji, co może ograniczać dostępność i wydajność dla firm, które chcą wykorzystać potencjał sztucznej inteligencji. Dzisiejsze konfiguracje sztucznej inteligencji często składają się z kilku niepołączonych warstw – od przetwarzania danych i szkolenia modeli po wdrożenie i skalowanie – które wymagają znacznego czasu, specjalistycznych umiejętności i zasobów, aby je skutecznie zarządzać. Wiele firm spędza tygodnie, a nawet miesiące, na identyfikowaniu najlepszych warstw infrastruktury sztucznej inteligencji, co może się przeciągać i wpływać na doświadczenie użytkownika i produktywność.

1. Przyspieszanie wdrożenia: Uproszczona infrastruktura umożliwia szybsze rozwijanie i wdrażanie rozwiązań sztucznej inteligencji, pomagając firmom utrzymać się na rynku i dostosowywać do zmieniających się potrzeb rynkowych.
2. Ograniczanie kosztów i zasobów: Poprzez minimalizowanie potrzeby specjalistycznego sprzętu i niestandardowych integracji, uproszczony stos sztucznej inteligencji może znacznie obniżyć koszty, czyniąc sztuczną inteligencję bardziej dostępną, szczególnie dla mniejszych firm.
3. Umożliwienie skalowalności: Dobrze zintegrowana infrastruktura pozwala na efektywne zarządzanie zasobami, co jest niezbędne do skalowania aplikacji wraz ze wzrostem popytu, zapewniając, że rozwiązania sztucznej inteligencji pozostają solidne i responsywne w większej skali.
4. Poprawa dostępności: Uproszczona infrastruktura ułatwia szerszemu zakresowi organizacji przyjęcie sztucznej inteligencji bez wymogu rozległej wiedzy technicznej. Ta demokratyzacja sztucznej inteligencji promuje innowacje i tworzy wartość w różnych branżach.
5. Wspieranie szybkiej innowacji: Im bardziej rozwija się technologia sztucznej inteligencji, tym mniej skomplikowana infrastruktura ułatwia włączanie nowych narzędzi, modeli i metod, pozwalając organizacjom na utrzymanie elastyczności i szybką innowację.

Misja GMI Cloud, aby uprościć infrastrukturę sztucznej inteligencji, jest niezbędna, aby pomóc przedsiębiorstwom i startupom w pełni wykorzystać korzyści sztucznej inteligencji, czyniąc ją dostępną, efektywną i skalowalną dla firm wszystkich rozmiarów.

Niedawno zabezpieczyłeś 82 miliony dolarów w ramach finansowania serii A. Jak zostanie wykorzystany ten nowy kapitał, a jakie są Twoje natychmiastowe cele ekspansji?

GMI Cloud wykorzysta finansowanie, aby otworzyć nowe centrum danych w Kolorado i głównie zainwestuje w procesory H200, aby zbudować dodatkowy duży klaaster GPU. GMI Cloud aktywnie rozwija również swoją platformę zarządzania zasobami w chmurze, Cluster Engine, która jest bezproblemowo zintegrowana z naszym zaawansowanym sprzętem. Ta platforma zapewnia niezrównane możliwości wirtualizacji, konteneryzacji i orchestracji.

GMI Cloud oferuje dostęp do GPU z prędkością dwukrotnie większą niż u konkurencji. Jakie unikalne podejścia lub technologie umożliwiają to?

Kluczowym aspektem unikalnego podejścia GMI Cloud jest wykorzystanie NVIDIA (NVDA ) NCP, które zapewnia GMI Cloud pierwszeństwo dostępu do GPU i innych najnowszych zasobów. Ten bezpośredni zakup od producentów, w połączeniu z korzystnymi opcjami finansowania, gwarantuje efektywność kosztów i sangat bezpieczną łańcuch dostaw.

Z dostępnością GPU H100 w pięciu lokalizacjach na całym świecie, jak ta infrastruktura wspiera potrzeby Twoich klientów AI w Stanach Zjednoczonych i Azji?

GMI Cloud ustanowiła globalną obecność, obsługując wiele krajów i regionów, w tym Tajwan, Stany Zjednoczone i Tajlandię, z siecią centrów danych na całym świecie. Obecnie GMI Cloud operuje tysiącami kart GPU opartych na NVIDIA Hopper i jest na trajektorii szybkiego rozwoju, z planami podwojenia swoich zasobów w ciągu najbliższych sześciu miesięcy. Ta geograficzna dystrybucja pozwala GMI Cloud na świadczenie bezproblemowych, niskiej latencji usług dla klientów w różnych regionach, optymalizując wydajność transferu danych i zapewniając solidne wsparcie infrastrukturalne dla firm rozwijających swoje operacje AI na całym świecie.

Dodatkowo, globalne możliwości GMI Cloud umożliwiają jej zrozumienie i spełnienie różnorodnych potrzeb rynkowych i wymogów regulacyjnych w różnych regionach, oferując dostosowane rozwiązania dostosowane do specyficznych potrzeb każdego regionu. Z rosnącym pulą zasobów obliczeniowych, GMI Cloud odpowiada na rosnące zapotrzebowanie na moc obliczeniową AI, oferując klientom wystarczającą moc obliczeniową, aby przyspieszyć szkolenie modeli, poprawić dokładność i poprawić wydajność modeli w szerokim zakresie projektów AI.

Jako lider w usługach chmury AI, jakie trendy lub potrzeby klientów koncentrujesz się, aby napędzać rozwój technologii GMI?

Od GPU po aplikacje, GMI Cloud napędza inteligentną transformację dla klientów, spełniając wymagania rozwoju technologii AI.

Architektura sprzętowa:

• Fizyczna architektura klastra: Przykłady takie jak 1250 H100 obejmują szafy GPU, szafy liściaste i szafy grzbietowe, z optymalnymi konfiguracjami serwerów i sprzętu sieciowego, które zapewniają wysokowydajną moc obliczeniową.
• Struktura topologii sieci: Zaprojektowana z efektywną tkaniną IB i tkaniną Ethernet, zapewniając gładki transfer danych i komunikację.

Oprogramowanie i usługi:

• Silnik klastra: Wykorzystanie silnika opracowanego wewnętrznie do zarządzania zasobami, takimi jak metal, Kubernetes/kontenery i HPC Slurm, umożliwiając optymalną alokację zasobów dla użytkowników i administratorów.
• Własna platforma chmury: Silnik CLUSTER ENGINE to własny system zarządzania chmurą, który optymalizuje planowanie zasobów, zapewniając elastyczną i wydajną rozwiązanie zarządzania klastrem.

Dodaj plan silnika inferencyjnego:

1. CIĄGŁE OBLICZENIA, gwarantujące wysoki poziom SLA.
2. UDZIAŁ W CZASIE, dla ułamkowego czasu użytkowania.
3. INSTANCJA SPOT

Konsulting i usługi dostosowane: Oferuje konsulting, raportowanie danych i usługi dostosowane, takie jak konteneryzacja, zalecenia szkolenia modeli i platformy MLOps.

Bezpieczne i monitorowane funkcje: Obejmują kontrolę dostępu opartą na rolach (RBAC), zarządzanie grupami użytkowników, monitorowanie w czasie rzeczywistym, śledzenie historyczne i powiadomienia o alarmach.

Twoim zdaniem, jakie są największe wyzwania i możliwości dla infrastruktury AI w najbliższych latach?

Wyzwania:

1. Skalowalność i koszty: Im bardziej modele stają się złożone, utrzymanie skalowalności i przystępności staje się wyzwaniem, szczególnie dla mniejszych firm.
2. Energia i zrównoważoność: Duże zużycie energii wymaga bardziej ekologicznych rozwiązań, gdy przyjęcie AI rośnie.
3. Bezpieczeństwo i prywatność: Ochrona danych w infrastrukturze współdzielonej wymaga ewoluujących rozwiązań bezpieczeństwa i zgodności z przepisami.
4. Interoperacyjność: Fragmentacja narzędzi w stosie AI utrudnia bezproblemowe wdrożenie i integrację. Możemy teraz skrócić czas rozwoju o 2 razy i zmniejszyć liczbę pracowników w projekcie AI o 3 razy.

Możliwości:

1. Wzrost AI na krawędzi: Przetwarzanie AI bliżej źródeł danych oferuje redukcję opóźnień i zachowanie przepustowości.
2. Automatyczne MLOps: Uproszczone operacje zmniejszają złożoność wdrożenia, pozwalając firmom koncentrować się na aplikacjach.
3. Urządzenia efektywne energetycznie: Innowacje mogą poprawić dostępność i zmniejszyć wpływ na środowisko.
4. Chmura hybrydowa: Infrastruktura, która działa zarówno w chmurze, jak i w środowiskach lokalnych, jest idealna dla elastyczności przedsiębiorstw.
5. Zarządzanie AI: Używanie AI do autonomicznej optymalizacji infrastruktury zmniejsza przestoje i zwiększa wydajność.

Czy możesz podzielić się swoją wizją długoterminową dla GMI Cloud? Jaką rolę widzisz dla niej w ewolucji AI i AGI?

Chcę zbudować AI internetu. Chcę zbudować infrastrukturę, która napędza przyszłość na całym świecie.

Stworzyć dostępną platformę, podobną do Squarespace lub Wix, ale dla AI. Każdy powinien móc zbudować swoją aplikację AI.

W nadchodzących latach AI doświadczy znacznego wzrostu, szczególnie w przypadku zastosowań generatywnej AI, gdy więcej branż integruje te technologie, aby poprawić kreatywność, zautomatyzować procesy i zoptymalizować podejmowanie decyzji. Inferencja odegra centralną rolę w tej przyszłości, umożliwiając aplikacje AI w czasie rzeczywistym, które mogą obsługiwać złożone zadania wydajnie i na dużą skalę. Przypadki użycia biznes-to-biznes (B2B) będą dominować, z przedsiębiorstwami, które coraz bardziej koncentrują się na wykorzystaniu AI, aby zwiększyć produktywność, usprawnić operacje i tworzyć nową wartość. Długoterminowa wizja GMI Cloud jest zgodna z tym trendem, mając na celu zapewnienie zaawansowanej, niezawodnej infrastruktury, która wspiera przedsiębiorstwa w maksymalizowaniu produktywności i wpływu AI w całej organizacji.

Prowadząc operacje z nowym centrum danych w Kolorado, jakie strategiczne cele lub kamienie milowe chcesz osiągnąć w ciągu najbliższego roku?

Prowadząc operacje z nowym centrum danych w Kolorado, koncentrujemy się na kilku strategicznych celach i kamieniach milowych w ciągu najbliższego roku. Stany Zjednoczone są największym rynkiem dla AI i obliczeń AI, co sprawia, że jest niezwykle ważne, aby ustanowić silną obecność w tym regionie. Strategiczna lokalizacja Kolorado, w połączeniu z jego rozwiniętym ekosystemem technologicznym i korzystnym środowiskiem biznesowym, pozwala nam lepiej obsługiwać rosnącą bazę klientów i poprawiać nasze oferty usługowe.

Jakie rady dasz firmom lub startupom, które chcą przyjąć zaawansowaną infrastrukturę AI?

Dla startupów skupionych na innowacjach AI, priorytetem powinno być budowanie i doskonalenie ich produktów, a nie poświęcanie cennego czasu na zarządzanie infrastrukturą. Współpracuj z godnymi zaufania dostawcami technologii, którzy oferują niezawodne i skalowalne rozwiązania GPU, unikając dostawców, którzy oszczędzają na white-labeled alternatywach. Niezawodność i szybkie wdrożenie są kluczowe; na wczesnym etapie szybkość jest często jedyną przewagą, jaką startup ma nad ustanowionymi graczami. Wybieraj opcje oparte na chmurze, elastyczne, które wspierają wzrost, i koncentruj się na bezpieczeństwie i zgodności z przepisami, nie poświęcając elastyczności. Dzięki temu startupy mogą integrować się bezproblemowo, iterować szybko i kierować swoje zasoby na to, co naprawdę się liczy – dostarczanie wybitnego produktu na rynku.

Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić GMI Cloud,