Alex Yeh, Założyciel & CEO GMI Cloud – Seria Wywiadów

Alex Yeh jest założycielem i CEO GMI Cloud, venture-backed firmy infrastruktury cyfrowej, której misją jest umożliwienie każdemu łatwego wdrożenia sztucznej inteligencji i uproszczenie sposobu, w jaki firmy budują, wdrażają i skalują sztuczną inteligencję za pomocą zintegrowanych rozwiązań sprzętowych i programowych.

Czym skłoniło Cię do założenia GMI Cloud, i jak Twoje doświadczenie wpłynęło na sposób budowania tej firmy?

GMI Cloud została założona w 2021 roku, a w pierwszych dwóch latach skupiła się głównie na budowie i eksploatacji centrów danych w celu świadczenia usług obliczeniowych dla Bitcoin. W tym okresie utworzyliśmy trzy centra danych w Arkansas i Teksasie.

W czerwcu ubiegłego roku zauważyliśmy duże zainteresowanie inwestorów i klientów usługami obliczeniowymi z użyciem procesorów GPU. W ciągu miesiąca podjęliśmy decyzję o zmianie kierunku rozwoju w stronę chmury infrastruktury AI. Szybki rozwój sztucznej inteligencji i fala nowych możliwości biznesowych, które niesie, są albo trudne do przewidzenia, albo ciężkie do opisania. Poprzez dostarczanie niezbędnej infrastruktury, GMI Cloud ma na celu pozostanie ściśle związane z ekscytującymi, a często niewyobrażalnymi możliwościami w dziedzinie sztucznej inteligencji.

Przed założeniem GMI Cloud, byłem partnerem w firmie venture capital, regularnie współpracując z branżami wschodzącymi. Widzę sztuczną inteligencję jako najnowszą “gorączkę złota” XXI wieku, gdzie procesory GPU i serwery AI pełnią rolę “kilofów” dla nowoczesnych “poszukiwaczy”, napędzając szybki wzrost firm chmurowych specjalizujących się w usługach obliczeniowych z użyciem procesorów GPU.

Czy możesz opowiedzieć o misji GMI Cloud, aby uprościć infrastrukturę AI i dlaczego ten focus jest tak istotny na dzisiejszym rynku?

Uproszczenie infrastruktury AI jest niezbędne ze względu na obecne złożoności i fragmentację stosu AI, co może ograniczać dostępność i wydajność dla firm, które chcą wykorzystać potencjał sztucznej inteligencji. Dzisiejsze rozwiązania AI często składają się z kilku niepołączonych warstw – od przetwarzania danych i szkolenia modeli po wdrożenie i skalowanie – które wymagają znacznego czasu, specjalistycznych umiejętności i zasobów, aby zarządzać nimi skutecznie. Wiele firm spędza tygodnie, a nawet miesiące, na identyfikowaniu najlepszych warstw infrastruktury AI, co może się przeciągać i wpływać na doświadczenie użytkownika i produktywność.

1. Przyspieszanie wdrożenia: Uproszczona infrastruktura umożliwia szybsze rozwijanie i wdrażanie rozwiązań AI, pomagając firmom utrzymać konkurencyjność i dostosowywać się do zmieniających się potrzeb rynku.
2. Obniżanie kosztów i redukowanie zasobów: Poprzez minimalizowanie potrzeby specjalistycznego sprzętu i niestandardowych integracji, uproszczony stos AI może znacznie obniżyć koszty, czyniąc sztuczną inteligencję bardziej dostępną, szczególnie dla mniejszych firm.
3. Umożliwienie skalowalności: Dobrze zintegrowana infrastruktura pozwala na efektywne zarządzanie zasobami, co jest niezbędne do skalowania aplikacji wraz ze wzrostem popytu, zapewniając, że rozwiązania AI pozostają solidne i responsywne w większej skali.
4. Poprawa dostępności: Uproszczona infrastruktura sprawia, że łatwiej jest szerszemu zakresowi organizacji przyjąć sztuczną inteligencję bez konieczności posiadania rozległej wiedzy technicznej. Ta demokratyzacja AI promuje innowacje i tworzy wartość w więcej branżach.
5. Wspieranie szybkiej innowacji: Wraz ze wzrostem technologii AI, mniej skomplikowana infrastruktura ułatwia włączanie nowych narzędzi, modeli i metod, pozwalając organizacjom pozostać giętkimi i innowacyjnymi.

Misja GMI Cloud, aby uprościć infrastrukturę AI, jest niezbędna, aby pomóc przedsiębiorstwom i startupom w pełni zrealizować korzyści sztucznej inteligencji, czyniąc ją dostępną, efektywną i skalowalną dla organizacji wszystkich rozmiarów.

Właśnie zabezpieczyliście 82 miliony dolarów w finansowaniu serii A. Jak zostanie wykorzystany ten nowy kapitał, a jakie są Wasze natychmiastowe cele ekspansji?

GMI Cloud wykorzysta finansowanie, aby otworzyć nowe centrum danych w Kolorado i głównie zainwestuje w procesory H200 GPU, aby zbudować dodatkowy duży klaaster GPU. GMI Cloud aktywnie rozwija również swoją własną platformę zarządzania zasobami w chmurze, Cluster Engine, która jest bezproblemowo zintegrowana z naszym zaawansowanym sprzętem. Ta platforma zapewnia niezrównane możliwości wirtualizacji, konteneryzacji i orchestracji.

GMI Cloud oferuje dostęp do procesorów GPU z prędkością 2-krotnie większą niż u konkurentów. Jakie unikalne podejścia lub technologie umożliwiają to?

Kluczowym aspektem unikalnego podejścia GMI Cloud jest wykorzystanie NVIDIA NCP, które zapewnia GMI Cloud priorytetowy dostęp do procesorów GPU i innych najnowszych zasobów. Ten bezpośredni zakup od producentów, w połączeniu z silnymi opcjami finansowania, gwarantuje efektywność kosztów i bardzo bezpieczną łańcuch dostaw.

Z procesorami NVIDIA H100 dostępnymi w pięciu lokalizacjach na całym świecie, jak ta infrastruktura wspiera potrzeby klientów AI w Stanach Zjednoczonych i Azji?

GMI Cloud utworzyła strategiczną obecność na całym świecie, obsługując wiele krajów i regionów, w tym Tajwan, Stany Zjednoczone i Tajlandię, z siecią centrów danych (IDC) na całym świecie. Obecnie GMI Cloud operuje tysiącami kart procesorów GPU opartych na architekturze NVIDIA Hopper i jest na trajektorii szybkiego rozwoju, z planami zwiększenia zasobów w ciągu najbliższych sześciu miesięcy. Ta geograficzna dystrybucja pozwala GMI Cloud na świadczenie usług o niskiej latencji i optymalizację wydajności transferu danych, zapewniając solidne wsparcie infrastruktury dla przedsiębiorstw rozwijających swoje operacje AI na całym świecie.

Dodatkowo, możliwości globalne GMI Cloud umożliwiają firmie zrozumienie i spełnienie różnorodnych potrzeb rynkowych i wymagań regulacyjnych w różnych regionach, oferując dostosowane rozwiązania dostosowane do potrzeb każdej lokalizacji. Z rosnącym zapasem zasobów obliczeniowych, GMI Cloud odpowiada na rosnące zapotrzebowanie na moc obliczeniową AI, oferując klientom wystarczającą moc obliczeniową, aby przyspieszyć szkolenie modeli, poprawić dokładność i zoptymalizować wydajność modeli w szerokim zakresie projektów AI.

Jako lider w usługach chmury AI, jakie trendy lub potrzeby klientów koncentrujesz się, aby napędzać rozwój technologii GMI?

Od procesorów GPU do aplikacji, GMI Cloud napędza inteligentną transformację dla klientów, spełniając wymagania rozwoju technologii AI.

Architektura sprzętu:

• Fizyczna architektura klastra: Instancje, takie jak 1250 H100, obejmują szafy GPU, szafy liściaste i szafy grzbietowe, z optymalnymi konfiguracjami serwerów i sprzętu sieciowego, które dostarczają wysokowydajną moc obliczeniową.
• Struktura topologii sieci: Zaprojektowana z wydajnym IB fabric i Ethernet fabric, zapewniając gładki transfer danych i komunikację.

Oprogramowanie i usługi:

• Silnik klastra: Wykorzystanie silnika opracowanego wewnętrznie do zarządzania zasobami, takimi jak bare metal, Kubernetes/kontenery i HPC Slurm, umożliwiając optymalną alokację zasobów dla użytkowników i administratorów.
• Własna platforma chmury: CLUSTER ENGINE to własny system zarządzania chmurą, który optymalizuje planowanie zasobów, zapewniając elastyczną i wydajną rozwiązanie zarządzania klastrem

Dodaj plan silnika inferencyjnego:

1. Ciągłe obliczenia, gwarantujące wysoki poziom SLA.
2. Podział czasu dla ułamkowego czasu użytkowania.
3. Instancja spot

Konsulting i usługi dostosowane: Oferuje konsulting, raportowanie danych i usługi dostosowane, takie jak konteneryzacja, zalecenia szkolenia modeli i dostosowane platformy MLOps.

Bezpieczne i monitorowane funkcje: Obejmuje kontrolę dostępu opartą na rolach (RBAC), zarządzanie grupami użytkowników, monitorowanie w czasie rzeczywistym, śledzenie historyczne i powiadomienia o alarmach.

Twoim zdaniem, jakie są największe wyzwania i możliwości dla infrastruktury AI w ciągu najbliższych kilku lat?

Wyzwania:

1. Skalowalność i koszty: Wraz ze wzrostem złożoności modeli, utrzymanie skalowalności i przystępności staje się wyzwaniem, szczególnie dla mniejszych firm.
2. Energia i zrównoważoność: Wysokie zużycie energii wymaga bardziej ekologicznych rozwiązań, gdy przyjęcie AI rośnie.
3. Bezpieczeństwo i prywatność: Ochrona danych w infrastrukturze współdzielonej wymaga ewoluujących rozwiązań bezpieczeństwa i zgodności z przepisami.
4. Interoperacyjność: Fragmentacja narzędzi w stosie AI utrudnia bezproblemowe wdrożenie i integrację. To skomplikuje wdrożenie każdej AI. Obecnie możemy skrócić czas rozwoju o 2-krotność i zmniejszyć liczbę pracowników w projekcie AI o 3-krotność.

Możliwości:

1. Wzrost AI na krawędzi: Przetwarzanie AI bliżej źródeł danych oferuje redukcję opóźnień i zachowanie przepustowości.
2. Automatyczne MLOps: Uproszczone operacje redukują złożoność wdrożenia, pozwalając firmom skupić się na aplikacjach.
3. Ekologiczny sprzęt: Innowacje mogą poprawić dostępność i zmniejszyć wpływ na środowisko.
4. Chmura hybrydowa: Infrastruktura, która działa w chmurze i środowiskach lokalnych, jest odpowiednia dla elastyczności przedsiębiorstw.
5. AI zarządzany przez AI: Używanie AI do autonomicznej optymalizacji infrastruktury redukuje czas przestoju i zwiększa wydajność.

Czy możesz podzielić się spostrzeżeniami na temat długoterminowej wizji GMI Cloud? Jaką rolę widzisz dla niej w ewolucji AI i AGI?

Chcę zbudować AI internetu. Chcę zbudować infrastrukturę, która napędza przyszłość na całym świecie.

Chcę stworzyć dostępną platformę, podobną do Squarespace lub Wix, ale dla AI. Każdy powinien móc zbudować swoją aplikację AI.

W nadchodzących latach AI zobaczy znaczny wzrost, szczególnie w przypadku zastosowań AI generatywnej, gdy więcej branż integruje te technologie, aby poprawić kreatywność, zautomatyzować procesy i zoptymalizować podejmowanie decyzji. Inferencja odegra centralną rolę w tym przyszłym scenariuszu, umożliwiając aplikacje AI w czasie rzeczywistym, które mogą obsłużyć złożone zadania wydajnie i na dużą skalę. Przypadki użycia biznes-to-biznes (B2B) będą dominować, a przedsiębiorstwa będą coraz bardziej koncentrować się na wykorzystaniu AI, aby zwiększyć produktywność, usprawnić operacje i tworzyć nową wartość. Długoterminowa wizja GMI Cloud jest zgodna z tym trendem, mając na celu dostarczenie zaawansowanej, niezawodnej infrastruktury, która wspiera przedsiębiorstwa w maksymalizowaniu produktywności i wpływu AI w całej organizacji.

Jakie strategiczne cele lub kamienie milowe planujesz osiągnąć w ciągu najbliższego roku, gdy rozszerzasz operacje nowym centrum danych w Kolorado?

Podczas rozszerzania operacji nowym centrum danych w Kolorado, koncentrujemy się na kilku strategicznych celach i kamieniach milowych w ciągu najbliższego roku. Stany Zjednoczone stanowią największy rynek AI i obliczeń AI, co sprawia, że jest niezwykle ważne, aby ustanowić silną obecność w tym regionie. Strategiczna lokalizacja Kolorado, w połączeniu z jego rozwiniętym ekosystemem technologicznym i korzystnym środowiskiem biznesowym, pozwala nam lepiej obsługiwać rosnącą bazę klientów i poprawiać nasze oferty usług.

Jakie porady dałbyś firmom lub startupom, które chcą przyjąć zaawansowaną infrastrukturę AI?

Dla startupów skupionych na innowacjach napędzanych przez AI, priorytetem powinno być budowanie i udoskonalanie swoich produktów, a nie spędzanie cennego czasu na zarządzaniu infrastrukturą. Współpracuj z godnymi zaufania dostawcami technologii, którzy oferują niezawodne i skalowalne rozwiązania GPU, unikając dostawców, którzy oszczędzają na white-labeled alternatywach. Niezawodność i szybkie wdrożenie są kluczowe; na wczesnym etapie szybkość jest często jedyną przewagą, jaką startup ma nad ustanowionymi graczami. Wybierz opcje oparte na chmurze, elastyczne, które wspierają wzrost, i skup się na bezpieczeństwie i zgodności bez poświęcania giętkości. Dzięki temu startupy mogą integrować się bezproblemowo, iterować szybko i kierować swoje zasoby na to, co naprawdę się liczy – dostarczanie wybitnego produktu na rynku.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić GMI Cloud,