Alex Yeh, Pendiri & CEO GMI Cloud – Seri Wawancara

Alex Yeh adalah Pendiri dan CEO GMI Cloud, sebuah perusahaan infrastruktur digital yang didukung ventura dengan misi untuk memberdayakan siapa saja untuk mengirimkan AI tanpa usaha dan menyederhanakan cara bisnis membangun, mengirimkan, dan menskalakan AI melalui solusi perangkat keras dan perangkat lunak yang terintegrasi

Apa yang menginspirasi Anda untuk memulai GMI Cloud, dan bagaimana latar belakang Anda mempengaruhi pendekatan Anda dalam membangun perusahaan?

GMI Cloud didirikan pada tahun 2021, awalnya fokus pada membangun dan mengoperasikan pusat data untuk menyediakan node komputasi Bitcoin. Selama periode ini, kami membangun tiga pusat data di Arkansas dan Texas.

Pada bulan Juni tahun lalu, kami melihat permintaan yang kuat dari investor dan klien untuk kekuatan komputasi GPU. Dalam waktu sebulan, saya membuat keputusan untuk beralih ke infrastruktur cloud AI. Perkembangan AI yang cepat dan gelombang kesempatan bisnis baru yang dibawanya tidak dapat diprediksi atau digambarkan. Dengan menyediakan infrastruktur yang penting, GMI Cloud bertujuan untuk tetap sejalan dengan kesempatan-kesempatan yang menarik dan sering tidak terbayangkan di AI.

Sebelum GMI Cloud, saya adalah mitra di sebuah firma modal ventura, secara teratur berinteraksi dengan industri yang muncul. Saya melihat kecerdasan buatan sebagai “demam emas” abad ke-21, dengan GPU dan server AI sebagai “cangkul” untuk penambang modern, mendorong pertumbuhan cepat untuk perusahaan cloud yang mengkhususkan diri dalam penyewaan kekuatan komputasi GPU.

Dapatkah Anda memberitahu kami tentang misi GMI Cloud untuk menyederhanakan infrastruktur AI dan mengapa fokus ini sangat penting di pasar saat ini?

Menyederhanakan infrastruktur AI sangat penting karena kompleksitas dan fragmentasi AI stack saat ini, yang dapat membatasi aksesibilitas dan efisiensi bagi bisnis yang bertujuan untuk memanfaatkan potensi AI. Pengaturan AI saat ini sering melibatkan beberapa lapisan yang terputus – dari pra-pengolahan data dan pelatihan model hingga penerapan dan penskalaan – yang memerlukan waktu yang signifikan, keterampilan khusus, dan sumber daya untuk dikelola secara efektif. Banyak perusahaan menghabiskan minggu dan bahkan bulan untuk mengidentifikasi lapisan infrastruktur AI yang paling sesuai, proses yang dapat memperpanjang waktu pengembangan dan pengiriman, serta mempengaruhi pengalaman pengguna dan produktivitas.

1. Mengakselerasi Penerapan: Infrastruktur yang disederhanakan memungkinkan pengembangan dan penerapan solusi AI yang lebih cepat, membantu perusahaan tetap kompetitif dan adaptif terhadap kebutuhan pasar yang berubah.
2. Mengurangi Biaya dan Sumber Daya: Dengan meminimalkan kebutuhan akan perangkat keras khusus dan integrasi kustom, AI stack yang disederhanakan dapat secara signifikan mengurangi biaya, membuat AI lebih mudah diakses, terutama bagi bisnis kecil.
3. Mengaktifkan Penskalaan: Infrastruktur yang terintegrasi dengan baik memungkinkan pengelolaan sumber daya yang efisien, yang penting untuk menskalakan aplikasi saat permintaan tumbuh, memastikan solusi AI tetap kuat dan responsif pada skala yang lebih besar.
4. Meningkatkan Aksesibilitas: Infrastruktur yang disederhanakan membuatnya lebih mudah bagi berbagai organisasi untuk mengadopsi AI tanpa memerlukan keahlian teknis yang luas. Demokratisasi AI ini mempromosikan inovasi dan menciptakan nilai di berbagai industri.
5. Mendukung Inovasi Cepat: Ketika teknologi AI berkembang, infrastruktur yang kurang kompleks membuatnya lebih mudah untuk mengintegrasikan alat, model, dan metode baru, memungkinkan organisasi untuk tetap lincah dan berinovasi dengan cepat.

GMI Cloud bertujuan untuk menyederhanakan infrastruktur AI, yang sangat penting untuk membantu perusahaan dan startup sepenuhnya memanfaatkan manfaat AI, membuatnya mudah diakses, terjangkau, dan dapat diskalakan untuk organisasi semua ukuran.

Baru-baru ini Anda mengamankan $82 juta dalam pendanaan Seri A. Bagaimana modal baru ini akan digunakan, dan apa tujuan ekspansi yang ingin Anda capai?

GMI Cloud akan menggunakan pendanaan untuk membuka pusat data baru di Colorado dan sebagian besar berinvestasi pada GPU H200 untuk membangun cluster GPU skala besar tambahan. GMI Cloud juga secara aktif mengembangkan platform manajemen sumber daya cloud-asli, Cluster Engine, yang terintegrasi dengan perangkat keras canggih kami. Platform ini menyediakan kemampuan virtualisasi, kontainerisasi, dan orkestrasi yang tak tertandingi.

GMI Cloud menawarkan akses GPU dengan kecepatan 2x dibandingkan dengan pesaing. Apa pendekatan atau teknologi unik yang membuat ini memungkinkan?

Aspek kunci dari pendekatan unik GMI Cloud adalah menggunakan NCP NVIDIA (NVDA ), yang memberikan GMI Cloud akses prioritas ke GPU dan sumber daya canggih lainnya. Pengadaan langsung dari produsen, dikombinasikan dengan opsi pembiayaan yang kuat, memastikan efisiensi biaya dan rantai pasokan yang sangat aman.

Dengan GPU H100 NVIDIA yang tersedia di lima lokasi global, bagaimana infrastruktur ini mendukung kebutuhan pelanggan AI Anda di AS dan Asia?

GMI Cloud telah membangun kehadiran global, melayani beberapa negara dan wilayah, termasuk Taiwan, Amerika Serikat, dan Thailand, dengan jaringan IDC (Internet Data Center) di seluruh dunia. Saat ini, GMI Cloud mengoperasikan ribuan kartu GPU berbasis NVIDIA Hopper, dan berada pada jalur ekspansi cepat, dengan rencana untuk menggandakan sumber daya dalam enam bulan ke depan. Distribusi geografis ini memungkinkan GMI Cloud untuk menyediakan layanan yang mulus dan rendah latency kepada klien di berbagai wilayah, mengoptimalkan efisiensi transfer data dan menyediakan dukungan infrastruktur yang kuat untuk perusahaan yang memperluas operasi AI mereka di seluruh dunia.

Sebagai pemimpin dalam layanan cloud AI-asli, apa tren atau kebutuhan pelanggan yang Anda fokuskan untuk mendorong teknologi GMI ke depan?

Dari GPU hingga aplikasi, GMI Cloud mendorong transformasi cerdas untuk pelanggan, memenuhi kebutuhan pengembangan teknologi AI.

Arsitektur Perangkat Keras:

• Arsitektur Cluster Fisik: Contoh seperti 1250 H100 termasuk rak GPU, rak daun, dan rak tulang belakang, dengan konfigurasi yang dioptimalkan untuk server dan peralatan jaringan yang menyediakan kekuatan komputasi tinggi.
• Struktur Topologi Jaringan: Dirancang dengan kain IB yang efisien dan kain Ethernet, memastikan transmisi data yang mulus dan komunikasi.

Perangkat Lunak dan Layanan:

• Cluster Engine: Menggunakan mesin yang dikembangkan secara internal untuk mengelola sumber daya seperti logam telanjang, kontainer/Kubernetes, dan HPC Slurm, memungkinkan alokasi sumber daya yang optimal untuk pengguna dan administrator.
• Platform Cloud Proprieter: CLUSTER ENGINE adalah sistem manajemen cloud proprietary yang mengoptimalkan penjadwalan sumber daya, menyediakan solusi manajemen cluster yang fleksibel dan efisien.

Tambahkan Rencana Mesin Inferensi:

1. Komputasi terus-menerus, jaminan SLA tinggi.
2. Bagi waktu untuk penggunaan waktu fraksional.
3. Contoh instance.

Layanan Konsultasi dan Kustom: Menawarkan konsultasi, pelaporan data, dan layanan kustom seperti kontainerisasi, rekomendasi pelatihan model, dan platform MLOps yang disesuaikan.

Fitur Keamanan dan Pemantauan yang Kuat: Termasuk kontrol akses berbasis peran (RBAC), manajemen grup pengguna, pemantauan waktu nyata, pelacakan historis, dan notifikasi peringatan.

Menurut Anda, apa tantangan dan kesempatan terbesar untuk infrastruktur AI dalam beberapa tahun ke depan?

Tantangan:

1. Skalabilitas dan Biaya: Ketika model menjadi lebih kompleks, mempertahankan skalabilitas dan terjangkau menjadi tantangan, terutama bagi perusahaan yang lebih kecil.
2. Energi dan Keberlanjutan: Konsumsi energi yang tinggi menuntut solusi yang lebih ramah lingkungan karena adopsi AI meningkat.
3. Keamanan dan Privasi: Perlindungan data di infrastruktur yang dibagikan memerlukan keamanan dan kepatuhan regulasi yang berkembang.
4. Interoperabilitas: Alat yang terfragmentasi di stack AI mempersulit penerapan dan integrasi yang mulus. Kami sekarang dapat mengurangi waktu pengembangan hingga 2x dan mengurangi jumlah staf untuk proyek AI hingga 3x.

Kesempatan:

1. Pertumbuhan AI Edge: Pemrosesan AI yang lebih dekat dengan sumber data menawarkan pengurangan latency dan konservasi bandwidth.
2. MLOps Otomatis: Operasi yang dioptimalkan mengurangi kompleksitas penerapan, memungkinkan perusahaan untuk fokus pada aplikasi.
3. Perangkat Keras yang Hemat Energi: Inovasi dapat meningkatkan aksesibilitas dan mengurangi dampak lingkungan.
4. Cloud Hybrid: Infrastruktur yang beroperasi di seluruh cloud dan lingkungan on-prem sangat sesuai untuk fleksibilitas perusahaan.
5. Manajemen AI-Powered: Menggunakan AI untuk mengoptimalkan infrastruktur secara otonom mengurangi downtime dan meningkatkan efisiensi.

Dapatkah Anda berbagi wawasan tentang visi jangka panjang GMI Cloud? Apa peran yang Anda lihat GMI Cloud mainkan dalam evolusi AI dan AGI?

Saya ingin membangun AI dari internet. Saya ingin membangun infrastruktur yang memungkinkan masa depan di seluruh dunia.

Untuk menciptakan platform yang mudah diakses, seperti Squarespace atau Wix, tetapi untuk AI. Siapa saja harus dapat membangun aplikasi AI mereka.

Di tahun-tahun mendatang, AI akan mengalami pertumbuhan yang signifikan, terutama dengan kasus penggunaan AI generatif, karena lebih banyak industri mengintegrasikan teknologi ini untuk meningkatkan kreativitas, mengotomatisasi proses, dan mengoptimalkan pengambilan keputusan. Inferensi akan memainkan peran sentral dalam masa depan ini, memungkinkan aplikasi AI waktu nyata yang dapat menangani tugas kompleks secara efisien dan dalam skala besar. Kasus penggunaan B2B diharapkan akan mendominasi, dengan perusahaan yang semakin fokus pada memanfaatkan AI untuk meningkatkan produktivitas, mengoptimalkan operasi, dan menciptakan nilai baru. Visi jangka panjang GMI Cloud sejalan dengan tren ini, dengan tujuan menyediakan infrastruktur canggih yang mendukung perusahaan dalam memaksimalkan produktivitas dan dampak AI di seluruh organisasi.

Ketika Anda memperluas operasi dengan pusat data baru di Colorado, apa tujuan strategis atau tonggak yang ingin Anda capai dalam setahun ke depan?

Ketika kami memperluas operasi dengan pusat data baru di Colorado, kami fokus pada beberapa tujuan strategis dan tonggak dalam setahun ke depan. AS adalah pasar terbesar untuk AI dan komputasi AI, membuatnya penting bagi kami untuk membangun kehadiran yang kuat di wilayah ini. Lokasi strategis Colorado, dikombinasikan dengan ekosistem teknologi yang kuat dan lingkungan bisnis yang menguntungkan, memposisikan kami untuk lebih baik melayani basis klien yang tumbuh dan meningkatkan penawaran layanan kami.

Apa saran yang Anda berikan kepada perusahaan atau startup yang ingin mengadopsi infrastruktur AI canggih?

Bagi startup yang fokus pada inovasi AI, prioritas harus diberikan pada membangun dan menyempurnakan produk mereka, bukan menghabiskan waktu berharga pada manajemen infrastruktur. Bermitra dengan penyedia teknologi yang tepercaya yang menawarkan solusi GPU yang dapat diandalkan dan dapat diskalakan, hindari penyedia yang memotong sudut dengan alternatif yang diberi label putih. Keandalan dan penerapan yang cepat sangat kritis; pada tahap awal, kecepatan sering kali menjadi satu-satunya moat kompetitif yang dimiliki startup melawan pemain yang sudah mapan. Pilih opsi berbasis cloud yang fleksibel yang mendukung pertumbuhan, dan fokus pada keamanan dan kepatuhan tanpa mengorbankan kelenturan. Dengan melakukan hal ini, startup dapat mengintegrasikan dengan lancar, beriterasi dengan cepat, dan mengalihkan sumber daya mereka ke hal-hal yang benar-benar penting – mengirimkan produk yang luar biasa di pasar.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi GMI Cloud,