Alex Yeh, Pendiri & CEO GMI Cloud – Seri Wawancara

Alex Yeh adalah Pendiri dan CEO GMI Cloud, sebuah perusahaan infrastruktur digital yang didukung venture dengan misi memberdayakan siapa saja untuk menggelar AI dengan mudah dan menyederhanakan cara bisnis membangun, menggelar, dan menskala AI melalui solusi perangkat keras dan perangkat lunak terintegrasi

Apa yang menginspirasi Anda untuk memulai GMI Cloud, dan bagaimana latar belakang Anda mempengaruhi pendekatan Anda dalam membangun perusahaan?

GMI Cloud didirikan pada 2021, dengan fokus utama pada dua tahun pertama untuk membangun dan mengoperasikan pusat data untuk menyediakan node komputasi Bitcoin. Selama periode ini, kami membangun tiga pusat data di Arkansas dan Texas.

Pada Juni tahun lalu, kami menyadari adanya permintaan kuat dari investor dan klien untuk kekuatan komputasi GPU. Dalam waktu sebulan, kami memutuskan untuk beralih ke infrastruktur cloud AI. Perkembangan AI yang cepat dan gelombang kesempatan bisnis baru yang dibawanya tidak dapat diprediksi atau sulit digambarkan. Dengan menyediakan infrastruktur esensial, GMI Cloud bertujuan untuk tetap sejalan dengan kesempatan-kesempatan menarik dan sering tidak terbayangkan di AI.

Sebelum GMI Cloud, saya adalah mitra di sebuah firma modal ventura, yang secara teratur berinteraksi dengan industri yang muncul. Saya melihat kecerdasan buatan sebagai “demam emas” abad ke-21, dengan GPU dan server AI sebagai “pickaxes” untuk “penambang” modern, yang mendorong pertumbuhan cepat untuk perusahaan cloud yang mengkhususkan diri dalam penyewaan kekuatan komputasi GPU.

Bisakah Anda memberitahu kami tentang misi GMI Cloud untuk menyederhanakan infrastruktur AI dan mengapa fokus ini sangat penting di pasar saat ini?

Menyederhanakan infrastruktur AI sangat penting karena kompleksitas dan fragmentasi AI stack saat ini, yang dapat membatasi aksesibilitas dan efisiensi bagi bisnis yang bertujuan untuk memanfaatkan potensi AI. Pengaturan AI saat ini sering melibatkan beberapa lapisan yang terputus – dari pengolahan data dan pelatihan model hingga penggelaran dan penskalaan – yang memerlukan waktu yang signifikan, keterampilan khusus, dan sumber daya untuk dikelola secara efektif. Banyak perusahaan menghabiskan minggu dan bahkan bulan untuk mengidentifikasi lapisan infrastruktur AI yang paling sesuai, proses yang dapat memperpanjang waktu dan mempengaruhi pengalaman pengguna dan produktivitas.

1. Mengakselerasi Penggelaran: Infrastruktur yang disederhanakan memungkinkan pengembangan dan penggelaran solusi AI yang lebih cepat, membantu perusahaan tetap kompetitif dan adaptif terhadap kebutuhan pasar yang berubah.
2. Mengurangi Biaya dan Sumber Daya: Dengan meminimalkan kebutuhan akan perangkat keras khusus dan integrasi kustom, AI stack yang terstruktur dapat secara signifikan mengurangi biaya, membuat AI lebih mudah diakses, terutama bagi bisnis kecil.
3. Mengaktifkan Skalabilitas: Infrastruktur yang terintegrasi dengan baik memungkinkan pengelolaan sumber daya yang efisien, yang sangat penting untuk menskala aplikasi ketika permintaan meningkat, memastikan solusi AI tetap kuat dan responsif pada skala yang lebih besar.
4. Meningkatkan Aksesibilitas: Infrastruktur yang disederhanakan membuatnya lebih mudah bagi berbagai organisasi untuk mengadopsi AI tanpa memerlukan keahlian teknis yang luas. Demokratisasi AI ini mempromosikan inovasi dan menciptakan nilai di berbagai industri.
5. Mendukung Inovasi Cepat: Ketika teknologi AI berkembang, infrastruktur yang kurang kompleks membuatnya lebih mudah untuk mengintegrasikan alat, model, dan metode baru, memungkinkan organisasi untuk tetap lincah dan berinovasi dengan cepat.

Misi GMI Cloud untuk menyederhanakan infrastruktur AI sangat penting untuk membantu perusahaan dan startup sepenuhnya memanfaatkan keuntungan AI, membuatnya mudah diakses, efektif biaya, dan dapat diskalakan untuk organisasi semua ukuran.

Baru-baru ini Anda mengamankan $82 juta dalam pendanaan Seri A. Bagaimana modal baru ini akan digunakan, dan apa tujuan ekspansi langsung Anda?

GMI Cloud akan menggunakan pendanaan untuk membuka pusat data baru di Colorado dan sebagian besar berinvestasi pada H200 GPU untuk membangun cluster GPU skala besar tambahan. GMI Cloud juga secara aktif mengembangkan platform manajemen sumber daya cloud-native, Cluster Engine, yang terintegrasi dengan perangkat keras canggih kami. Platform ini menyediakan kemampuan yang tak tertandingi dalam virtualisasi, containerisasi, dan orkestrasi.

GMI Cloud menawarkan akses GPU dengan kecepatan 2x dibandingkan dengan kompetitor. Apa pendekatan atau teknologi unik yang membuat ini memungkinkan?

Aspek kunci dari pendekatan unik GMI Cloud adalah memanfaatkan NCP NVIDIA, yang memberikan GMI Cloud akses prioritas ke GPU dan sumber daya canggih lainnya. Proses pengadaan langsung dari produsen, dikombinasikan dengan opsi pembiayaan yang kuat, memastikan efisiensi biaya dan rantai pasokan yang sangat aman.

Dengan GPU H100 NVIDIA yang tersedia di lima lokasi global, bagaimana infrastruktur ini mendukung kebutuhan pelanggan AI Anda di AS dan Asia?

GMI Cloud telah membangun kehadiran global, melayani beberapa negara dan wilayah, termasuk Taiwan, Amerika Serikat, dan Thailand, dengan jaringan IDC (Internet Data Center) di seluruh dunia. Saat ini, GMI Cloud mengoperasikan ribuan kartu GPU berbasis Hopper NVIDIA, dan berada pada jalur ekspansi cepat, dengan rencana untuk menggandakan sumber dayanya dalam enam bulan ke depan. Distribusi geografis ini memungkinkan GMI Cloud untuk menyediakan layanan yang mulus, rendah latensi kepada klien di berbagai wilayah, mengoptimalkan efisiensi transfer data dan menyediakan infrastruktur yang kuat untuk perusahaan yang memperluas operasi AI mereka di seluruh dunia.

Selain itu, kemampuan global GMI Cloud memungkinkan perusahaan untuk memahami dan memenuhi permintaan pasar dan persyaratan regulasi yang beragam di berbagai wilayah, menyediakan solusi kustom yang disesuaikan dengan kebutuhan unik setiap lokasi. Dengan sumber daya komputasi yang terus berkembang, GMI Cloud mengatasi permintaan yang meningkat akan kekuatan komputasi AI, menawarkan klien kapasitas komputasi yang cukup untuk mempercepat pelatihan model, meningkatkan akurasi, dan meningkatkan kinerja model untuk berbagai proyek AI.

Sebagai pemimpin dalam layanan cloud asli AI, apa tren atau kebutuhan pelanggan yang Anda fokuskan untuk mendorong teknologi GMI ke depan?

Dari GPU hingga aplikasi, GMI Cloud mendorong transformasi cerdas untuk pelanggan, memenuhi permintaan pengembangan teknologi AI.

Arsitektur Perangkat Keras:

• Arsitektur Cluster Fisik: Instansi seperti 1250 H100 termasuk rak GPU, rak daun, dan rak tulang punggung, dengan konfigurasi server dan peralatan jaringan yang dioptimalkan yang menyediakan kekuatan komputasi tinggi.
• Struktur Topologi Jaringan: Dirancang dengan kain IB yang efisien dan kain Ethernet, memastikan transmisi data yang mulus dan komunikasi.

Perangkat Lunak dan Layanan:

• Cluster Engine: Menggunakan mesin yang dikembangkan secara internal untuk mengelola sumber daya seperti logam telanjang, Kubernetes/wadah, dan HPC Slurm, memungkinkan alokasi sumber daya yang optimal untuk pengguna dan administrator.
• Platform Cloud Proprietary: CLUSTER ENGINE adalah sistem manajemen cloud proprietary yang mengoptimalkan penjadwalan sumber daya, menyediakan solusi manajemen cluster yang fleksibel dan efisien

Tambahkan peta mesin inferensi:

1. Komputasi terus menerus, menjamin SLA tinggi.
2. Bagi waktu untuk penggunaan waktu pecahan.
3. Instansi spot

Konsultasi dan Layanan Kustom: Menawarkan konsultasi, pelaporan data, dan layanan kustom seperti containerisasi, rekomendasi pelatihan model, dan platform MLOps yang disesuaikan.

Fitur Keamanan dan Pemantauan yang Kuat: Termasuk kontrol akses berbasis peran (RBAC), manajemen grup pengguna, pemantauan waktu nyata, pelacakan historis, dan notifikasi peringatan.

Menurut Anda, apa beberapa tantangan dan kesempatan terbesar untuk infrastruktur AI dalam beberapa tahun mendatang?

Tantangan:

1. Skalabilitas dan Biaya: Ketika model menjadi lebih kompleks, mempertahankan skalabilitas dan terjangkau menjadi tantangan, terutama bagi perusahaan kecil.
2. Energi dan Keberlanjutan: Konsumsi energi yang tinggi menuntut solusi yang lebih ramah lingkungan ketika adopsi AI meningkat.
3. Keamanan dan Privasi: Perlindungan data dalam infrastruktur yang dibagikan memerlukan keamanan dan kepatuhan regulasi yang berkembang.
4. Interoperabilitas: Alat yang terfragmentasi dalam AI stack mempersulit penerapan dan integrasi yang mulus. Kami sekarang dapat mengurangi waktu pengembangan 2x dan mengurangi jumlah staf untuk proyek AI 3x.

Kesempatan:

1. Pertumbuhan AI Edge: Pemrosesan AI yang lebih dekat dengan sumber data menawarkan pengurangan latensi dan konservasi bandwidth.
2. MLOps Otomatis: Operasi yang dioptimalkan mengurangi kompleksitas penerapan, memungkinkan perusahaan untuk fokus pada aplikasi.
3. Perangkat Keras yang Hemat Energi: Inovasi dapat meningkatkan aksesibilitas dan mengurangi dampak lingkungan.
4. Awan Hibrida: Infrastruktur yang beroperasi di seluruh awan dan lingkungan on-prem sangat cocok untuk fleksibilitas perusahaan.
5. Manajemen AI-Powered: Menggunakan AI untuk mengoptimalkan infrastruktur secara otonom mengurangi waktu henti dan meningkatkan efisiensi.

Bisakah Anda membagikan wawasan tentang visi jangka panjang GMI Cloud? Apa peran yang Anda lihat GMI Cloud mainkan dalam evolusi AI dan AGI?

Saya ingin membangun AI dari internet. Saya ingin membangun infrastruktur yang memungkinkan masa depan di seluruh dunia.

Untuk menciptakan platform yang mudah diakses, seperti Squarespace atau Wix, tetapi untuk AI. Siapa saja harus dapat membangun aplikasi AI mereka.

Dalam beberapa tahun mendatang, AI akan mengalami pertumbuhan yang signifikan, terutama dengan kasus penggunaan AI generatif, karena lebih banyak industri mengintegrasikan teknologi ini untuk meningkatkan kreativitas, mengotomatisasi proses, dan mengoptimalkan pengambilan keputusan. Inferensi akan memainkan peran sentral dalam masa depan ini, memungkinkan aplikasi AI waktu nyata yang dapat menangani tugas kompleks secara efisien dan dalam skala besar. Kasus penggunaan B2B (Bisnis-ke-Bisnis) diharapkan akan mendominasi, dengan perusahaan yang semakin fokus pada memanfaatkan AI untuk meningkatkan produktivitas, menyederhanakan operasi, dan menciptakan nilai baru. Visi jangka panjang GMI Cloud sejalan dengan tren ini, dengan tujuan menyediakan infrastruktur canggih dan andal yang mendukung perusahaan dalam memaksimalkan produktivitas dan dampak AI di seluruh organisasi.

Ketika Anda memperluas operasi dengan pusat data baru di Colorado, apa tujuan strategis atau tonggak yang Anda targetkan untuk dicapai dalam setahun ke depan?

Ketika kami memperluas operasi dengan pusat data baru di Colorado, kami fokus pada beberapa tujuan strategis dan tonggak dalam setahun ke depan. AS berdiri sebagai pasar terbesar untuk AI dan komputasi AI, membuatnya penting bagi kami untuk membangun kehadiran yang kuat di wilayah ini. Lokasi strategis Colorado, dikombinasikan dengan ekosistem teknologi yang kuat dan lingkungan bisnis yang menguntungkan, memposisikan kami untuk lebih baik melayani basis klien yang berkembang dan meningkatkan penawaran layanan kami.

Apa saran yang Anda berikan kepada perusahaan atau startup yang ingin mengadopsi infrastruktur AI canggih?

Bagi startup yang fokus pada inovasi yang didorong AI, prioritasnya harus membangun dan memperbaiki produk mereka, bukan menghabiskan waktu berharga untuk mengelola infrastruktur. Mitra dengan penyedia teknologi tepercaya yang menawarkan solusi GPU yang andal dan dapat diskalakan, hindari penyedia yang memotong sudut dengan alternatif yang diberi label putih. Keandalan dan penerapan yang cepat sangat penting; pada tahap awal, kecepatan sering kali menjadi satu-satunya parit kompetitif yang dimiliki startup melawan pemain mapan. Pilih opsi berbasis cloud yang fleksibel yang mendukung pertumbuhan, dan fokus pada keamanan dan kepatuhan tanpa mengorbankan kelenturan. Dengan melakukan hal ini, startup dapat mengintegrasikan secara mulus, berinovasi dengan cepat, dan mengalokasikan sumber daya mereka ke apa yang benar-benar penting – menghadirkan produk yang luar biasa di pasar.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi GMI Cloud,