David Driggers, CTO Cirrascale – Seri Wawancara

David Driggers adalah Chief Technology Officer di Cirrascale Cloud Services, penyedia terkemuka solusi infrastruktur pembelajaran mendalam. Dipandu oleh nilai integritas, kelenturan, dan fokus pelanggan, Cirrascale menghadirkan solusi inovatif, berbasis cloud, Infrastructure-as-a-Service (IaaS). Dengan bermitra dengan pemimpin ekosistem AI seperti Red Hat dan WekaIO, Cirrascale memastikan akses yang mulus ke alat canggih, memungkinkan pelanggan untuk mendorong kemajuan dalam pembelajaran mendalam sambil mempertahankan biaya yang dapat diprediksi.

Cirrascale adalah satu-satunya penyedia GPUaaS yang bermitra dengan perusahaan semikonduktor besar seperti NVIDIA (NVDA ), AMD, Cerebras (CBRS ), dan Qualcomm. Bagaimana posisi unik ini memberikan manfaat bagi pelanggan Anda dalam hal kinerja dan skalabilitas?

Karena industri berkembang dari Pelatihan Model ke penerapan model yang disebut Inferensi, tidak ada satu ukuran yang pas untuk semua. Tergantung pada ukuran dan persyaratan latency model, akselerator yang berbeda menawarkan nilai yang berbeda yang dapat penting. Waktu untuk menjawab, keuntungan biaya per token, atau kinerja per watt dapat mempengaruhi biaya dan pengalaman pengguna. Karena Inferensi untuk produksi, fitur/kapasitas ini sangat penting.

Apa yang membedakan AI Innovation Cloud Cirrascale dari penyedia GPUaaS lainnya dalam mendukung alur kerja AI dan pembelajaran mendalam?

AI Innovation Cloud Cirrascale memungkinkan pengguna untuk mencoba teknologi baru dengan cara yang aman, dibantu, dan sepenuhnya didukung, yang tidak tersedia di cloud lain. Ini dapat membantu tidak hanya dalam keputusan teknologi cloud tetapi juga dalam pembelian potensial di lokasi.

Bagaimana platform Cirrascale memastikan integrasi yang mulus untuk startup dan perusahaan dengan kebutuhan akselerasi AI yang beragam?

Cirrascale mengambil pendekatan solusi untuk cloud kami. Ini berarti bahwa untuk startup dan perusahaan, kami menawarkan solusi turnkey yang mencakup Dev-Ops dan Infra-Ops. Sementara kami menyebutnya bare-metal untuk membedakan penawaran kami sebagai tidak berbagi atau virtualisasi, Cirrascale sepenuhnya mengkonfigurasi semua aspek penawaran, termasuk mengkonfigurasi server, jaringan, Penyimpanan, Keamanan, dan Akses Pengguna sebelum menyerahkan layanan kepada klien kami. Klien kami dapat langsung menggunakan layanan tanpa harus mengkonfigurasi semuanya sendiri.

Adopsi AI skala perusahaan menghadapi hambatan seperti kualitas data, keterbatasan infrastruktur, dan biaya tinggi. Bagaimana Cirrascale mengatasi tantangan ini untuk bisnis yang memperluas inisiatif AI?

Sementara Cirrascale tidak menawarkan layanan kualitas data, kami bermitra dengan perusahaan yang dapat membantu dengan masalah data. Mengenai infrastruktur dan biaya, Cirrascale dapat menyesuaikan solusi khusus untuk kebutuhan klien tertentu, yang menghasilkan kinerja dan biaya yang lebih baik yang terkait dengan kebutuhan klien.

Dengan kemajuan Google (GOOGL ) dalam komputasi kuantum (Willow) dan model AI (Gemini 2.0), bagaimana Anda melihat lanskap AI perusahaan berubah di masa depan?

Komputasi kuantum masih cukup jauh dari waktu utama untuk sebagian besar orang karena kurangnya programmer dan program siap pakai yang dapat memanfaatkan fitur-fiturnya. Gemini 2.0 dan penawaran skala besar lainnya seperti GPT4 dan Claude pasti akan mendapatkan penerimaan dari pelanggan perusahaan, tetapi sebagian besar pasar perusahaan tidak siap untuk mempercayakan data mereka kepada pihak ketiga, terutama yang mungkin menggunakan data tersebut untuk melatih model mereka.

Menemukan keseimbangan yang tepat antara kekuatan, harga, dan kinerja sangat penting untuk memperluas solusi AI. Apa rekomendasi teratas Anda untuk perusahaan yang menghadapi keseimbangan ini?

Uji, uji, uji. Ini sangat penting bagi perusahaan untuk menguji model mereka di platform yang berbeda. Produksi berbeda dengan pengembangan – biaya penting dalam produksi. Pelatihan mungkin hanya satu kali, tetapi inferensi adalah selamanya. Jika persyaratan kinerja dapat dipenuhi dengan biaya yang lebih rendah, penghematan tersebut jatuh ke garis bawah dan mungkin bahkan membuat solusi tersebut layak. Seringkali, penerapan model besar terlalu mahal untuk digunakan. Pengguna akhir juga harus mencari perusahaan yang dapat membantu dengan pengujian ini karena seringkali insinyur ML dapat membantu dengan penerapan versus ilmuwan data yang membuat model.

Bagaimana Cirrascale menyesuaikan solusinya untuk memenuhi permintaan yang meningkat akan aplikasi AI generatif, seperti LLM dan model generasi gambar?

Cirrascale menawarkan array akselerator AI terluas, dan dengan proliferasi LLM dan model GenAI yang berkisar dari ukuran dan cakupan (seperti skenario multi-modal), serta batch versus waktu nyata, ini benar-benar merupakan skenario “kuda untuk kursus”.

Apakah Anda dapat memberikan contoh tentang bagaimana Cirrascale membantu bisnis mengatasi bottleneck latency dan transfer data dalam alur kerja AI?

Cirrascale memiliki banyak pusat data di berbagai wilayah dan tidak memandang koneksi jaringan sebagai pusat keuntungan. Ini memungkinkan pengguna kami untuk “mengatur ukuran yang tepat” koneksi yang diperlukan untuk memindahkan data, serta memanfaatkan lebih dari satu lokasi jika latency adalah fitur kritis. Dengan memprofil kan beban kerja yang sebenarnya, Cirrascale dapat membantu dengan mengimbangkan latency, kinerja, dan biaya untuk memberikan nilai terbaik setelah memenuhi persyaratan kinerja.

Tren apa yang muncul dalam perangkat keras AI atau infrastruktur yang paling Anda minati, dan bagaimana Cirrascale mempersiapkan diri untuk tren tersebut?

Kami paling bersemangat tentang prosesor baru yang dirancang khusus untuk inferensi versus prosesor berbasis GPU generik yang cukup pas untuk pelatihan, tetapi tidak dioptimalkan untuk kasus penggunaan inferensi yang memiliki persyaratan komputasi yang secara inheren berbeda dari pelatihan.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Cirrascale Cloud Services.