Christian Stano, Field CTO di Anyscale — Seri Wawancara

Christian Stano, Field CTO di Anyscale, telah membangun karier di persimpangan infrastruktur AI skala besar, platform pembelajaran mesin, dan komputasi terdistribusi. Sebelum bergabung dengan Anyscale, ia memimpin divisi Platform AI/ML di Attentive, di mana ia menskalakan infrastruktur yang mendukung personalisasi untuk lebih dari setengah miliar pelanggan dan membantu mendorong adopsi sistem komputasi terpadu berbasis Ray yang meningkatkan kecepatan pengembangan sambil mengurangi biaya operasional. Pada awal kariernya, ia bekerja di berbagai bidang, termasuk keamanan siber, arsitektur cloud, dan inisiatif AI sektor publik di perusahaan seperti Coalfire dan Deloitte, di mana ia berkontribusi pada salah satu platform pembelajaran mesin pertama Departemen Pertahanan AS. Latar belakangnya mencakup teknik platform AI, MLOps, infrastruktur cloud-native, dukungan bagi pengembang, dan penskalaan organisasi, memberinya pengalaman mendalam dalam membantu perusahaan mengoperasikan AI pada skala produksi.

Anyscale adalah perusahaan di balik Ray, kerangka komputasi terdistribusi open-source yang secara luas digunakan untuk menskalakan beban kerja AI dan Python di seluruh klaster CPU dan GPU. Didirikan oleh tim asli pembuat Ray dari UC Berkeley’s RISELab, perusahaan ini berfokus untuk menyederhanakan penerapan, orkestrasi, dan manajemen infrastruktur AI skala besar untuk pelatihan, inferensi, pemrosesan data, dan beban kerja agen AI. Platformnya memungkinkan organisasi untuk menjalankan sistem AI terdistribusi di seluruh lingkungan cloud dan on-premise sambil menyediakan observabilitas, tata kelola, dan optimasi kinerja yang dirancang untuk aplikasi AI modern. Ray telah menjadi lapisan inti dalam susunan infrastruktur AI yang sedang berkembang, membantu pengembang menskalakan beban kerja dari satu mesin ke ribuan node dengan perubahan minimal pada kode Python yang ada.

Anda telah bekerja di berbagai bidang, termasuk keamanan siber, platform ML sektor publik, dan sistem personalisasi hiperskala. Apa pola yang secara konsisten Anda lihat ketika organisasi mencoba beralih dari proyek percontohan AI ke produksi?

Di seluruh industri, tiga pola muncul secara rutin. Pertama, tim tidak memiliki jalur yang tertata dan dapat diandalkan dari pengembangan ke produksi. Mereka dapat membangun model di notebook, tetapi tidak ada cara baku untuk menjalankannya di produksi. Setiap penerapan menjadi proyek tersendiri, dan setiap kegagalan adalah kejutan. Kedua, infrastruktur tidak dapat berkembang sesuai kebutuhan. Sistem yang berfungsi dalam proyek percontohan gagal ketika diberi volume data nyata atau lalu lintas nyata. Ketiga, tim bekerja tanpa gambaran yang jelas. Mereka kekurangan observabilitas untuk mengetahui bagaimana sistem mereka sebenarnya berperforma, di mana mereka akan gagal, dan kapan harus campur tangan.

Apa yang menghubungkan ketiganya adalah tantangan mendasar yang sama — tim tidak memiliki pemahaman yang kuat tentang penskalaan dengan membagi pekerjaan ke lebih banyak mesin. Mereka mencoba memecahkan semuanya sekaligus alih-alih merencanakan urutan langkah secara sengaja. Saya memikirkannya sebagai tiga fase: membuatnya berfungsi, membenahinya, lalu mempercepatnya. Fase-fase ini tidak hanya satu kali — fase-fase ini berulang. Anda secara terus-menerus memprioritaskan apa yang rusak sekarang dan apa yang akan rusak selanjutnya. Tim yang sukses tahu fase yang sedang mereka jalani dan disiplin untuk tidak melangkah lebih jauh sebelum fondasinya kuat.

Di Anyscale, kami melihat tim datang pada setiap tahap. Beberapa masih mencoba membuatnya berfungsi — mereka membutuhkan jalur yang tertata dan dapat diandalkan dari pengembangan ke produksi. Tim lain sudah memiliki jalur tersebut, tetapi tenggelam dalam kompleksitas operasional dan perlu membenahi sistemnya. Dan banyak datang kepada kami karena mereka telah membangun sesuatu yang bekerja, tetapi tidak dapat mendorongnya ke skala yang dibutuhkan bisnis. Lapisan komputasi terpadu membantu pada setiap fase, tetapi titik awalnya bergantung pada masalah yang paling mendesak.

Di Attentive, Anda membantu menskalakan sistem AI yang mendukung ratusan juta pengguna. Apa hambatan arsitektur atau organisasi terbesar yang harus Anda atasi untuk mencapai tingkat skala tersebut?

Hambatan terbesar adalah kurva-S kompleksitas infrastruktur. Ketika kami mendorong model kami untuk menggabungkan lebih banyak data dan melayani lebih banyak pelanggan, kami mencapai titik balik dalam kapasitas komputasi di mana bahkan node terbesar yang telah ditingkatkan kapasitasnya secara vertikal mengeluarkan kesalahan out-of-memory, dan penskalaan horizontal secara sederhana tidak cukup. Kapasitas komputasi kami tidak dapat mengimbangi skala data kami.

Respons alami adalah menambahkan lebih banyak alat untuk mengatasi keterbatasan. Ini adalah cara kerja yang saya gunakan berdasarkan pengalaman sebelumnya. Setiap alat memecahkan masalah yang spesifik tetapi menambah kompleksitas operasional. Alur pemrosesan ML kami berisiko menjadi kumpulan integrasi yang tambal sulam, dan setiap kasus penggunaan baru berarti lebih banyak pekerjaan menghubungkan sistem, lebih banyak mode kegagalan, biaya lebih tinggi, dan lebih banyak overhead untuk tim platform.

Yang akhirnya memungkinkan kami meningkatkan skala adalah menyatukan pemrosesan data, pelatihan, inferensi, dan penyediaan model di Ray dan Anyscale. Dampaknya langsung terlihat: biaya infrastruktur jauh lebih rendah, siklus pelatihan jauh lebih cepat meski volume data meningkat, dan kemampuan menskalakan model untuk melayani pelanggan yang jumlahnya lebih besar beberapa orde magnitudo.

Apa yang memotivasi keputusan Anda untuk bergabung dengan Anyscale pada tahap ini, dan bagaimana Anda melihat peran Field CTO dalam membentuk adopsi AI di perusahaan?

Pengalaman saya membawa Anyscale ke Attentive secara fundamental mengubah pendekatan saya untuk membangun platform ML. Sebelumnya, porsi yang cukup besar dari biaya rekayasa platform berasal dari pekerjaan menghubungkan sistem yang terpisah. Dengan Anyscale, kami dapat menghilangkan sebagian besar overhead itu dan sebaliknya fokus pada pengalaman pengembang, keandalan, dan kinerja. Perubahan itu memiliki dampak besar pada produktivitas tim dan hasil sistem. Bergabung dengan Anyscale adalah kesempatan untuk bekerja pada masalah itu secara penuh waktu dan membantu organisasi lain mengatasi transisi yang sama. Sebagai Field CTO, peran saya terutama adalah mengubah pelajaran praktis tersebut menjadi pola yang dapat diterapkan berulang kali oleh pelanggan kami saat mereka menskalakan AI.

Banyak perusahaan masih terjebak dalam fase “pilot” AI. Dari perspektif Anda, apa yang secara khusus rusak ketika perusahaan mencoba menskalakan eksperimen awal ke sistem produksi?

Ketika perusahaan pindah dari eksperimen AI ke produksi, yang gagal jarang hanya modelnya, melainkan sistem dan pengoperasian di sekitarnya. Dalam beberapa kasus, tim mencapai batas infrastruktur lebih awal dan tidak dapat melatih atau menyediakan model pada skala yang diinginkan. Mereka harus membatasi jumlah pelanggan atau kasus penggunaan yang dilayani model sebagai hasilnya. Lebih sering, masalah muncul di produksi akibat kasus khusus yang tidak terduga atau perubahan data. Salah satu titik kegagalan paling umum adalah memori: ketika ukuran data, distribusi, atau modalitas bergeser, pekerjaan kehabisan memori dan gagal. Masalah-masalah ini sulit untuk diprediksi dan pemulihan otomatis setelahnya bahkan lebih sulit. Kenyataannya adalah kegagalan tidak dapat dihindari dalam produksi AI. Tujuannya bukan untuk menghindarinya sepenuhnya, tetapi untuk mendeteksi dengan cepat, memahami, dan membangun sistem self-healing untuk menyelesaikannya sebelum gangguan memengaruhi bisnis.

Ray, kerangka komputasi terdistribusi yang dibuat oleh tim di balik Anyscale, semakin banyak digunakan sebagai fondasi untuk beban kerja AI. Mengapa eksekusi terdistribusi menjadi lapisan penting dalam infrastruktur AI modern?

Eksekusi terdistribusi dan manajemen beban kerja telah menjadi syarat dasar untuk alur pemrosesan AI. Beban kerja AI modern secara inheren paralel dan intensif sumber daya. Pelatihan, inferensi, dan pemrosesan data semua memerlukan koordinasi sejumlah besar tugas di seluruh CPU dan GPU, sering secara dinamis. Dalam lanskap komputasi saat ini, kompleksitas pengelolaan beban kerja ini pada sumber daya yang terbatas menimbulkan beban operasional besar. Sistem tradisional tidak dirancang untuk tingkat kompleksitas atau skala ini. Kerangka kerja seperti Ray sangat penting karena memungkinkan tim untuk menskalakan beban kerja secara mulus dari satu mesin ke ribuan node dengan mengotomatisasi koordinasi yang mendasarinya. Perubahan ini mencerminkan pergeseran yang lebih luas menuju komputasi yang dirancang sejak awal untuk AI, di mana infrastruktur dirancang khusus untuk pola beban kerja AI daripada disesuaikan dari paradigma yang lebih lama.

Seiring lebih banyak perusahaan mengadopsi Ray melalui platform Anyscale, apa perbedaan yang Anda lihat antara organisasi yang memstandarkan pada pendekatan terpadu versus mereka yang menghubungkan alat yang terpisah?

Perbedaan antara platform terpadu dan alat yang terfragmentasi pada akhirnya berkaitan dengan fokus dan efisiensi. Ketika tim bergantung pada beberapa sistem yang tidak saling terhubung, mereka menghabiskan sejumlah besar waktu untuk menghubungkan sistem-sistem tersebut, mengelola inkonsistensi, dan merespons kegagalan di seluruh lingkungan yang berbeda. Ini menciptakan overhead operasional dan memperlambat eksperimen. Sebaliknya, pendekatan terpadu memungkinkan tim untuk mengonsentrasikan upaya mereka pada perbaikan satu sistem, yang mengarah pada keandalan yang lebih baik, kinerja yang lebih kuat, dan pengalaman pengembang yang lebih lancar. Ini juga menyederhanakan proses on-call dan debugging karena pola konsisten dan lebih mudah dipahami. Hasilnya bukan hanya efisiensi teknis, tetapi juga kejelasan organisasi.

Berdasarkan pengalaman Anda membangun platform ML yang mencakup seluruh proses, seberapa pentingkah pengalaman pengembang (DevEx) dalam mempercepat adopsi AI di seluruh tim?

Pengalaman pengembang adalah salah satu area dengan pengaruh tertinggi untuk mempercepat adopsi AI. Ketika tim platform berinvestasi dalam membuat sistem lebih mudah digunakan melalui alur kerja yang distandarisasi, templat, dan pengurangan hambatan infrastruktur, mereka memperkuat produktivitas setiap insinyur di organisasi. Ini sangat penting dalam AI di mana kecepatan perubahan sangat cepat dan tim perlu beriterasi dengan cepat untuk tetap kompetitif. Perbaikan pengalaman pengembang secara langsung menghasilkan eksperimen yang lebih cepat, waktu menuju produksi yang lebih singkat, dan dampak bisnis yang lebih besar. Alat coding AI memperkuat fundamental DevEx ini. Dalam banyak hal, ini adalah cara yang paling mudah diskalakan untuk meningkatkan kecepatan di seluruh organisasi.

Efisiensi biaya menjadi perhatian utama saat beban kerja AI meningkat skalanya. Apa saja cara yang paling diabaikan yang dapat digunakan perusahaan untuk mengurangi biaya infrastruktur tanpa mengorbankan kinerja?

Saat beban kerja AI meningkat skalanya, manajemen biaya menjadi lebih penting dan lebih kompleks. Salah satu tantangan yang paling diabaikan adalah bagaimana biaya dapat melonjak dengan cepat karena ketidakefisienan, terutama dengan infrastruktur berbasis GPU. Klaster besar dapat memulai ribuan node, dan jika sumber daya tidak dikelola atau dimatikan dengan benar, biaya akan menumpuk dengan cepat. Ini menciptakan bentuk perluasan sumber daya yang tidak terkendali dan khas AI, di mana penggunaan komputasi tumbuh lebih cepat daripada tim dapat melacak atau mengendalikan. Mengatasi ini memerlukan kombinasi tata kelola yang kuat, visibilitas, dan otomatisasi, seperti autoscaling, auto-termination, dan manajemen sumber daya terpusat. Pada skala besar, efisiensi biaya tidak hanya menjadi perhatian operasional, tetapi juga menjadi bagian fundamental dari desain sistem.

Anda telah menangani berbagai teknologi, mulai dari penyimpanan fitur model (feature stores) hingga sistem inferensi waktu nyata. Menurut Anda, bagaimana keseimbangan antara beban kerja AI batch dan waktu nyata berkembang?

Keseimbangan antara beban kerja AI batch dan waktu nyata belum berubah secara fundamental — itu tetap menjadi pertanyaan tentang persyaratan bisnis. Pemrosesan batch biasanya lebih hemat biaya dan lebih mudah dioperasikan, membuatnya cocok untuk banyak kasus penggunaan. Sistem waktu nyata penting ketika latensi langsung memengaruhi pengalaman pengguna atau hasil bisnis, seperti dalam aplikasi obrolan atau deteksi penipuan. Kedua pendekatan ini akan terus berjalan berdampingan, dan kunci untuk organisasi adalah membangun platform yang dapat mendukung keduanya secara efektif. Keputusan akhirnya bergantung pada trade-off antara biaya, latensi, dan keandalan.

Ke depan, seperti apa platform AI perusahaan yang matang dalam 2–3 tahun — dan bagaimana alat seperti Ray dan platform seperti Anyscale berperan dalam masa depan itu?

Dalam beberapa tahun ke depan, platform AI perusahaan yang matang akan ditandai dengan beberapa karakteristik kunci. Mereka akan bergantung pada infrastruktur terpadu yang mendukung seluruh siklus hidup AI, dari pemrosesan data ke pelatihan ke inferensi, bukan kumpulan alat yang tidak saling terhubung. Mereka akan memiliki pengoperasian berkelanjutan yang kuat setelah penerapan, dengan observabilitas yang diotomatisasi agen, keandalan, dan debugging yang cepat. Manajemen biaya akan dapat diprediksi dan dikelola, memungkinkan organisasi untuk menskalakan secara berkelanjutan. Dan mungkin yang paling penting, mereka akan memungkinkan kecepatan pengembangan yang tinggi, membuatnya mudah bagi tim untuk berpindah dari ide ke produksi dengan cepat. Platform seperti Ray dan Anyscale memainkan peran sentral dalam masa depan ini dengan menyediakan fondasi yang dirancang untuk AI yang memungkinkan tingkat skala dan efisiensi ini.

Terima kasih atas wawancara yang luar biasa. Pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Anyscale.