Jeronimo De Leon, Manajer Produk Senior AI di Backblaze – Seri Wawancara

Jeronimo De Leon adalah seorang pemimpin manajemen produk yang berpengalaman dengan lebih dari 10 tahun pengalaman mengemudi inovasi yang didorong oleh AI di lingkungan perusahaan dan startup. Saat ini menjabat sebagai Manajer Produk Senior, AI di Backblaze, ia memimpin pengembangan fitur AI/ML, fokus pada bagaimana Backblaze meningkatkan siklus hidup data AI untuk arsitektur MLOps pelanggan, dan menerapkan alat dan agen AI untuk mengoptimalkan operasi internal.

Backblaze adalah perusahaan penyimpanan awan dan cadangan yang menyediakan cadangan komputer otomatis tanpa batas untuk individu dan bisnis, serta solusi penyimpanan objek yang dapat diskalakan untuk beban kerja perusahaan, media, dan aplikasi. Layanan mereka fokus pada keterjangkauan, keamanan data, pemulihan yang mudah, dan kompatibilitas yang mulus dengan sistem yang ada.

Anda membawa lebih dari satu dekade pengalaman dalam manajemen produk yang didorong oleh AI – dari bekerja dengan LLM di Intelas dan RAG di Welcome.AI hingga meluncurkan chatbot Bloomberg dan sekarang memimpin upaya AI di Backblaze. Bagaimana pengalaman-pengalaman ini membentuk pandangan Anda tentang peran penyimpanan awan dalam menskalakan alur kerja AI/ML?

Sejak memulai proyek AI di IBM Watson, saya telah melihat percepatan inovasi yang dramatis. Apa yang dulunya membutuhkan waktu bertahun-tahun untuk berpindah dari penelitian ke produksi sekarang terjadi dalam beberapa bulan. Namun, tantangan infrastruktur dasar tetap sama: di mana data, di mana kita menyimpannya, dan bagaimana kita mengaksesnya dengan efisien?

Sebelumnya, keterbatasan adalah komputasi dan model, tetapi sekarang kita memiliki kelebihan model pra-dilatih dan banyak penyedia komputasi. Namun, ketika memulai proyek sebelumnya, kita biasanya harus memulai dengan proyek pengumpulan dan pengolahan data, itu masih sama hari ini. Saya secara konsisten melihat organisasi menghadapi bottleneck yang sama dalam konsolidasi data dari sumber yang berbeda. Organisasi yang berhasil adalah mereka yang memecahkan masalah akses data lebih awal, menciptakan fondasi yang skalabel dengan kematangan AI mereka. Keputusan arsitektur penyimpanan Anda menentukan seberapa cepat Anda dapat memulai pelatihan model dan berinovasi.

Di mana Anda melihat penyimpanan awan memainkan peran paling kritis di seluruh siklus AI – dari pengambilan data dan pengolahan hingga pelatihan, penyetelan, inferensi, dan pemantauan?

Penyimpanan awan sangat penting di seluruh siklus AI, dengan tahap kunci dalam agregasi data, pengolahan, pelatihan, dan inferensi. Di awal, konsolidasi sistematis, pengkatalogan, dan pengamanan arsip mempercepat proyek baru dan membuatnya mudah untuk menguji model yang muncul. Data yang bersih dan diproses dengan baik sering kali mengalahkan hanya memiliki lebih banyak data, yang membuat penyimpanan sentral untuk kualitas serta skala. Salah satu kalimat favorit Backblaze saya adalah, “Itu bukanlah menyimpan jika itu data.” Anda tidak pernah tahu seberapa berharganya, jadi organisasi harus mengumpulkan sebanyak mungkin. Selama pelatihan, penyimpanan yang dapat diskalakan memastikan throughput dataset besar, dan pada inferensi, menangkap output prediksi dan umpan balik pengguna memungkinkan iterasi berkelanjutan. Di akhir, penyimpanan adalah fondasi yang menentukan seberapa cepat Anda dapat berinovasi dengan AI.

Apa yang menjadi hambatan terbesar yang dihadapi organisasi saat menskalakan penyimpanan untuk AI, dan bagaimana tantangan-tantangan tersebut berbeda antara startup yang lebih kecil dan perusahaan besar?

Hambatan terbesar dalam menskalakan penyimpanan untuk AI adalah biaya, manajemen data, dan aksesibilitas. Menyimpan volume data yang besar hanya sebagian dari tantangan; itu juga harus diatur, dapat diambil, dan diperintah dengan kontrol yang tepat. Data yang bersih dan terstruktur dengan baik sering kali lebih berharga daripada hanya memiliki lebih banyak data.

Bagi startup, tantangan awal adalah mengumpulkan cukup data untuk melatih dan memperhalus model mereka. Setelah mereka memiliki itu, biaya dan arsitektur menjadi hambatan berikutnya.

Bagi perusahaan besar, tantangan adalah kompleksitas. Data mereka melimpah tetapi terfragmentasi di seluruh silo, sistem warisan, dan rezim kepatuhan, membuat konsolidasi dan aksesibilitas sulit.

Organisasi yang berhasil memperlakukan penyimpanan sebagai pengungkit strategis yang skalabel dalam biaya, kinerja, dan aksesibilitas seiring dengan kematangan AI mereka.

Di antara biaya, latensi, keamanan, dan kepatuhan, mana yang Anda lihat sebagai hambatan paling mendesak untuk menskalakan AI saat ini, dan bagaimana organisasi harus memprioritaskan mengatasi hambatan tersebut?

Di antara biaya, latensi, keamanan, dan kepatuhan, latensi adalah salah satu hambatan paling mendesak. Ini secara langsung memengaruhi baik pelatihan model dan inferensi, dan inferensi khususnya membentuk pengalaman pengguna. Organisasi melakukan semua yang mereka bisa untuk mengurangi latensi pada tahap ini, karena keterlambatan dalam menyajikan prediksi dapat melemahkan adopsi.

Biaya tetap menjadi tantangan konstan karena volume data tumbuh, dan kepatuhan menjadi lebih kritis karena organisasi berkembang, terutama di industri yang diatur. Startup sering kali fokus pertama pada biaya dan latensi, sedangkan perusahaan besar harus menyeimbangkan latensi dengan tuntutan tata kelola dan peraturan. Prioritas harus membangun penyimpanan yang meminimalkan latensi untuk pelatihan dan inferensi, sambil tetap efisien biaya dan patuh saat adopsi AI berkembang.

Perusahaan sering menekankan kebutuhan akan fleksibilitas dan akses mudah ke data untuk mengemudi inovasi AI. Dari perspektif Anda, apa yang dimaksud dengan fleksibilitas yang sebenarnya dalam akses data, dan mengapa itu sangat penting?

Dalam sebuah ceramah baru-baru ini, saya menekankan gagasan tentang penyimpanan pintar. Fleksibilitas yang sebenarnya dalam akses data dimulai dengan memusatkan informasi ke dalam arsip yang terstruktur dan dapat dicari. Itu berarti mempersatukan format yang beragam, menormalkan dan menandai untuk konsistensi, dan memungkinkan pengindeksan untuk kueri di masa depan. Pendekatan ini memastikan bahwa data tidak hanya disimpan tetapi juga dibuat dapat digunakan.

Ini sangat penting karena itu meletakkan dasar untuk analitik dan pemodelan. Ketika data terstruktur dan dapat dicari, tim dapat bergerak lebih cepat, bereksperimen lebih bebas, dan mengurangi latensi dalam pelatihan dan inferensi. Tanpa fleksibilitas seperti ini, penyimpanan dengan cepat menjadi bottleneck daripada pengungkit untuk inovasi AI.

Apakah Anda dapat membagikan studi kasus nyata – seperti dengan pelanggan seperti Decart AI atau Wynd Labs – yang menunjukkan bagaimana pendekatan penyimpanan awan yang tepat dapat langsung memungkinkan inovasi AI?

Ini adalah dua contoh bagus tentang bagaimana pendekatan penyimpanan awan yang tepat dapat langsung memungkinkan inovasi AI. Decart fokus pada pelatihan model, di mana memindahkan data ke komputasi dengan efisien sangat kritis. Dengan Backblaze B2 mereka menskalakan hingga 16PB dalam 90 hari, melatih di seluruh klaster GPU dengan biaya egress nol, dan mencapai efisiensi sepuluh kali lipat dari pesaing. Keandalan dan efisiensi itu membebaskan mereka untuk berinovasi lebih cepat.

Wynd Labs fokus pada akses pelanggan ke data. Mereka mengingest petabyte harian dan melayani puluhan petabyte bulanan. Dengan kinerja tinggi Backblaze dan egress gratis, mereka dapat menskalakan ke permintaan perusahaan dan menginvestasikan kembali sumber daya ke dalam pengembangan produk. Kemampuan untuk menyajikan akses data dengan skala itu membuka peluang baru untuk platform mereka.

Dalam kedua kasus, strategi penyimpanan yang tepat mengubah infrastruktur dari hambatan menjadi pengungkit, memungkinkan perusahaan untuk fokus pada inovasi AI daripada mengelola biaya dan kompleksitas.

Bagaimana saran Anda untuk organisasi yang mencoba menyeimbangkan kinerja penyimpanan dengan efisiensi biaya?

Organisasi perlu memikirkan tentang penggunaan data jangka panjang mereka dengan produk mereka dalam pikiran. Mengumpulkan, memproses, memindahkan, dan menjalankan inferensi pada data akan menjadi inti dari bagaimana produk mereka berkembang. Jika mereka tidak memperhitungkan itu sekarang, biaya dan tantangan penyimpanan hanya akan bertambah seiring waktu. Karena AI akan menjadi bagian sentral dari produk dan organisasi mereka, penyimpanan harus dirancang dari awal untuk menyeimbangkan kinerja dengan efisiensi biaya sehingga dapat berkembang dengan mulus ketika mereka tumbuh.

Keamanan dan kepatuhan sangat penting dalam industri yang diatur. Bagaimana Anda melihat penyimpanan awan berkembang untuk mendukung kebutuhan tata kelola sambil tetap memungkinkan tim untuk berinovasi dengan cepat?

Tata kelola adalah bagian penting dari penyimpanan. Mempermudah akses dengan fondasi yang solid untuk bagaimana data dikelola, diamankan, dan diaudit sangat kritis. Saya melihat penyimpanan awan berkembang dengan kontrol yang lebih kuat seperti enkripsi default, izin yang halus, jejak audit, dan pilihan kediaman data. Sama pentingnya adalah garis keturunan data. Dalam AI, mengetahui dari mana data berasal, bagaimana data diproses, dan bagaimana data memasuki model sangat penting untuk kepatuhan dan kepercayaan.

Pada saat yang sama, platform penyimpanan meningkatkan kemudahan penggunaan sehingga tim dapat bergerak dengan cepat. Ketika tata kelola, garis keturunan, dan aksesibilitas bekerja bersama, organisasi dapat memenuhi persyaratan peraturan sambil terus berinovasi dengan AI dengan kecepatan.

Untuk organisasi yang mengevaluasi atau bermigrasi ke B2, apa saran atau panduan yang Anda berikan terkait implementasi – terutama mengenai migrasi data, integrasi dengan MLOps atau tumpukan komputasi yang ada, atau mengoptimalkan untuk throughput dan egress?

Karena B2 kompatibel dengan S3, itu terintegrasi langsung ke dalam MLOps dan tumpukan komputasi yang ada tanpa perlu arsitektur ulang. Kami sering bekerja dengan klien pada konsep bukti untuk memvalidasi migrasi, kinerja, dan integrasi sebelum menskalakan. Dari sana, fokusnya adalah pada mengoptimalkan throughput, pergerakan data, dan orkestrasi data sehingga tim dapat melatih di seluruh klaster, menjalankan inferensi, dan beriterasi dengan cepat tanpa terhambat oleh bottleneck infrastruktur.

Bagaimana Backblaze mengembangkan penawaran penyimpanannya untuk memenuhi kebutuhan yang muncul – terutama dengan tren sekitar LLM, dataset skala exabyte, dan strategi hybrid atau multi-awan?

Di Backblaze, kami fokus tidak hanya pada bagaimana data digunakan hari ini tetapi juga bagaimana data akan diorkestrasi di masa depan. Penyimpanan tidak lagi hanya sebuah arsip, tetapi menjadi alat yang memungkinkan akses cepat, pergerakan efisien, dan orkestrasi data yang andal di seluruh lingkungan. Dengan LLM dan dataset skala exabyte, fondasi akses mudah dan throughput tinggi ini akan sangat kritis tidak hanya untuk pelatihan dan inferensi tetapi juga untuk kelas agen AI yang muncul yang mengandalkan data untuk membuat proses lebih otonom. Hasilnya adalah fondasi penyimpanan yang memungkinkan inovasi sekarang dan mempersiapkan organisasi untuk apa yang akan datang.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Backblaze.