Val Bercovici, Chief AI Officer di WEKA – Seri Wawancara

Val Bercovici, Chief AI Officer di WEKA, adalah eksekutif AI dan infrastruktur data yang berfokus pada pengembangan teknologi yang menjadi dasar kecerdasan buatan generasi berikutnya. Sejak bergabung dengan WEKA sebagai Chief AI Officer pada Januari 2025, ia memusatkan perhatian pada pembangunan infrastruktur agen AI, mempercepat beban kerja pelatihan dan inferensi, serta meningkatkan ekonomi komputasi AI. Selain perannya di WEKA, Bercovici menjabat sebagai penasihat AI untuk Home Dock, penasihat strategis untuk FermiHDI dan The Hive, serta Ketua PencilDATA, di mana pekerjaannya meliputi AI, keamanan siber, blockchain, komputasi awan, dan infrastruktur data. Kariernya mencerminkan fokus jangka panjang pada pengembangan dan pemberian nasihat tentang teknologi baru yang dirancang untuk mendukung sistem AI yang semakin intensif data.

WEKA adalah perusahaan infrastruktur data berorientasi AI yang membangun platform berbasis perangkat lunak yang dirancang untuk memenuhi kebutuhan data yang menuntut pada kecerdasan buatan, pembelajaran mesin, komputasi berkinerja tinggi, dan beban kerja terakselerasi lainnya. Platform Data WEKA menyediakan arsitektur terpadu yang dapat beroperasi di lingkungan on‑premises, cloud, hybrid, dan edge, membantu menghilangkan kemacetan penyimpanan, meningkatkan pemanfaatan GPU, dan mempercepat pelatihan serta inferensi model AI. Perusahaan ini semakin memposisikan teknologinya di sekitar ekonomi inferensi yang muncul dan AI agen, dengan infrastruktur yang dirancang untuk memberikan akses data berkecepatan tinggi, latensi rendah, dan skala masif sekaligus menyederhanakan pipeline data AI yang kompleks. WEKA melayani perusahaan, penyedia cloud, organisasi riset, dan pengembang AI yang mengoperasikan beberapa lingkungan komputasi paling intensif di dunia.

Karier Anda telah membawa Anda dari merancang strategi cloud awal NetApp dan menjadi anggota dewan pendiri Kubernetes hingga membangun infrastruktur AI di WEKA. Bagaimana evolusi tersebut membentuk cara Anda memikirkan persiapan infrastruktur untuk fase berikutnya AI?

Setiap era dalam karier saya didefinisikan oleh pola yang sama: titik kemacetan bergeser, dan industri membutuhkan bertahun‑tahun untuk menyadarinya. Pada masa cloud dan Kubernetes awal, kami menyaksikan komputasi menjadi elastis dan orkestrasi menjadi titik hambatan baru. Setelah meninggalkan NetApp, di mana saya menjabat CTO pasca akuisisi SolidFire, saya pikir saya sudah tahu apa arti kecepatan: milidetik rendah untuk pembacaan byte pertama yang benar‑benar acak di bawah beban kerja produksi.

Alasan saya bergabung dengan WEKA memang sangat geeky. Hanya ada satu statistik: pembacaan byte acak pertama tanpa cache memakan 70 mikrodetik, yang bukan angka kelas penyimpanan. Saya belum pernah membayangkan latensi tingkat mikrodetik dari sistem kelas ini. Itu menjadi pencerahan: teknologi ini dapat melayani aplikasi memori, aplikasi kelas DRAM seperti Redis dan cache KV, bukan sekadar penyimpanan. Dan tepat pada waktunya, inferensi mulai melampaui pelatihan karena industri harus memonetisasi model‑model ini, dan agen‑agen muncul untuk menjadikan memori keseluruhan permainan.

Itulah perspektif yang saya bawa ke infrastruktur AI. Kami pernah melihat skenario ini sebelumnya. Cloud FinOps muncul karena perusahaan‑perusahaan menyiapkan infrastruktur tanpa ketatnya unit economics, lalu menerima tagihan besar. AI berada pada kurva yang sama, namun bergerak lebih cepat. Saat bisnis tak terhindarkan menolak token‑maxxing karena munculnya tagihan konsumsi API yang jauh melampaui anggaran token yang direncanakan, kami menyaksikan kebangkitan AI FinOps. Inilah titik di mana organisasi berhenti memperlakukan inferensi sebagai utilitas murah, dan mulai mengelola efisiensi token sebagai disiplin keuangan. AI FinOps dimulai dengan tokenomics: mengoptimalkan setiap lapisan perangkat keras dan perangkat lunak pada stack inferensi yang memengaruhi biaya per token. Saat ini, pemborosan terbesar dalam stack tersebut adalah GPU mahal dan ASIC baru yang menganggur, menunggu memori dan data (dikenal sebagai ‘decode’) alih‑alih FLOPS (dikenal sebagai ‘prefill’). Siapa pun yang memperbaiki hal itu akan menguasai fase berikutnya AI.

Gedung Putih menjaga kerahasiaan detail kerangka kerja keamanan AI baru mereka. Bagaimana perusahaan dapat mempersiapkan diri untuk persyaratan regulasi ketika mereka belum tahu persis apa yang akan diuji atau diwajibkan?

Perusahaan tidak boleh menunggu daftar periksa akhir. Tes‑tes spesifik akan berubah, tetapi kewajiban di baliknya tidak akan berubah: Anda harus dapat menunjukkan apa yang dilakukan model AI Anda, data apa yang disentuhnya, dan bagaimana perilakunya pada titik waktu tertentu. Menunggu kini bukan pilihan secara global. EU AI Act mulai berlaku bulan ini, dan mengklasifikasikan sebagian besar orkestrasi agen sebagai berisiko tinggi.

Itu berarti pekerjaan persiapan adalah pekerjaan infrastruktur. Garis keturunan data, observabilitas, reproduktifitas, dan kemampuan merekonstruksi status model atas permintaan semuanya krusial bagi perusahaan. Akhirnya, organisasi perlu menerapkan model guardrail sebelum output, dengan latensi dan anggaran token yang terkait untuk lapisan pertahanan semantik. Jika Anda membangun kemampuan tersebut sekarang, setiap kerangka kerja menjadi sekadar latihan format. Menunggu aturan final justru membuat Anda menambahkan akuntabilitas pada sistem yang tidak pernah dirancang untuk menjelaskan dirinya. Penambahan tersebut selalu lebih mahal daripada membangunnya sejak awal.

Pada akhirnya, solusi untuk membangun AI yang aman adalah lebih banyak AI, yang diterapkan secara optimal dan sangat sengaja.

Jenis tuntutan infrastruktur baru apa yang dapat muncul dari pengujian keamanan AI, dan bagaimana beban kerja tersebut berbeda dari pelatihan atau inferensi model konvensional?

Pelatihan adalah seperti selang air yang mengalir deras. Anda mendorong volume data yang sangat besar melalui model dalam pola yang berkelanjutan dan dapat diprediksi. Pengujian keamanan justru sebaliknya: ribuan skenario evaluasi, probing berulang, perbandingan perilaku versi‑per‑versi, dan red‑teaming adversarial yang tidak pernah berakhir.

Profil ini penting. Pelatihan dan pengujian keamanan bersifat bursty, berat‑baca, dan komparatif. Ia menghasilkan serta mengonsumsi sejumlah besar status menengah. Model guardrail harus bersifat heterogen dan berlapis, diimplementasikan dalam batas latensi yang ketat, memperkuat evaluasi dengan dimensi kriteria keamanan baru ini. Untuk model yang sangat maju atau mampu siber, profil beban kerja menjadi persisten 24/7, bukan episodik. Anda tidak menjalankan satu tes lalu menyimpan hasilnya. Anda menjalankan beban kerja swarm agen yang bersaing di produksi dengan komputasi, memori, dan bandwidth data untuk aplikasi kritis yang mereka lindungi. Setelah kualitas dan kecepatan, sebagian besar infrastruktur saat ini tidak dirancang untuk prinsip ketiga ini.

Ada juga masalah pengukuran di bawahnya. Sebagian besar benchmark AI saat ini menjalankan 8.000 token atau kurang, satu prompt, satu respons. Saya bercanda bahwa itu adalah benchmark artifisial untuk kecerdasan buatan artifisial. Pada pertengahan 2026, beban kerja agen nyata menjalankan 100.000 hingga 400.000 token konteks melintasi ribuan giliran. Jika evaluasi keamanan mewarisi benchmark main‑main itu, kita akan menyertifikasi sistem untuk dunia yang belum ada. Regulator sudah membangun otot yang lebih baik di sini: NIST telah merilis alat evaluasi keamanan agen secara open‑source, dan hasil awal menunjukkan serangan hijack agen baru berhasil dengan beberapa kali tingkat baseline yang dikenal. Itulah jenis pengujian berkelanjutan, adversarial, dan mahal yang saya harapkan menjadi fokus kerangka kerja keamanan.

Haruskah organisasi membangun kapasitas komputasi dan data berlebih khusus untuk beban kerja kepatuhan dan keamanan di masa depan, atau ada cara yang lebih efisien untuk merancang ketidakpastian itu?

Membeli GPU berlebih dan berharap pemanfaatannya naik hanya akan meninggalkan modal terperangkap dalam perangkat keras yang menyusut nilainya.

Jawaban yang efisien adalah infrastruktur yang dapat beralih antara beban kerja produksi dan evaluasi tanpa tumpukan terpisah. Itu pada dasarnya adalah masalah data. Jika Anda dapat memindahkan dan menggunakan kembali data secara efisien, mempertahankan konteks antar beban kerja, dan menjaga akselerator Anda sibuk melakukan pekerjaan nyata, kepatuhan menjadi biaya tambahan alih‑alih pembangunan paralel. Ekonomi AI semakin bergantung pada berapa banyak nilai yang Anda ekstrak dari setiap token, byte, dan watt. Lakukan dengan benar, dan Anda dapat menghasilkan 3–4× nilai lebih banyak dari infrastruktur yang sama, atau mengurangi jejak rak hingga 75 %. Kepatuhan harus dipertahankan pada standar yang sama.

Kerangka kerja saat ini dilaporkan berfokus pada model tertutup tingkat lanjut sambil mengecualikan model berbobot terbuka. Tantangan infrastruktur atau keamanan apa yang dapat muncul dari memperlakukan dua kategori tersebut secara berbeda?

Jika Anda memperlakukan model tertutup dan model berbobot terbuka secara berbeda, Anda akan berakhir dengan dua kerangka kepatuhan untuk teknologi yang melakukan hal yang sama, dan kesenjangan di antara keduanya adalah tempat risiko berada.

Model berbobot terbuka dapat di‑fine‑tune dan dideploy di lingkungan di mana penyedia asli tidak memiliki visibilitas sama sekali. Mengatur penyedia tidak membantu di sana. Dan pemisahan ini sudah terlihat: kontrol ekspor diterapkan pada model frontier tertutup terbaru tahun ini, sementara model berbobot terbuka melintasi batas secara bebas dan kini berada di puncak papan peringkat kemampuan publik. Namun administrasi tetap mendefinisikan model frontier, sehingga tata kelola tidak dapat berhenti pada model itu saja. Anda memerlukan visibilitas ke mana model dijalankan, data apa yang diaksesnya, prompt, respons, dan metadata apa yang disimpan, bagaimana model dimodifikasi, serta apakah infrastruktur di bawahnya memang dapat mendukung AI yang diatur pada skala. Pembaruan baru pada ISO27001 dan SOC2 akan diperlukan.

Jawaban saya adalah “percaya tapi verifikasi”. Jika infrastruktur Anda menyediakan kapasitas token, Anda dapat menjalankan guardrail heterogen terhadap model apa pun sebelum outputnya dikirim: domestik atau asing, terbuka atau tertutup. Verifikasi objektif mengalahkan kepercayaan buta atau ketidakpercayaan buta berdasarkan asal model. Saat model terbuka berkembang, kemampuan verifikasi itu berada di lapisan infrastruktur, dan di situlah perusahaan akan membedakan diri. Kebijakan dapat menentukan model mana yang diizinkan. Infrastruktur memutuskan apakah model tersebut dapat dideploy secara bertanggung jawab dan ekonomis.

Seiring agen AI menjadi lebih otonom dan beroperasi pada konteks yang lebih panjang, bagaimana hal itu mengubah jumlah data, memori, dan komputasi yang harus dialokasikan organisasi untuk pemantauan dan keamanan?

Chatbot hanyalah sebuah prompt dan respons. Agen otonom adalah proses yang berjalan. Ia menyentuh puluhan sistem, mengambil informasi, membuat keputusan menengah, dan mengakumulasi status selama jam atau hari sebelum menyelesaikan tugas.

Anda tidak dapat memantau itu dengan sampling token atau respons individu. Anda harus menangkap urutan lengkap: apa yang diketahui agen, kapan ia mengetahuinya, dan apa yang dilakukannya selanjutnya. Setiap jam agen berjalan, statusnya tumbuh, begitu pula memori, pergerakan data, dan infrastruktur yang diperlukan untuk menangkap serta menganalisisnya. Pemantauan tidak lagi menjadi fitur logging, melainkan beban kerja kelas satu dengan anggaran sumber daya sendiri.

Pertahanan adalah tempat urgensi muncul. Masalah memori AI menjadi masalah keamanan. Agen coding dapat diputar, dikirim, dan dimatikan. Agen keamanan siber tidak dapat. Ia harus mempertahankan konteks melintasi pergantian shift harian di pusat operasi keamanan, pembaruan model yang sering, dan kampanye serangan multi‑tahap yang dulu memakan minggu, kini beroperasi pada kecepatan mesin yang terkoordinasi. Ketika memori kerja AI ini di‑evict dan dihitung ulang dari nol setiap beberapa menit, agen yang mendeteksi perilaku anomali pada jam pertama insiden tidak memiliki memori pada jam kedua. Penyerang tidak memiliki masalah itu. Agen mereka terus‑menerus mengidentifikasi dan mengejar kelemahan, dan rantai serangan kini selesai pada kecepatan mesin yang dioptimalkan tokenomics, sehingga pertahanan siber berbasis AI harus berjalan secara otonom 24/7. Dan ini bukan teori. Vendor keamanan sedang menyiapkan agen siber 24/7 saat ini, dan hal pertama yang mereka temukan adalah ekonomi kerja tidak mirip beban kerja chat. Beberapa organisasi membutuhkan agen tersebut di edge, di fasilitas di mana Anda tidak dapat mengirim rak GPU atau bahkan pendingin tahun ini. Ujian nyata untuk AI perusahaan adalah retensi konteks berkelanjutan, bukan inferensi sesaat. Ini menjadi pertarungan attrisi token, dan siapa yang memecahkan memori konteks persisten pada skala akan menggerakkan aplikasi killer horizontal pertama di AI perusahaan: swarm agen biru yang selalu aktif.

Anda pernah menyebutkan pentingnya “memori konteks” seiring beban kerja AI bergerak melampaui chat sederhana menuju agen persisten. Apakah memori konteks juga dapat menjadi penting untuk audit, reproduksi, atau penyelidikan perilaku AI?

Tentu saja, dan itu merupakan kasus penggunaan penting. Selama bertahun‑tahun, memori dianggap sebagai cerita performa: seberapa cepat Anda dapat memberi makan GPU, berapa banyak konteks yang dapat dipertahankan. Begitu agen beroperasi secara otonom, memori yang sama menjadi bukti. Jika agen membuat keputusan berdasarkan konteks yang dikumpulkan selama berhari‑hari, prompt dan output akhir hampir tidak memberi tahu mengapa ia bertindak. Penjelasannya berada pada status yang terakumulasi.

Secara teknis, sebagian besar status itu berada di cache KV, dan industri masih memperlakukannya sebagai ruang scratch yang dapat dibuang, bukan data tahan lama. Jika Anda mempertahankan status itu dan dapat mengambilnya secara efisien, Anda dapat merekonstruksi apa yang sistem ketahui pada saat ia bertindak. Tim akan menggunakan itu untuk debugging terlebih dahulu, kemudian untuk evaluasi keamanan, dan akhirnya, seseorang akan membutuhkannya dalam penyelidikan. Membuang memori konteks berarti membuang satu‑satunya catatan yang menjelaskan mengapa AI Anda melakukan apa yang dilakukannya.

Apakah regulasi AI pada akhirnya akan memaksa perusahaan menyimpan jauh lebih banyak informasi tentang input model, output, checkpoint, garis keturunan data, dan aktivitas agen? Apa implikasinya bagi arsitektur infrastruktur AI?

Secara arah, ya. Seiring sistem AI menjadi lebih konsekuensial, persyaratan visibilitas akan meluas untuk mencakup setiap langkah pipeline. Anda sudah dapat melihat sinyal awal: tim‑tim berencana menyimpan memori konteks usang di tier penyimpanan objek yang lebih murah semata‑mata untuk tujuan audit, sebelum regulasi apa pun memintanya.

Otentikasi pemantauan dengan ketahanan mutlak sangat penting. Manipulasi log dan artefak forensik lainnya oleh agen berbahaya telah menjadi hal rutin, memaksa penerapan sistem verifikasi kriptografis yang rumit dan tidak rentan terhadap target integritas terpusat. Log transparansi sederhana atau rantai hash tidak cukup untuk melawan kemampuan kolusi swarm agen terkoordinasi. Arsitektur blockchain publik yang sangat terdesentralisasi sangat cocok untuk ini, menyoroti nilai Integrity yang sering terlewatkan, di tengah triad C‑I‑A keamanan siber.

Retensi bukan sekadar masalah penyimpanan berskala besar yang menakutkan. Bagian sulitnya adalah menjaga informasi itu tepercaya, terorganisir, terindeks, dan dapat diambil dengan cepat cukup untuk berguna di bawah tenggat waktu, baik itu datang dari regulator, respons insiden, atau ruang sidang. Petabyte aktivitas agen yang tidak dapat Anda query menjadi liabilitas, bukan catatan. Pergeseran arsitektur bergerak dari “lebih banyak penyimpanan” ke infrastruktur yang dirancang di sekitar data AI yang dapat diverifikasi secara objektif, persisten, dan dapat diquery sebagai beban kerja inti.

Banyak organisasi fokus pada pembelian GPU lebih banyak, tetapi di mana Anda melihat bottleneck infrastruktur yang kurang jelas muncul saat beban kerja AI berskala dan persyaratan keamanan menjadi lebih menuntut?

GPU mendapat sorotan karena bukan item anggaran yang tidak signifikan. Namun GPU dan terutama akselerator baru yang dioptimalkan untuk decode (ASIC+SRAM) jarang menjadi kendala sebenarnya. Bandwidth memori, gravitasi data dan pergerakannya, performa penyimpanan, serta jaringan menentukan apakah akselerator tersebut melakukan pekerjaan produktif atau menunggu dalam kondisi tidak terpakai.

Seiring AI menjadi lebih berat pada konteks, dinding memori menjadi kendala penentu. Anda dapat terus menambah GPU, tetapi jika mereka menghabiskan siklus untuk menghitung ulang token atau memindahkan konteks antar sistem, Anda membayar kerja yang terbuang, berulang‑ulang. Menskalakan dinding memori berarti membuat lapisan data berperilaku seperti penyimpanan bersama, namun beroperasi pada kecepatan memori sesungguhnya. Garis kecepatan yang berdekatan dengan HBM penting bagi gelombang solusi offloading cache KV yang kini tiba: semua solusi tersebut harus memberikan performa kelas memori sejati agar tokenomics menjadi masuk akal. Nilai retensi untuk cache KV adalah diskusi pusat biaya, sekunder terhadap pusat profit. Dan jika membaca konteks cache lebih lambat daripada menghitung ulangnya, cache menjadi tidak berharga bagi persamaan bisnis. Yang penting bukan berapa banyak GPU yang Anda miliki, melainkan seberapa produktif tiap GPU. Ekonomi AI berakhir pada nilai yang Anda ekstrak dari setiap token, byte, dan watt, dan persyaratan keamanan hanya akan meningkatkan taruhan pada perhitungan itu.

Ke depan, apakah Anda memperkirakan keamanan dan kepatuhan AI akan menjadi beban kerja infrastruktur yang terpisah, serupa dengan bagaimana keamanan siber berkembang menjadi lapisan teknologi perusahaan yang berdiri sendiri?

Kami akan melihat keamanan dan kepatuhan AI menjadi beban kerja yang terpisah, dan paralelisme dengan keamanan siber berjalan dua arah. Keamanan menjadi lapisan tersendiri setelah industri menerima bahwa itu tidak dapat menjadi latihan sesekali. Industri asuransi siber menjadikan hal itu wajib. Keamanan AI berada pada lintasan wajib yang sama seiring model menjadi lebih mampu dan lebih otonom.

Namun kita harus belajar dari kesalahan keamanan. Keamanan menjadi tambahan: tumpukan terpisah, anggaran terpisah, tim terpisah yang menemukan masalah setelah fakta. Infrastruktur keamanan tidak boleh mengulangi kesalahan itu. Pemantauan, evaluasi, auditabilitas, dan retensi tak dapat diubah harus berada di dalam infrastruktur AI itu sendiri, dirancang bersama sejak awal.

Inilah bagian yang paling banyak dilewatkan orang: AI yang aman memerlukan lebih banyak AI. Model guardrail tidak gratis. Mereka harus terus‑menerus dilatih, di‑fine‑tune, dan di‑inferens pada setiap langkah runtime agen. Anggaran latensi token menjadikannya konkret: setiap respons memiliki jendela tetap, dan semakin banyak token yang dapat Anda proses dalam jendela itu, semakin banyak verifikasi yang dapat Anda jalankan sebelum output keluar. Dan ancaman nyata dari model frontier adalah aplikasi ageniknya. Agen berjalan sebagai loop inferensi volume tinggi, melakukan panggilan berulang ke model selama horizon panjang. Setiap loop adalah observe, orient, decide, act, dan setiap langkah membakar token. Itu mengubah keamanan AI menjadi perang attrisi token. Penyerang mengerahkan swarm agen merah, pembela mengerahkan swarm agen biru, dan pihak yang dapat menghasilkan lebih banyak token per dolar dan per watt akan menang. Tokenomics berada di jalur kritis baik serangan maupun pertahanan. Ini berhenti menjadi eksperimen pemikiran pada musim panas lalu, ketika serangan swarm agen merah terhadap repositori model utama menakutkan industri, dan aliansi AI aman terbentuk dalam beberapa hari. Sementara itu, volume terus berlipat ganda: pemrosesan token industri telah berpindah dari triliunan ke kuadriliunan.

Setelah keamanan menjadi persyaratan yang selalu aktif, biaya komputasi, memori, dan data tidak lagi menjadi overhead. Mereka menjadi bagian dari unit economics fundamental menjalankan AI. Perusahaan yang menginternalisasi hal ini lebih awal akan memperlakukan keamanan sebagai masukan desain. Semua yang lain akan memperlakukan keamanan sebagai pajak.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin belajar lebih lanjut dapat mengunjungi WEKA.