Victor Thu, Presiden Datatron – Seri Wawancara

Victor Thu adalah Presiden Datatron, sebuah platform yang membantu perusahaan memanfaatkan kekuatan pembelajaran mesin, dengan mempercepat penerapan, mendeteksi masalah lebih awal, dan meningkatkan efisiensi pengelolaan beberapa model secara bersamaan.

Latar belakang Anda adalah di Pemasaran Produk, Go-to-market, & Manajemen Produk, bagaimana latar belakang ini membawa Anda bekerja di bidang kecerdasan buatan dan AI?

Saya mencintai teknologi dan beberapa teman dekat saya bahkan menyebut saya sebagai “technology-whisperer.” Saya menikmati mengambil topik teknologi yang kompleks dan menerjemahkannya ke dalam bahasa yang dapat dipahami orang, dan mendidik diri saya sendiri tentang teknologi baru untuk memahami “mengapa” di balik teknologi yang paling penting bagi orang.

Pertemuan pertama saya dengan apa yang saya sebut “AI modern” adalah ketika saya menonton presentasi kunci oleh seorang profesor AI Stanford terkenal, Dr. Fei-Fei Li. Presentasi kunci Dr. Li sangat menarik sehingga menjadi titik balik bagi saya dalam karir saya. Presentasi itu membujuk saya bahwa ini adalah tempat saya ingin berada selanjutnya. Saya ingin menjadi bagian dari gelombang teknologi berikutnya di mana kita menggunakan AI dan ML untuk memecahkan tantangan bisnis.

Sejak itu, saya telah bekerja dengan beberapa startup AI/ML, bekerja untuk menggunakan teknologi untuk memenuhi kebutuhan bisnis yang nyata. Saya telah bekerja sangat dekat dengan ilmuwan ML tingkat Ph.D., yang telah memberikan saya pengetahuan yang luar biasa tentang AI/ML. Dan saya masih belajar hari ini karena ruang ini berkembang sangat cepat.

Jadi, ini benar-benar karena passion saya terhadap teknologi dan bagaimana memanfaatkannya untuk membantu orang lain yang membawa saya bekerja erat dengan AI/ML.

Datatron fokus pada MLOps, bagi pembaca yang tidak familiar dengan istilah ini, bisa Anda jelaskan apa itu?

MLOps pada dasarnya adalah mengkodekan dan menyederhanakan proses yang sangat artisanal untuk mendapatkan model AI dan ML dari prototipe ke produksi.

Salah satu kesalahpahaman terbesar adalah bahwa setelah ilmuwan data membangun model AI mereka, mereka dapat mengeluarkannya ke produksi dengan cepat. Namun, kenyataannya adalah bahwa dapat memakan waktu hingga setahun sebelum model dapat diterapkan.

Alasan utama untuk keterlambatan ini adalah bahwa orang yang memiliki keahlian dalam mengembangkan model tidak selalu memiliki keahlian teknik perangkat lunak. Perbandingan yang baik adalah arsitek yang merancang gedung pencakar langit – mereka tidak juga pengembang yang membangunnya.

MLOps pada dasarnya adalah jembatan antara pengembang model dan teknik perangkat lunak. Alih-alih menghabiskan lebih dari 12 bulan untuk mendapatkan model ke produksi, MLOps dapat memotong proses panjang itu menjadi hanya beberapa hari.

Dalam sebuah artikel yang Anda tulis untuk kami pada September 2021, Anda membahas bagaimana “Hambatan utama membawa solusi ke produksi bukanlah kualitas model, melainkan kurangnya infrastruktur untuk memungkinkan perusahaan melakukannya.” Mengapa ini menjadi hambatan bagi sebagian besar perusahaan?

Ada beberapa faktor yang menyumbang.

• Romantisasi “perangkat lunak sumber terbuka” yang berlebihan. Saya ingin menekankan bahwa kami menyukai perangkat lunak sumber terbuka dan percaya bahwa itu telah membantu industri maju dengan lompatan besar. Namun, banyak yang tidak memahami kompleksitas sumber terbuka dalam kaitannya dengan AI dan ML. Hari ini, ada kelangkaan bakat AI/ML yang parah. Ketika Anda menggabungkan itu dengan mencari insinyur perangkat lunak (insinyur ML atau MLOps) yang tahu cara menangani sifat unik kode AI/ML, kemudian mengharapkan untuk membangun platform MLOps skala perusahaan secara internal dengan memahami 300+ proyek MLOps sumber terbuka adalah mengatur diri Anda sendiri untuk kegagalan.
• Kurangnya infrastruktur untuk mendukung tim teknik. Perusahaan memerlukan lingkungan yang lebih baik untuk menyiapkan insinyur untuk sukses. Ada kebutuhan untuk bandwidth dan anggaran yang tepat untuk memberikan tim alat yang benar. AI adalah teknologi yang relatif baru. Perusahaan yang melakukan AI tidak selalu tahu apa yang perlu mereka lakukan untuk mendapatkan model keluar dengan cepat, itulah mengapa MLOps adalah alat yang sangat penting.

Bagaimana menggunakan MLOps memecahkan masalah kurangnya infrastruktur?

MLOps memecahkan masalah kurangnya infrastruktur dengan empat cara:

1. Tidak ada perubahan kode proprietary: Ilmuwan data ingin fleksibilitas untuk membangun model yang sesuai dengan kasus penggunaan bisnis di lingkungan mereka, oleh karena itu, setiap proses MLOps yang memerlukan perubahan kode mempersulit integritas model mereka.
2. Otomatisasi/pengkodean: Banyak tim mengkodekan model dengan cara yang keras yang memakan banyak waktu. MLOps mengotomatisasi seluruh proses tersebut, menghemat banyak waktu dan energi.
3. Memperlancar pembaruan: Model AI berubah secara teratur untuk beradaptasi dengan lingkungan mereka. Terkadang ilmuwan data harus kembali untuk memperbarui model secara teratur. Tanpa MLOps, tidak ada cara untuk menghindari pembaruan berulang ini.
4. Mengelola infrastruktur dasar: Untuk mendapatkan model, Anda perlu menghitung jaringan dan penyimpanan yang memerlukan sifat unik model AI/ML. Alat MLOps memiliki kemampuan untuk mengetahui sumber daya yang tepat untuk menskalakan mereka sesuai.

Ada juga persyaratan perusahaan yang sering tidak dipertimbangkan ketika membangun alat MLOps Anda sendiri seperti: kontrol akses berbasis peran (RBAC), integrasi dan interoperabilitas, dukungan untuk alat ML yang berbeda, mengatasi kerentanan keamanan dan keberangkatan anggota tim inti yang tidak terduga.

Apa pandangan pribadi Anda tentang pentingnya tata kelola AI?

Telah ada banyak cerita horor tentang model AI yang tidak berfungsi dengan baik, dari menandai kelompok tertentu dengan salah hingga menyebabkan kerugian keuangan besar bagi perusahaan yang tercatat di bursa.

Tata kelola AI sangat penting bagi bisnis ketika mereka memiliki model AI yang berjalan di produksi. Dengan itu dikatakan, itu tidak berbeda dari tata kelola TI atau bisnis lainnya. Hari ini, ketika TI Anda menjalankan aplikasi di cloud atau bahkan di pusat data mereka sendiri, mereka memiliki serangkaian alat untuk memastikan aplikasi berfungsi dengan baik.

Saat Anda memiliki model AI yang berjalan, Anda perlu memiliki mekanisme dan alat untuk membantu memberikan visibilitas bisnis dan ilmuwan data tentang apa yang dilakukan model.

Terutama pada tahap awal AI/ML ini, tidak ada opsi ‘setel dan lupakan’. Di awal, Anda perlu memantau bagaimana model Anda berperilaku dan membuat penyesuaian yang tepat. Memiliki kemampuan pemantauan yang tepat sehingga dapat mengingatkan Anda ketika model Anda berperilaku di luar batas yang diinginkan adalah kunci.

Manajemen risiko model (MRM) juga perlu mempertimbangkan individu yang terlibat dalam pengembangan dan penerapan model. Apa kontrol akses yang Anda tetapkan untuk memastikan integritas model? Atau bagaimana Anda memastikan bahwa individu dari kelompok yang berbeda tidak secara tidak sengaja menggunakan model Anda untuk kasus penggunaan yang model Anda tidak dirancang untuk melakukannya? Pertanyaan-pertanyaan yang perlu tim tanyakan pada diri mereka sendiri.

Bagaimana Datatron membantu dengan manajemen risiko model?

MLOps memungkinkan pembaruan dan perubahan model yang cepat. Misalnya, jika model menolak orang-orang pada aplikasi pinjaman secara tidak tepat, MLOps memungkinkan Anda untuk menarik model kembali dan memperkenalkan yang baru, mengelola risiko tersebut dengan cara yang sederhana.

Ini melindungi model dari bias drift dan mempertahankan metrik kunci saat berada di produksi melalui dasbor sederhana yang menampilkan metrik-metrik ini menggunakan data yang mendalam dan rinci dari tinjauan tingkat tinggi yang dapat dengan mudah dipahami oleh pengambil keputusan bisnis.

Platform Datatron tata kelola AI memberikan konteks tambahan dan logika yang menampilkan visibilitas yang jelas dari model yang lebih relevan dengan kasus penggunaan pelanggan.

Dalam sebuah posting blog di Datatron Anda menjelaskan bagaimana Datatron mengambil semboyan Reliable AI™. Bisa Anda jelaskan apa itu menurut Anda?

Ketika kami mengembangkan ini, kami memikirkan bagaimana kami sangat nyaman terbang di pesawat komersial hari ini karena mereka sangat dapat diandalkan.

Terlepas dari semua pembicaraan tentang AI etis, AI yang bertanggung jawab, dll. kebutuhan utama adalah bagi bisnis untuk dapat menggunakan AI/ML dengan andal – seperti jika karyawan mereka naik pesawat komersial.

Menggunakan istilah seperti AI etis, AI yang bertanggung jawab sebenarnya berasal dari masalah model AI saat ini yang tidak melakukan apa yang seharusnya, dan dengan demikian dianggap tidak dapat diandalkan. Bisnis tidak mau menggunakan AI karena mereka tidak memiliki kepercayaan bahwa model mereka tidak bias. Ini berarti model mereka tidak dapat diandalkan dan Datatron bertekad untuk mengubah itu.

Apakah ada yang ingin Anda bagikan tentang Datatron?

Kami adalah salah satu dari sedikit pemain MLOps yang terbukti di Super Bowl – bekerja dengan sukses dalam skenario stres tinggi, yang tidak biasa untuk sebuah startup atau alat sumber terbuka. Klien, Domino’s Pizza, bekerja dengan Datatron untuk dengan mudah dan cepat mengoperasikan model AI di produksi, yang kemudian diuji dalam Super Bowl.

MLOps benar-benar adalah cara untuk membantu model AI/ML ke produksi sambil mempertahankan sumber daya dan mengurangi biaya. Kami adalah sumber berkelanjutan untuk model AI/ML yang sukses dan berfungsi sebagai katalis untuk pendapatan. Perusahaan dapat akhirnya mendapatkan ROI dari proyek AI dan ML mereka. Tidak peduli margin Anda, Anda dapat menghasilkan hasil menggunakan MLOps.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Datatron.