Victor Thu, Presiden Datatron – Seri Wawancara

Victor Thu adalah Presiden Datatron, sebuah platform yang membantu perusahaan memanfaatkan kekuatan machine learning, dengan mempercepat penerapan, mendeteksi masalah lebih awal, dan meningkatkan efisiensi pengelolaan beberapa model pada skala besar.

Latar belakang Anda adalah di Pemasaran Produk, Go-to-market, & Manajemen Produk, bagaimana latar belakang ini membawa Anda bekerja di machine learning dan AI?

Saya mencintai teknologi dan beberapa teman dekat saya bahkan menyebut saya sebagai “technology-whisperer.” Saya menikmati mengambil topik teknologi yang kompleks dan menerjemahkannya menjadi bahasa yang dapat dipahami orang, dan mendidik diri saya sendiri tentang teknologi baru untuk memahami “mengapa” di balik teknologi yang paling penting bagi orang.

Pertemuan pertama saya dengan apa yang saya sebut “AI modern” adalah ketika saya menonton presentasi kunci oleh seorang profesor AI Stanford terkenal, Dr. Fei-Fei Li. Presentasi kunci Dr. Li sangat menarik sehingga menjadi titik balik bagi saya dalam karir saya. Presentasi itu membuktikan bahwa ini adalah tempat saya ingin berada selanjutnya. Saya ingin menjadi bagian dari gelombang teknologi berikutnya di mana kita menggunakan AI dan ML untuk memecahkan tantangan bisnis.

Sejak itu, saya telah bekerja dengan beberapa startup AI/ML, bekerja untuk menggunakan teknologi untuk mengatasi kebutuhan bisnis yang nyata. Saya telah bekerja sangat dekat dengan ilmuwan ML tingkat Ph.D., yang telah memberikan saya pengetahuan yang luar biasa tentang AI/ML. Dan saya masih belajar hari ini karena ruang ini berkembang sangat cepat.

Jadi, ini benar-benar adalah passion saya untuk teknologi dan bagaimana memanfaatkannya untuk membantu orang lain yang membawa saya bekerja erat dengan AI/ML.

Datron fokus pada MLOps, untuk pembaca yang tidak familiar dengan istilah ini, bisa Anda jelaskan secara spesifik apa itu?

MLOps pada dasarnya adalah mengkodekan dan menyederhanakan proses yang sangat artisanal untuk mendapatkan model AI dan ML dari prototipe ke produksi.

Salah satu kesalahpahaman terbesar adalah bahwa setelah ilmuwan data membangun model AI mereka, mereka dapat mengeluarkannya ke produksi dengan cepat. Namun, kenyataannya adalah bahwa dapat memakan waktu hingga setahun sebelum model dapat diterapkan.

Alasan utama untuk keterlambatan ini adalah bahwa orang-orang yang memiliki keahlian dalam mengembangkan model tidak selalu memiliki keahlian rekayasa perangkat lunak juga. Perbandingan yang baik adalah arsitek yang merancang gedung pencakar langit – mereka tidak juga merupakan pengembang yang membangunnya.

MLOps pada dasarnya adalah jembatan antara pengembang model dan rekayasa perangkat lunak. Alih-alih menghabiskan lebih dari 12 bulan untuk mendapatkan model ke produksi, MLOps dapat memotong proses panjang itu menjadi hanya beberapa hari.

Dalam sebuah artikel yang Anda tulis untuk kami pada September 2021, Anda membahas bagaimana “Hambatan utama membawa solusi ke produksi bukanlah kualitas model, tetapi kurangnya infrastruktur yang memungkinkan perusahaan untuk melakukannya.” Mengapa ini menjadi hambatan bagi sebagian besar perusahaan?

Ada beberapa faktor yang menyumbang.

• Over romanticisasi perangkat lunak open-source “gratis”. Saya ingin menekankan bahwa kami menyukai perangkat lunak open-source dan percaya bahwa itu telah membantu industri maju dengan lompatan besar. Namun, banyak orang tidak memahami kompleksitas open-source dalam kaitannya dengan AI dan ML. Hari ini, ada kelangkaan bakat AI/ML yang parah. Ketika Anda menggabungkan itu dengan mencari insinyur perangkat lunak (insinyur ML atau MLOps) yang tahu cara menangani sifat unik kode AI/ML, kemudian mengharapkan untuk mempekerjakan dan membangun platform MLOps skala perusahaan secara internal dengan memahami 300+ proyek MLOps open-source adalah mengatur diri Anda sendiri untuk kegagalan.
• Kurangnya infrastruktur untuk mendukung tim rekayasa.Perusahaan memerlukan lingkungan yang lebih baik untuk menyiapkan insinyur untuk sukses. Ada kebutuhan akan bandwidth dan anggaran yang tepat untuk memberikan tim alat yang benar. AI adalah teknologi yang relatif baru. Perusahaan yang melakukan AI tidak selalu tahu apa yang perlu mereka lakukan untuk mendapatkan model keluar dengan cepat, itulah mengapa MLOps adalah alat yang sangat penting.

Bagaimana menggunakan MLOps memecahkan masalah kurangnya infrastruktur?

MLOps memecahkan masalah kurangnya infrastruktur dengan empat cara:

1. Tidak ada perubahan kode proprietary: Ilmuwan data ingin fleksibilitas untuk membangun model yang sesuai dengan kasus penggunaan bisnis di lingkungan mereka, oleh karena itu, proses MLOps apa pun yang memerlukan perubahan kode mempersulit integritas model mereka.
2. Otomatisasi/pengodean: Banyak tim mengkodekan model dengan cara yang keras dan memakan waktu. MLOps mengotomatisasi seluruh proses, menyelamatkan banyak waktu dan energi.
3. Mengalirkan pembaruan: Model AI berubah secara teratur untuk beradaptasi dengan lingkungan mereka. Terkadang ilmuwan data harus kembali untuk memperbarui model secara teratur. Tanpa MLOps, tidak ada cara untuk menghindari pembaruan berulang ini.
4. Mengelola infrastruktur yang mendasarinya: Untuk mendapatkan model keluar, Anda perlu menghitung jaringan dan penyimpanan yang memerlukan sifat unik model AI/ML. Alat MLOps memiliki kemampuan untuk mengetuk sumber daya yang tepat untuk menskalakan mereka sesuai.

Ada juga persyaratan perusahaan yang sering tidak dipertimbangkan saat membangun alat MLOps Anda sendiri, seperti: kontrol akses berbasis peran (RBAC), integrasi dan interoperabilitas, dukungan untuk alat ML yang berbeda, mengatasi kerentanan keamanan dan kepergian tak terduga dari anggota tim inti.

Apa pandangan pribadi Anda tentang pentingnya tata kelola AI?

Telah ada banyak cerita horor tentang model AI yang tidak berfungsi dengan baik, dari menandai kelompok tertentu orang dengan salah ke menyebabkan kerugian keuangan besar bagi perusahaan yang tercatat di bursa.

Tata kelola AI sangat penting bagi bisnis ketika mereka memiliki model AI yang berjalan di produksi. Dengan dikatakan, itu tidak berbeda dari tata kelola TI atau bisnis lainnya. Hari ini, ketika TI Anda menjalankan aplikasi di cloud atau bahkan di pusat data mereka, mereka memiliki serangkaian alat untuk memastikan aplikasi berfungsi dengan baik.

Setelah Anda memiliki model AI yang berjalan, Anda perlu memiliki mekanisme dan alat yang tepat untuk membantu memberikan visibilitas bisnis dan ilmuwan data tentang apa yang dilakukan model.

Terutama pada tahap awal AI/ML ini, tidak ada opsi “setel dan lupakan”. Di awal, Anda perlu memantau bagaimana model Anda berperilaku dan membuat penyesuaian yang tepat. Memiliki kemampuan pemantauan yang tepat sehingga dapat memberi tahu Anda ketika model Anda berperilaku di luar batas yang diinginkan adalah kunci.

Manajemen risiko model (MRM) juga perlu mempertimbangkan berbagai individu yang terlibat dalam pengembangan dan penerapan model. Apa kontrol akses yang Anda tetapkan untuk memastikan integritas model? Atau bagaimana Anda memastikan bahwa individu dari kelompok yang berbeda tidak secara tidak sengaja menggunakan model Anda untuk kasus penggunaan yang model Anda tidak dirancang untuk dilakukan? Semua pertanyaan yang perlu tim tanyakan pada diri mereka sendiri.

Bagaimana Datatron membantu dengan manajemen risiko model?

MLOps memungkinkan pembaruan model yang cepat dan perubahan. Misalnya, jika model menolak orang-orang pada aplikasi pinjaman dengan tidak tepat, MLOps memungkinkan Anda untuk menarik model kembali dan memperkenalkan yang baru, mengelola risiko dengan cara yang sederhana.

Ini melindungi model dari bias drift dan mempertahankan metrik kunci sambil berada di produksi melalui dasbor sederhana yang menampilkan metrik ini menggunakan data rinci yang mendalam dari tinjauan tingkat tinggi yang dapat dengan mudah dipahami oleh pembuat keputusan bisnis.

Platform AI tata kelola Datatron memberikan konteks dan logika tambahan yang menampilkan visibilitas yang jelas dari model yang lebih relevan dengan kasus penggunaan pelanggan.

Dalam sebuah posting blog di Datatron Anda menjelaskan bagaimana Datatron mengambil semboyan Reliable AI™. Bisa Anda jelaskan apa itu menurut Anda?

Ketika kami mengembangkan ini, kami memikirkan bagaimana kami sangat nyaman terbang di maskapai penerbangan komersial hari ini karena mereka sangat dapat diandalkan.

Meskipun semua pembicaraan tentang AI etis, AI yang bertanggung jawab, dll., kebutuhan utama adalah bagi bisnis untuk dapat menggunakan AI/ML dengan andal – seperti jika karyawan mereka naik pesawat komersial.

Menggunakan istilah seperti AI etis, AI yang bertanggung jawab sebenarnya berasal dari masalah model AI saat ini tidak melakukan apa yang seharusnya, dan oleh karena itu dianggap tidak dapat diandalkan. Bisnis tidak mau menggunakan AI karena mereka tidak memiliki kepercayaan bahwa model mereka tidak bias. Ini berarti model mereka tidak dapat diandalkan dan Datatron bertekad untuk mengubahnya.

Apakah ada yang lain yang ingin Anda bagikan tentang Datatron?

Kami adalah salah satu dari sedikit pemain MLOps yang telah terbukti di Super Bowl – bekerja dengan sukses dalam skenario stres tinggi, yang tidak biasa untuk startup atau alat open source. Klien, Domino’s Pizza, bekerja dengan Datatron untuk dengan mudah dan cepat mengoperasikan model AI di produksi, yang kemudian diuji dalam Super Bowl.

MLOps benar-benar adalah cara untuk membantu model AI/ML ke produksi sambil melestarikan sumber daya dan mengurangi biaya. Kami adalah sumber yang berkelanjutan untuk model AI/ML yang sukses dan berfungsi sebagai katalis untuk pendapatan. Perusahaan akhirnya dapat mendapatkan ROI mereka dari proyek AI dan ML. Tidak peduli margin Anda, Anda dapat menghasilkan hasil menggunakan MLOps.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Datatron.