Yotam Oren, CEO & Co-Founder of Mona Labs – Seri Wawancara

Yotam Oren adalah CEO & Co-Founder dari Mona Labs, sebuah platform yang memungkinkan perusahaan untuk mengubah inisiatif AI dari eksperimen laboratorium menjadi operasi bisnis yang dapat diskalakan dengan benar memahami bagaimana model ML berperilaku dalam proses dan aplikasi bisnis nyata.

Mona secara otomatis menganalisis perilaku model pembelajaran mesin Anda di seluruh segmen data yang dilindungi dan dalam konteks fungsi bisnis, untuk mendeteksi potensi bias AI. Mona menawarkan kemampuan untuk menghasilkan laporan kesetaraan yang lengkap yang memenuhi standar dan peraturan industri, dan menawarkan kepercayaan bahwa aplikasi AI tersebut mematuhi dan bebas dari bias.

Apa yang awalnya menarik Anda ke ilmu komputer?

Ilmu komputer adalah jalur karir yang populer dalam keluarga saya, sehingga itu selalu menjadi pilihan yang layak. Tentu saja, budaya Israel sangat pro-teknologi. Kami merayakan inovator teknologi dan saya selalu memiliki persepsi bahwa CS akan menawarkan saya landasan untuk pertumbuhan dan pencapaian.

Meskipun demikian, itu hanya menjadi passion pribadi ketika saya mencapai usia universitas. Saya tidak salah satu anak yang mulai mengkode di sekolah menengah. Di masa mudaku, saya terlalu sibuk bermain bola basket untuk memperhatikan komputer. Setelah sekolah menengah, saya menghabiskan sekitar 5 tahun di militer, dalam peran kepemimpinan operasional/kombat. Jadi, dengan cara tertentu, saya benar-benar hanya mulai belajar tentang ilmu komputer ketika saya perlu memilih jurusan akademik di universitas. Apa yang menarik perhatian saya segera adalah bahwa ilmu komputer menggabungkan pemecahan masalah dan pembelajaran bahasa (atau bahasa). Dua hal yang saya sangat tertarik. Dari saat itu, saya terikat.

Dari 2006 hingga 2008 Anda bekerja pada pemetaan dan navigasi untuk sebuah perusahaan kecil, apa saja yang menjadi pengambilan utama Anda dari era ini?

Peran saya di Telmap adalah membangun mesin pencari di atas data peta dan lokasi.

Ini adalah hari-hari awal “big data” di perusahaan. Kami tidak bahkan menyebutnya, tetapi kami memperoleh dataset yang sangat besar dan mencoba menarik wawasan yang paling berdampak dan relevan untuk ditampilkan kepada pengguna akhir.

Salah satu pemahaman yang menonjol yang saya miliki adalah bahwa perusahaan (termasuk kami) menggunakan sangat sedikit dari data mereka (tidak untuk menyebutkan data eksternal yang tersedia secara umum). Ada banyak potensi untuk wawasan baru, proses dan pengalaman yang lebih baik.

Pengambilan lainnya adalah bahwa kemampuan untuk mendapatkan lebih banyak data kami bergantung, tentu saja, pada memiliki arsitektur yang lebih baik, infrastruktur yang lebih baik dan sebagainya.

Bisakah Anda berbagi cerita asal Mona Labs?

Ketiga dari kami, co-founder, telah berada di sekitar produk data sepanjang karir kami.

Nemo, chief technology officer, adalah teman kuliah dan teman sekelas saya, dan salah satu karyawan pertama Google (GOOGL ) Tel Aviv. Dia memulai produk di sana yang disebut Google Trends, yang memiliki banyak analitik lanjutan dan pembelajaran mesin berdasarkan data mesin pencari. Itai, co-founder lain dan chief product officer, berada di tim Nemo di Google (dan dia dan saya bertemu melalui Nemo). Keduanya selalu frustrasi bahwa sistem AI yang didorong tidak dipantau setelah pengembangan dan pengujian awal. Meskipun kesulitan dalam menguji sistem ini sebelum produksi, tim tidak tahu seberapa baik model prediktif mereka bekerja seiring waktu. Selain itu, tampaknya bahwa satu-satunya waktu mereka akan mendengar umpan balik tentang sistem AI adalah ketika hal-hal berjalan buruk dan tim pengembangan dipanggil untuk “latihan kebakaran” untuk memperbaiki masalah kritis.

Around the same time, saya adalah seorang konsultan di McKinsey & Co, dan salah satu hambatan terbesar yang saya lihat untuk program AI dan Big Data yang berkembang di perusahaan besar adalah kurangnya kepercayaan yang dimiliki oleh pemangku kepentingan bisnis terhadap program tersebut.

Benang merah di sini menjadi jelas bagi Nemo, Itai dan saya dalam percakapan. Industri membutuhkan infrastruktur untuk memantau sistem AI/ML di produksi. Kami mengembangkan visi untuk menyediakan visibilitas ini untuk meningkatkan kepercayaan pemangku kepentingan bisnis, dan untuk memungkinkan tim AI untuk selalu memiliki pegangan pada bagaimana sistem mereka berfungsi dan untuk beriterasi lebih efisien.

Dan itulah saat Mona didirikan.

Apa saja yang menjadi masalah saat ini dengan kurangnya transparansi AI?

Di banyak industri, organisasi telah menghabiskan puluhan juta dolar untuk program AI mereka, dan telah melihat beberapa kesuksesan awal di laboratorium dan dalam penerapan skala kecil. Namun, meningkatkan skala, mencapai adopsi yang luas, dan membuat bisnis benar-benar mengandalkan AI telah menjadi tantangan besar bagi hampir semua orang.

Mengapa ini terjadi? Nah, itu dimulai dengan fakta bahwa penelitian yang hebat tidak secara otomatis diterjemahkan menjadi produk yang hebat (Seorang pelanggan pernah berkata kepada kami, “Model ML seperti mobil, saat mereka meninggalkan laboratorium, mereka kehilangan 20% dari nilainya”). Produk yang hebat memiliki sistem pendukung. Ada alat dan proses untuk memastikan bahwa kualitas dipertahankan seiring waktu, dan bahwa masalah ditemukan awal dan diatasi secara efisien. Produk yang hebat juga memiliki umpan balik yang berkelanjutan, mereka memiliki siklus perbaikan dan roadmap. Konsekuensinya, produk yang hebat memerlukan transparansi kinerja yang mendalam.

Ketika tidak ada transparansi, Anda berakhir dengan:

• Masalah yang tetap tersembunyi selama beberapa waktu dan kemudian meledak ke permukaan menyebabkan “latihan kebakaran”
• Investigasi dan mitigasi manual yang panjang
• Program AI yang tidak dipercayai oleh pengguna bisnis dan sponsor dan akhirnya gagal berkembang

Apa saja yang menjadi tantangan di balik membuat model prediktif transparan dan dapat dipercaya?

Transparansi adalah faktor penting dalam mencapai kepercayaan, tentu saja. Transparansi dapat datang dalam banyak bentuk. Ada transparansi prediksi tunggal yang mungkin termasuk menampilkan tingkat kepercayaan kepada pengguna, atau menyediakan penjelasan/alasan untuk prediksi. Transparansi prediksi tunggal sebagian besar ditujukan untuk membantu pengguna merasa nyaman dengan prediksi. Dan kemudian, ada transparansi keseluruhan yang mungkin termasuk informasi tentang akurasi prediktif, hasil yang tidak terduga, dan masalah potensial. Transparansi keseluruhan diperlukan oleh tim AI.

Bagian yang paling menantang dari transparansi keseluruhan adalah mendeteksi masalah awal, memberi tahu anggota tim yang relevan sehingga mereka dapat mengambil tindakan korektif sebelum bencana terjadi.

Mengapa mendeteksi masalah awal menantang:

• Masalah sering dimulai kecil dan mendidih, sebelum akhirnya meledak ke permukaan.
• Masalah sering dimulai karena faktor yang tidak terkendali atau eksternal, seperti sumber data.
• Terdapat banyak cara untuk “membagi dunia” dan mencari masalah secara menyeluruh di kantong kecil mungkin menghasilkan banyak kebisingan (kelelahan alarm), setidaknya ketika ini dilakukan dengan pendekatan yang naif.

Aspek lain yang menantang dari menyediakan transparansi adalah proliferasi yang luar biasa dari kasus penggunaan AI. Ini membuat pendekatan “one-size-fits-all” hampir mustahil. Setiap kasus penggunaan AI mungkin termasuk struktur data yang berbeda, siklus bisnis yang berbeda, metrik keberhasilan yang berbeda, dan bahkan pendekatan teknis yang berbeda dan bahkan tumpukan.

Jadi, itu adalah tugas monolit, tetapi transparansi begitu mendasar bagi kesuksesan program AI, sehingga Anda harus melakukannya.

Bisakah Anda berbagi beberapa detail tentang solusi untuk Model NLU / NLP & Chatbot?

AI konversasional adalah salah satu vertikal inti Mona. Kami bangga mendukung perusahaan inovatif dengan berbagai kasus penggunaan AI konversasional, termasuk model bahasa, chatbot, dan lain-lain.

Faktor umum di seluruh kasus penggunaan ini adalah bahwa model tersebut beroperasi dekat (dan terkadang terlihat) dengan pelanggan, sehingga risiko kinerja yang tidak konsisten atau perilaku buruk lebih tinggi. Ini menjadi sangat penting bagi tim AI konversasional untuk memahami perilaku sistem pada tingkat granular, yang merupakan area kekuatan solusi pemantauan Mona.

Apa yang dilakukan solusi Mona yang cukup unik adalah secara sistematis menyaring kelompok percakapan dan menemukan kantong di mana model (atau bot) berperilaku tidak baik. Ini memungkinkan tim AI konversasional untuk mengidentifikasi masalah awal dan sebelum pelanggan memperhatikannya. Kemampuan ini adalah penggerak keputusan kritis bagi tim AI konversasional saat memilih solusi pemantauan.

Untuk merangkum, Mona menyediakan solusi ujung-ke-ujung untuk pemantauan AI konversasional. Ini dimulai dengan memastikan bahwa ada satu sumber informasi untuk perilaku sistem seiring waktu, dan melanjutkan dengan pelacakan indikator kinerja kunci yang berkelanjutan, dan wawasan proaktif tentang kantong perilaku yang tidak baik – memungkinkan tim untuk mengambil tindakan korektif yang efisien.

Bisakah Anda menawarkan beberapa detail tentang mesin wawasan Mona?

Tentu. Mari kita mulai dengan motivasi. Tujuan mesin wawasan adalah untuk mengungkapkan anomali kepada pengguna, dengan jumlah informasi kontekstual yang tepat dan tanpa membuat kebisingan atau memimpin ke kelelahan alarm.

Mesin wawasan adalah alur kerja analitis yang unik. Dalam alur kerja ini, mesin mencari anomali di semua segmen data, memungkinkan deteksi dini masalah ketika mereka masih “kecil”, dan sebelum mereka mempengaruhi dataset keseluruhan dan KPI bisnis hilir. Kemudian, mesin menggunakan algoritma khusus untuk mendeteksi penyebab akar anomali dan memastikan bahwa setiap anomali hanya diisyaratkan sekali sehingga kebisingan dihindari. Jenis anomali yang didukung termasuk: anomali deret waktu, drift, outlier, degradasi model, dan lain-lain.

Mesin wawasan sangat dapat disesuaikan melalui konfigurasi no-code/low-code Mona yang intuitif. Konfigurabilitas mesin membuat Mona menjadi solusi yang paling fleksibel di pasar, yang mencakup berbagai kasus penggunaan (misalnya, batch dan streaming, dengan/tanpa umpan balik bisnis / kebenaran dasar, di seluruh versi model atau antara pelatihan dan inferensi, dan lain-lain).

Akhirnya, mesin wawasan ini didukung oleh dashboard visualisasi, di mana wawasan dapat dilihat, dan sekumpulan alat investigasi untuk memungkinkan analisis akar penyebab dan eksplorasi lebih lanjut dari informasi kontekstual. Mesin wawasan juga sepenuhnya terintegrasi dengan mesin pemberitahuan yang memungkinkan pengguna untuk memasukkan wawasan ke lingkungan kerja mereka sendiri, termasuk email, platform kolaborasi, dan lain-lain.

Pada 31 Januari, Mona meluncurkan solusi keadilan AI baru, bisakah Anda berbagi dengan kami detail tentang fitur ini dan mengapa itu penting?

Keadilan AI adalah tentang memastikan bahwa algoritma dan sistem AI yang didorong membuat keputusan yang tidak bias dan adil. Mengatasi dan mencegah bias dalam sistem AI sangat penting, karena mereka dapat menghasilkan konsekuensi nyata yang signifikan. Dengan meningkatnya keunggulan AI, dampaknya pada kehidupan sehari-hari orang akan terlihat di tempat-tempat yang lebih banyak, termasuk mengotomatisasi pengemudi, mendeteksi penyakit dengan lebih akurat, memperbaiki pemahaman kita tentang dunia, dan bahkan menciptakan karya seni. Jika kita tidak bisa mempercayai bahwa itu adil dan tidak bias, bagaimana kita bisa membiarkannya terus menyebar?

Salah satu penyebab utama bias dalam AI adalah kemampuan data pelatihan untuk mewakili dunia nyata secara penuh. Ini dapat berasal dari diskriminasi historis, under-representasi dari kelompok tertentu, atau bahkan manipulasi data yang disengaja. Misalnya, sistem pengenalan wajah yang dilatih pada individu dengan kulit yang lebih terang cenderung memiliki tingkat kesalahan yang lebih tinggi dalam mengenali individu dengan kulit yang lebih gelap. Demikian pula, model bahasa yang dilatih pada data teks dari sumber yang terbatas mungkin mengembangkan bias jika data tersebut miring ke arah pandangan dunia tertentu, pada topik seperti agama, budaya, dan lain-lain.

Solusi keadilan AI Mona memberikan tim AI dan bisnis kepercayaan bahwa AI mereka bebas dari bias. Di sektor yang diatur, solusi Mona dapat mempersiapkan tim untuk kesiapan kepatuhan.

Solusi keadilan Mona istimewa karena berada di platform Mona – jembatan antara data AI dan model dan implikasi dunia nyata mereka. Mona melihat semua bagian dari proses bisnis yang model AI layani dalam produksi, untuk mengorelasikan antara data pelatihan, perilaku model, dan hasil dunia nyata yang sebenarnya untuk menyediakan penilaian yang paling komprehensif tentang keadilan.

Kedua, memiliki mesin analitis yang unik yang memungkinkan segmentasi data yang fleksibel untuk mengontrol parameter yang relevan. Ini memungkinkan penilaian korelasi yang akurat dalam konteks yang tepat, menghindari Paradoks Simpson dan menyediakan skor bias yang sebenarnya untuk setiap metrik kinerja dan pada setiap fitur yang dilindungi.

Jadi, secara keseluruhan, saya akan mengatakan bahwa Mona adalah elemen dasar untuk tim yang perlu membangun dan menskalakan AI yang bertanggung jawab.

Apa visi Anda untuk masa depan AI?

Ini adalah pertanyaan besar.

Saya pikir itu mudah untuk memprediksi bahwa AI akan terus tumbuh dalam penggunaan dan dampak di berbagai sektor industri dan aspek kehidupan orang. Namun, itu sulit untuk memprediksi visi yang detail dan mencoba mencakup semua kasus penggunaan dan implikasi AI di masa depan. Karena tidak ada yang benar-benar tahu cukup untuk melukis gambaran itu dengan kredibel.

Yang kita ketahui pasti adalah bahwa AI akan berada di tangan lebih banyak orang dan melayani lebih banyak tujuan. Kebutuhan akan tata kelola dan transparansi akan meningkat secara signifikan.

Visibilitas nyata ke AI dan bagaimana itu bekerja akan memainkan dua peran utama. Pertama, itu akan membantu membangun kepercayaan pada orang dan mengangkat hambatan resistensi untuk adopsi yang lebih cepat. Kedua, itu akan membantu siapa pun yang mengoperasikan AI untuk memastikan bahwa itu tidak kehilangan kendali.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Mona Labs.