Wilson Pang, Co-Penulis Real World AI – Seri Wawancara

Wilson Pang bergabung dengan Appen pada November 2018 sebagai CTO dan bertanggung jawab atas produk dan teknologi perusahaan. Wilson memiliki pengalaman lebih dari sembilan belas tahun di bidang rekayasa perangkat lunak dan ilmu data. Sebelum bergabung dengan Appen, Wilson adalah chief data officer di Ctrip di Cina, perusahaan biro perjalanan online terbesar kedua di dunia, di mana ia memimpin insinyur data, analis, manajer produk data, dan ilmuwan untuk meningkatkan pengalaman pengguna dan meningkatkan efisiensi operasional yang tumbuh bisnis. Sebelum itu, ia adalah direktur senior teknik di eBay di California dan memberikan kepemimpinan di berbagai domain, termasuk layanan data dan solusi, ilmu pencarian, teknologi pemasaran, dan sistem penagihan. Ia bekerja sebagai arsitek di IBM sebelum eBay, membangun solusi teknologi untuk berbagai klien. Wilson memperoleh gelar master dan sarjana di bidang teknik listrik dari Universitas Zhejiang di Cina.

Kami membahas buku barunya: The Real World of AI: A Practical Guide for Responsible Machine Learning

Anda menjelaskan bagaimana ketika Anda memimpin tim ilmu pencarian eBay, salah satu pelajaran pertama Anda dengan machine learning adalah memahami pentingnya mengetahui metrik apa yang harus diukur. Contoh yang diberikan adalah bagaimana metrik “pembelian per sesi” gagal memperhitungkan nilai moneter suatu item. Bagaimana perusahaan dapat memahami metrik apa yang perlu diukur untuk menghindari masalah serupa?

Mulailah dengan tujuan yang Anda tetapkan untuk model AI – dalam kasus kami, kami ingin meningkatkan pendapatan dengan machine learning. Ketika Anda mengaitkan metrik dengan tujuan, pikirkan tentang apa mekanisme yang akan dihasilkan oleh metrik tersebut, ketika model dirilis dan orang mulai berinteraksi dengannya, tetapi juga catat asumsi Anda. Dalam kasus kami, kami berasumsi model akan mengoptimalkan pendapatan, tetapi jumlah pembelian per sesi tidak berarti pendapatan, karena model mengoptimalkan penjualan dengan nilai tiket rendah, dan pada akhirnya kami tidak mendapatkan lebih banyak uang. Setelah kami menyadari itu, kami dapat mengubah metrik dan mengarahkan model ke arah yang benar. Jadi menentukan metrik granular, serta mencatat asumsi, sangat penting untuk kesuksesan proyek.

Apa yang Anda pelajari secara pribadi dari penelitian dan penulisan buku ini?

Kami memiliki banyak masalah yang dapat dipecahkan oleh AI dari perusahaan dan industri yang berbeda. Kasus penggunaan dapat sangat berbeda, solusi AI mungkin berbeda, data untuk melatih solusi AI tersebut mungkin berbeda. Namun, terlepas dari semua perbedaan tersebut, kesalahan yang dilakukan orang selama perjalanan AI mereka cukup mirip. Kesalahan tersebut terjadi lagi dan lagi di semua jenis perusahaan dari semua jenis industri.

Kami berbagi beberapa praktik terbaik ketika mengimplementasikan proyek AI dengan harapan membantu lebih banyak orang dan perusahaan menghindari kesalahan tersebut dan memperoleh kepercayaan untuk mengirimkan AI yang bertanggung jawab.

Apa yang paling penting dari pelajaran yang Anda harapkan orang akan ambil dari membaca ini?

Kami percaya dengan kuat bahwa penggunaan machine learning yang bertanggung jawab dan etis dapat membuat dunia menjadi lebih adil, fair, dan inklusif. Teknologi machine learning berjanji untuk mengubah semua hal di seluruh dunia bisnis, tetapi itu tidak harus sulit. Ada metode dan proses yang terbukti yang dapat diikuti tim dan memperoleh kepercayaan untuk mengirimkan ke produksi.

Pelajaran kunci lainnya adalah bahwa pemilik bisnis (seperti manajer produk) dan anggota tim di sisi teknis (seperti insinyur dan ilmuwan data) perlu berbicara dengan bahasa yang sama. Untuk mengirimkan AI dengan sukses, pemimpin harus menjembatani kesenjangan antara tim, memberikan konteks yang cukup bagi spesialis bisnis dan C-level untuk berkomunikasi dengan pelaksana teknis.

Banyak orang pertama kali berpikir tentang kode ketika mereka berpikir tentang AI. Salah satu pelajaran kunci dalam buku ini adalah bahwa data sangat penting untuk kesuksesan model AI. Ada banyak hal yang terkait dengan data dari pengumpulan hingga pelabelan hingga penyimpanan dan setiap langkah akan mempengaruhi kesuksesan model. Pengiriman AI yang paling sukses adalah mereka yang menempatkan penekanan tinggi pada data dan berusaha untuk terus memperbaiki aspek ini dari model ML mereka.

Semua AI dunia nyata memerlukan tim lintas fungsional dan semangat inovatif.

Dibahas dalam buku adalah menentukan kapan akurasi model AI cukup tinggi untuk mendukung penggunaan AI. Apa cara termudah untuk menilai jenis akurasi yang dibutuhkan?

Tergantung pada kasus penggunaan dan toleransi risiko. Tim yang mengembangkan AI harus selalu memiliki fase pengujian di mana mereka menentukan tingkat akurasi dan ambang batas yang dapat diterima untuk organisasi dan pemangku kepentingan mereka. Untuk kasus penggunaan yang berpotensi membahayakan – di mana ada potensi bahaya jika AI salah, seperti perangkat lunak penjara, mobil self-driving, kasus medis, batang sangat tinggi – dan tim harus menempatkan kontinjensi jika model salah. Untuk kasus penggunaan yang lebih toleran kesalahan – di mana ada banyak subjektivitas yang terlibat – seperti konten, pencarian atau relevansi iklan, tim dapat mengandalkan umpan balik pengguna untuk terus menyesuaikan model mereka bahkan saat dalam produksi. Tentu saja, ada beberapa kasus penggunaan berisiko tinggi di sini, di mana materi ilegal atau tidak bermoral mungkin ditampilkan kepada pengguna, sehingga mekanisme pengaman dan umpan balik harus ada di sini juga.

Apakah Anda dapat mendefinisikan pentingnya mendefinisikan kesuksesan untuk proyek di awal?

Sangat penting untuk memulai dengan masalah bisnis serta mendefinisikan kesuksesan di awal sebagai dua hal yang terkait. Mengikuti contoh dalam buku tentang dealer otomotif yang menggunakan AI untuk melabeli gambar, mereka tidak menentukan apa yang terlihat seperti kesuksesan karena mereka tidak memiliki masalah bisnis yang jelas untuk dipecahkan. Kesuksesan bagi mereka bisa berarti banyak hal yang berbeda, yang membuatnya sulit untuk memecahkan masalah, bahkan untuk tim orang, apalagi model machine learning dengan cakupan yang tetap. Jika mereka telah memulai untuk melabeli semua kendaraan dengan lekukan untuk membuat daftar kendaraan yang memerlukan perbaikan dan mendefinisikan kesuksesan sebagai melabeli dengan akurat 80% dari semua lekukan kendaraan di inventaris mobil bekas, maka ketika mereka telah melabeli dengan akurat 85%, tim akan menyebutnya sukses. Tapi jika kesuksesan itu tidak terkait dengan masalah bisnis, dan dampak bisnis langsung, sulit untuk mengevaluasi proyek di luar definisi akurasi pelabelan yang terfokus dalam contoh ini. Di sini, masalah bisnis lebih kompleks, dan melabeli lekukan hanya salah satu komponennya. Dalam kasus mereka, mereka bisa lebih baik dengan mendefinisikan kesuksesan sebagai menghemat waktu/uang pada proses klaim atau mengoptimalkan proses perbaikan dengan X% dan kemudian menerjemahkan dampak pelabelan menjadi hasil bisnis nyata.

Seberapa penting memastikan bahwa contoh data pelatihan mencakup semua kasus penggunaan yang akan terjadi dalam pengiriman produksi?

Sangat penting bahwa model dilatih pada semua kasus penggunaan untuk menghindari bias. Tapi juga penting untuk dicatat bahwa, sementara mustahil untuk mencakup semua kasus penggunaan dalam produksi, tim yang membangun AI perlu memahami data produksi mereka, serta data pelatihan mereka sehingga mereka melatih AI untuk apa yang akan mereka temui dalam produksi. Mengakses data pelatihan yang berasal dari kelompok besar yang beragam dengan berbagai kasus penggunaan akan sangat penting untuk kesuksesan model. Misalnya, model yang dilatih untuk mengenali hewan peliharaan seseorang dalam gambar yang diunggah perlu dilatih pada semua jenis hewan peliharaan; anjing, kucing, burung, mamalia kecil, reptil, dll. Jika model hanya dilatih pada anjing, kucing, dan burung, maka ketika seseorang mengunggah gambar dengan guinea pig mereka, model tidak akan dapat mengidentifikasi itu. Sementara ini adalah contoh yang sangat sederhana, itu menunjukkan bahwa pelatihan pada sebanyak mungkin kasus penggunaan yang mungkin sangat penting untuk kesuksesan model.

Dibahas dalam buku adalah kebutuhan untuk mengembangkan kebiasaan kebersihan data yang baik dari atas ke bawah, apa langkah-langkah pertama untuk memupuk kebiasaan ini?

Kebiasaan kebersihan data yang baik akan meningkatkan kemampuan data internal dan mempersiapkannya untuk kasus penggunaan ML. Seluruh perusahaan harus menjadi baik dalam mengatur dan melacak dataset mereka. Salah satu cara untuk mencapai ini adalah dengan membuatnya menjadi persyaratan bisnis dan melacak implementasinya sehingga ada sangat sedikit laporan yang berakhir menjadi pekerjaan khusus, dan tim bekerja lebih dan lebih dengan pipa data yang diarahkan ke repositori pusat, dengan ontologi yang jelas. Praktik lain yang baik adalah dengan mencatat kapan dan di mana data dikumpulkan dan apa yang terjadi pada data sebelum dimasukkan ke dalam database, serta menetapkan proses untuk membersihkan data yang tidak digunakan atau sudah ketinggalan zaman secara berkala.

Terima kasih atas wawancara yang luar biasa, bagi pembaca yang ingin mempelajari lebih lanjut, saya sarankan agar mereka membaca buku The Real World of AI: A Practical Guide for Responsible Machine Learning.