Alex Ratner, CEO & Co-Founder of Snorkel AI – Wawancara Seri

Alex Ratner adalah CEO & Co-Founder dari Snorkel AI, sebuah perusahaan yang lahir dari laboratorium AI Stanford.

Snorkel AI membuat pengembangan AI menjadi cepat dan praktis dengan mengubah proses pengembangan AI manual menjadi solusi programatik. Snorkel AI memungkinkan perusahaan untuk mengembangkan AI yang bekerja untuk beban kerja unik mereka menggunakan data dan pengetahuan proprietary mereka 10-100x lebih cepat.

Apa yang awalnya menarik Anda ke ilmu komputer?

Ada dua aspek yang sangat menarik dari ilmu komputer ketika Anda masih muda. Pertama, Anda dapat belajar secepat yang Anda inginkan dari mencoba dan membangun, dengan umpan balik instan, daripada harus menunggu seorang guru. Kedua, Anda dapat membangun banyak tanpa harus meminta izin kepada siapa pun!

Saya mulai mempelajari pemrograman ketika saya masih kecil karena alasan-alasan tersebut. Saya juga menyukai presisi yang dibutuhkan. Saya menikmati proses abstraksi proses dan rutinitas yang kompleks, dan kemudian mengkodekannya dengan cara yang modular.

Kemudian, sebagai orang dewasa, saya kembali ke ilmu komputer secara profesional melalui pekerjaan di bidang konsultasi di mana saya ditugaskan untuk menulis skrip untuk melakukan analisis dasar dari corpus paten. Saya tertarik dengan seberapa banyak pengetahuan manusia—apa pun yang pernah dianggap paten—tersedia, namun tidak dapat diakses karena sulit untuk melakukan analisis sederhana atas teks teknis yang kompleks dan data multi-modal.

Ini yang membuat saya kembali ke jurusan ilmu komputer, dan akhirnya kembali ke sekolah pascasarjana di Stanford, dengan fokus pada NLP, yaitu area penggunaan ML/AI pada bahasa alami.

Anda pertama kali memulai dan memimpin proyek Snorkel sumber terbuka saat di Stanford, bisakah Anda menjelaskan perjalanan hari-hari awal tersebut?

Ketika itu, kami, seperti banyak orang di industri, fokus pada pengembangan algoritma baru dan—yaitu semua “hal yang canggih” dari machine learning yang orang-orang di komunitas lakukan penelitian dan menerbitkan makalah tentangnya.

Namun, kami selalu sangat berkomitmen untuk menghubungkan ini dengan masalah dunia nyata—terutama dengan dokter dan ilmuwan di Stanford. Namun, setiap kali kami mempresentasikan model atau algoritma baru, responsnya menjadi “ya, kami akan mencobanya, tapi kami membutuhkan semua data pelatihan yang telah dilabeli yang kami tidak memiliki waktu untuk membuatnya!” 

Kami melihat bahwa masalah besar yang tidak terucapkan adalah sekitar proses pelabelan dan pengkurasi data pelatihan—jadi kami mengalihkan semua fokus kami ke sana, yang mana proyek Snorkel dan konsep “data-centric AI” dimulai.

Snorkel memiliki pendekatan AI yang berfokus pada data, bisa kah Anda mendefinisikan apa itu dan bagaimana itu berbeda dari pengembangan AI yang berfokus pada model?

AI yang berfokus pada data berarti membangun data yang lebih baik untuk membangun model yang lebih baik.

Ini berbeda dengan—namun bekerja sama dengan—AI yang berfokus pada model. Dalam AI yang berfokus pada model, ilmuwan data atau peneliti menganggap data sebagai statis dan menuangkan energi mereka ke dalam penyesuaian arsitektur model dan parameter untuk mencapai hasil yang lebih baik.

Peneliti masih melakukan pekerjaan yang hebat dalam AI yang berfokus pada model, namun model dan teknik auto ML telah meningkat sehingga pilihan model telah menjadi komoditas pada waktu produksi. Ketika itu terjadi, cara terbaik untuk meningkatkan model tersebut adalah dengan menyediakan mereka dengan data yang lebih baik dan lebih banyak.

Apa prinsip-prinsip inti dari pendekatan AI yang berfokus pada data?

Prinsip inti dari AI yang berfokus pada data adalah sederhana: data yang lebih baik membangun model yang lebih baik. 

Dalam karya akademis kami, kami telah menyebut ini sebagai “pemrograman data.” Ideanya adalah bahwa jika Anda memberi model yang cukup kuat dengan contoh-contoh input dan output yang diharapkan, model tersebut akan belajar untuk meniru pola-pola tersebut.

Ini menyajikan tantangan yang lebih besar dari yang Anda harapkan. Sebagian besar data tidak memiliki label—atau, setidaknya, tidak memiliki label yang berguna untuk aplikasi Anda. Pelabelan data tersebut dengan tangan membutuhkan ketekunan, waktu, dan upaya manusia.

Bisakah Anda menjelaskan apa yang dimaksud dengan AI yang berfokus pada data yang programatik?

Pelabelan data manual menyajikan tantangan serius. Melakukannya membutuhkan banyak jam manusia, dan terkadang jam manusia tersebut dapat mahal. Dokumen medis, misalnya, hanya dapat dilabeli oleh dokter.

Di samping itu, pelabelan manual sering kali berakhir sebagai proyek satu kali. Pelabel memlabeli data sesuai dengan skema yang kaku. Jika kebutuhan bisnis berubah dan membutuhkan set label yang berbeda, pelabel harus memulai dari awal.

Pendekatan programatik untuk AI yang berfokus pada data meminimalkan kedua masalah tersebut. Sistem pelabelan programatik Snorkel AI mengintegrasikan sinyal yang beragam—dari model legacy hingga label yang ada hingga basis pengetahuan eksternal—untuk mengembangkan label probabilistik pada skala besar. Sumber utama sinyal kami berasal dari ahli yang bekerja sama dengan ilmuwan data untuk membangun fungsi pelabelan. Fungsi-fungsi ini mengkodekan penilaian ahli mereka menjadi aturan yang dapat diskalakan, memungkinkan upaya yang diinvestasikan dalam satu keputusan untuk mempengaruhi puluhan atau ratusan titik data.

Kerangka kerja ini juga fleksibel. Alih-alih memulai dari awal ketika kebutuhan bisnis berubah, pengguna menambah, menghapus, dan menyesuaikan fungsi pelabelan untuk menerapkan label baru dalam hitungan jam bukan hari.

Bagaimana pendekatan AI yang berfokus pada data ini memungkinkan skala data yang tidak dilabeli dengan cepat?

Pendekatan programatik kami untuk AI yang berfokus pada data memungkinkan skala data yang tidak dilabeli dengan cepat dengan mengamplifikasi dampak dari setiap pilihan. Setelah ahli subjek menetapkan himpunan kecil awal dari data yang dilabeli, mereka mulai bekerja sama dengan ilmuwan data untuk iterasi yang cepat. Mereka mendefinisikan beberapa fungsi pelabelan, melatih model yang cepat, menganalisis dampak dari fungsi pelabelan mereka, dan kemudian menambah, menghapus, atau menyesuaikan fungsi pelabelan sesuai kebutuhan.

Setiap siklus meningkatkan kinerja model hingga mencapai atau melebihi tujuan proyek. Ini dapat mengurangi bulan pekerjaan pelabelan data menjadi hanya beberapa jam. Dalam satu proyek penelitian Snorkel, dua peneliti kami melabeli 20.000 dokumen dalam satu hari—volume yang bisa memakan waktu manual labeler selama sepuluh minggu atau lebih lama.

Snorkel menawarkan beberapa solusi AI, termasuk Snorkel Flow, Snorkel GenGlow, dan Snorkel Foundry. Apa perbedaan antara penawaran ini?

Suite Snorkel AI memungkinkan pengguna untuk membuat fungsi pelabelan (misalnya, mencari kata kunci atau pola dalam dokumen) untuk melabeli data secara programatik jutaan titik data dalam menit, bukan melabeli satu titik data secara manual.

Ini mengompresi waktu yang dibutuhkan perusahaan untuk menerjemahkan data proprietary mereka menjadi model yang siap diproduksi dan mulai mengekstrak nilai dari mereka. Snorkel AI memungkinkan perusahaan untuk menskalakan pendekatan “manusia di dalam loop” dengan mengintegrasikan penilaian manusia dan pengetahuan ahli secara efisien.

Ini menyebabkan AI yang lebih transparan dan dapat dijelaskan, memungkinkan perusahaan untuk mengelola bias dan menghasilkan hasil yang bertanggung jawab.

Turun ke intinya, Snorkel AI memungkinkan perusahaan Fortune 500 untuk:

• Mengembangkan data yang dilabeli dengan kualitas tinggi untuk melatih model atau meningkatkan RAG;
• Mengkustomisasi LLM dengan fine-tuning;
• Mengubah LLM menjadi model yang lebih kecil dan lebih murah untuk dioperasikan;
• Membangun LLM yang spesifik domain dan tugas dengan pra-pelatihan.

Anda telah menulis beberapa makalah yang sangat penting, menurut Anda, makalah mana yang paling penting?

Salah satu makalah kunci adalah yang asli tentang data programming (melabeli data pelatihan secara programatik) dan tentang Snorkel.

Apa visi Anda untuk masa depan Snorkel?

Saya melihat Snorkel menjadi mitra tepercaya untuk semua perusahaan besar yang serius tentang AI.

Snorkel Flow harus menjadi alat yang sangat umum untuk tim ilmu data di perusahaan besar—apakah mereka sedang mengembangkan model bahasa besar kustom untuk organisasi mereka, membangun model klasifikasi gambar, atau membangun model regresi logistik yang sederhana dan dapat diterapkan.

Tidak peduli jenis model apa yang dibutuhkan bisnis, mereka akan membutuhkan data yang dilabeli dengan kualitas tinggi untuk melatihnya.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Snorkel AI,