Ali Ansari, Pendiri dan CEO micro1 – Seri Wawancara

Ali Ansari adalah Pendiri dan CEO micro1. Ia berfokus mengubah keahlian manusia menjadi data pelatihan dan evaluasi untuk sistem AI canggih. Pengalaman kewirausahaannya mencakup membangun agensi pengembangan perangkat lunak dan mendirikan peerlinc sebelum meluncurkan micro1 pada 2022. Ia belajar ilmu komputer di UC Berkeley dan Stanford dengan fokus pada pembelajaran penguatan, dan kini mengembangkan sistem yang diperlukan untuk mencari, menilai, dan mengoordinasikan kontribusi para ahli dalam pengembangan AI.

micro1 adalah laboratorium data yang membantu melatih model AI terdepan dan mengevaluasi agen AI dengan memanfaatkan masukan dari para ahli serta lingkungan kerja yang realistis. Platformnya menyatukan perekrutan spesialis, produksi data, peninjauan kualitas, dan evaluasi model di berbagai bidang, termasuk hukum, layanan kesehatan, keuangan, teknik, dan sains. Dalam wawancara ini, Ansari membahas alasan meningkatnya permintaan akan keahlian manusia, cara data operasional mendukung pembelajaran penguatan, serta peluang karier yang muncul seputar pelatihan dan evaluasi AI.

Anda mendirikan micro1 pada 2022 setelah sebelumnya membangun dan menjual peerlinc. Masalah apa yang semula ingin Anda atasi, dan bagaimana micro1 berkembang menjadi perusahaan yang berfokus pada pelatihan dan evaluasi model AI terdepan?

Awalnya, masalah itu saya alami dalam bisnis sendiri. Saya menjalankan agensi pengembangan perangkat lunak, dan setiap proyek baru berarti harus mencari serta mewawancarai lebih banyak insinyur. Banyak sekali waktu saya habis untuk itu. Jadi, kami membuat pewawancara AI bernama Zara untuk membantu, dan pada akhirnya, itulah yang berkembang menjadi micro1.

Kami mulai dengan menjual perangkat lunak perekrutan dan membangun pasar tenaga kerja yang berisi kandidat dengan kualifikasi terverifikasi. Lalu, seorang pelanggan menghubungi kami karena membutuhkan ratusan insinyur untuk melatih model AI. Kami mulai menggali alasan mereka membutuhkan begitu banyak orang dan menyadari bahwa di balik pengembangan model terdapat permintaan yang sangat besar akan keahlian manusia.

Kami telah menghabiskan waktu bertahun-tahun membangun kemampuan untuk mencari dan memeriksa kandidat dalam skala besar. Pemanfaatan data manusia merupakan penerapan yang sangat kuat dari infrastruktur tersebut. Jadi, kami berkomitmen penuh, menggunakan perekrut AI kami untuk mencari dan memeriksa tenaga ahli, lalu membangun platform data dan sistem kualitas lainnya di sekelilingnya. Kini, kami membantu laboratorium mengubah keahlian tersebut menjadi kemampuan model yang lebih baik.

Anda berpendapat bahwa ketika kemampuan model AI meningkat, permintaan akan keahlian manusia justru bertambah, bukan menghilang. Apa yang mendorong hubungan tersebut?

Ada beberapa hal yang terjadi. Pertama, seiring meningkatnya kemampuan model, kita meminta model melakukan hal-hal yang lebih sulit. Model yang dapat menjawab pertanyaan memang berguna. Model yang mampu menangani seluruh alur kerja jauh lebih berguna, tetapi untuk mencapai kemampuan itu diperlukan jauh lebih banyak masukan dari para ahli.

Kedua, manusia terus menciptakan pekerjaan baru. Jika seorang pengacara dapat menggunakan AI untuk banyak tugas yang mengisi hari kerjanya, ia akan memiliki lebih banyak waktu untuk menangani masalah yang lebih kompleks atau mengembangkan layanan baru bagi klien. Fungsi-fungsi yang benar-benar baru itu kemudian juga ingin kita serap ke dalam model. Itulah yang kami maksud dengan “tidak ada tahap akhir”. Pekerjaan terus berkembang.

Data sintetis membuat hal ini semakin menarik. Data tersebut dapat digunakan untuk mengembangkan tugas dan umpan balik yang dibuat para ahli, sehingga masukan manusia yang menjadi dasar semakin bermanfaat. Menurut saya, kombinasi itulah yang membuat permintaan akan keahlian manusia terus meningkat seiring dengan kemampuan model.

micro1 bekerja sama dengan para ahli di berbagai bidang, seperti hukum, layanan kesehatan, keuangan, teknik, dan sains. Apa yang dapat disumbangkan para profesional ini kepada sistem AI yang tidak bisa begitu saja dipelajari dari data daring yang sudah ada?

Banyak hal yang menjadikan seseorang dokter, pengacara, atau insinyur hebat berasal dari penilaian yang mereka bangun melalui pekerjaan. Sebagian pengetahuan itu terdokumentasi, tetapi banyak juga yang terlihat dari cara mereka menangani kasus yang tidak biasa, mengenali informasi yang belum tersedia, atau menentukan detail mana yang benar-benar penting.

Hal itu sangat berharga untuk melatih model. Seorang ahli dapat membuat tugas yang sulit, menjelaskan seperti apa hasil yang baik, dan menunjukkan dengan tepat kekurangan model. Sebuah jawaban bisa terdengar sangat meyakinkan, tetapi tetap luput dari hal yang paling penting bagi orang yang melakukan pekerjaan tersebut.

Kami membutuhkan para ahli untuk membuat pembedaan seperti itu. Kami juga membutuhkan beragam perspektif dan proses peninjauan yang kuat, karena penilaian satu orang tidak akan mencakup semua kasus. Tujuannya adalah mengubah pengalaman tersebut menjadi sinyal yang dapat dipelajari model. Setiap bidang juga memiliki banyak nuansa. Keahlian hukum, misalnya, bukanlah satu hal yang seragam: keahlian itu berbeda-beda menurut bidang praktik, negara bagian atau yurisdiksi, serta sistem hukum di berbagai negara. Setiap lapisan membutuhkan pengetahuan dan pertimbangan yang lebih khusus. Kedalaman yang sama juga terdapat di setiap ranah dan banyak subbidangnya. Karena itu, kami membutuhkan ahli yang memahami makna pembedaan tersebut dalam praktik.

Ketika industri semakin berfokus pada pascapelatihan, pembelajaran penguatan, dan evaluasi, menurut Anda, apa hambatan terbesar dalam meningkatkan model AI terdepan saat ini?

Menurut saya, akses ke data yang realistis merupakan salah satu hambatan terbesar. Selama bertahun-tahun, perusahaan telah memecahkan masalah, mengambil keputusan, dan menangani berbagai pengecualian. Pengalaman itu tersimpan dalam dokumen, sistem, dan alur kerja mereka. Data tersebut sangat berharga jika kita ingin model belajar melakukan pekerjaan nyata.

Itulah alasan kami membangun program Company Data Partnerships, atau CDP. Kami membayar perusahaan untuk mendapatkan lisensi atas data operasional mereka. Data tersebut dapat mencakup dokumentasi internal, riwayat proyek, catatan CRM, dan proses yang dijalankan orang untuk menyelesaikan pekerjaan. Untuk kumpulan data perusahaan yang bernilai tinggi, kami membayar lebih dari $2 juta, bergantung pada data dan kemitraan yang dijalin.

Kami menggunakan materi tersebut untuk membangun lingkungan pelatihan dan evaluasi yang realistis. Bayangkan proses menyelesaikan masalah pelanggan: Anda mungkin perlu memeriksa riwayat akun, menemukan kebijakan yang relevan, lalu menentukan tindakan yang harus diambil. Lingkungan yang dirancang berdasarkan alur kerja tersebut memberi model tempat untuk berlatih menjalankan langkah-langkah itu. Para ahli menentukan tugasnya serta cara menilai keberhasilan penyelesaiannya. Umpan balik itulah yang membuat lingkungan tersebut berguna untuk pembelajaran penguatan.

Perusahaan tetap memiliki data dasar mereka. Kami menyepakati cakupan dan persyaratan penanganannya, termasuk perlindungan privasi, lalu menyiapkan data tersebut untuk penggunaan yang dimaksud.

Nilainya terletak pada pengalaman yang tercermin dalam catatan tersebut. CDP memberi perusahaan cara untuk memperoleh pendapatan dari pengalaman itu sekaligus membantu model belajar beroperasi dalam situasi yang jauh lebih realistis.

Menurut Anda, bentuk penilaian atau keahlian manusia apa yang akan tetap sangat sulit ditiru oleh sistem AI, bahkan ketika kemampuan model meningkat pesat?

Menurut saya, selera dan kreativitas manusia adalah hal yang akan sangat sulit ditiru oleh model. Alasannya kembali pada cara kita membuat data pelatihan.

Untuk banyak tugas, kita bisa mempertemukan para ahli dan meminta mereka mencapai kesepakatan tentang seperti apa hasil yang baik. Hal itu memberi kita sinyal yang berguna untuk melatih model. Namun, jika Anda bertanya kepada orang-orang apa yang membuat sebuah gambar hebat, film yang bagus, atau desain yang menarik, semakin mereka membahasnya, semakin besar kemungkinan pandangan mereka berbeda. Tidak selalu ada satu jawaban yang bisa disepakati.

AI tetap bisa menjadi sangat berguna di bidang-bidang tersebut. Namun, menentukan apa yang ingin Anda ciptakan, siapa sasarannya, dan apakah hasilnya benar-benar beresonansi dengan mereka membutuhkan banyak penilaian manusia. Menurut saya, penilaian itu semakin penting seiring dengan kemudahan yang diberikan alat-alat ini untuk menghasilkan sesuatu.

Anda melihat semakin banyak profesional menganggap pelatihan dan evaluasi AI sebagai pekerjaan profesional yang serius, bukan sekadar pekerjaan sampingan. Mungkinkah hal ini berkembang menjadi kategori pekerjaan yang benar-benar baru, dan seperti apa karier di bidang tersebut?

Tentu saja. Ini sudah menjadi kategori pekerjaan baru bernilai miliaran dolar. Para ahli menerapkan pengetahuan yang mereka kumpulkan selama berkarier untuk membantu melatih dan mengevaluasi AI. Bagi sebagian orang, pekerjaan ini menjadi bagian penting dalam kehidupan kerja mereka.

Pekerjaan ini sendiri bisa sangat mendalam. Seorang pengacara mungkin menyusun skenario yang rumit dan menentukan cara menilai respons model. Seorang insinyur mungkin membuat tugas yang menuntun agen melalui seluruh alur kerja perangkat lunak. Ada pula orang-orang yang meninjau data, menyempurnakan kriteria evaluasi, dan memimpin tim ahli. Pekerjaan ini juga dapat memberi orang lebih banyak ruang untuk berfokus pada hal yang sejak awal menarik mereka ke bidangnya. Di sebagian besar pekerjaan, banyak waktu tersita untuk tugas administratif dan kewajiban di luar pekerjaan yang dianggap paling bermakna oleh seseorang. Melatih AI dalam bidang keahlian mereka dapat menempatkan keahlian itu di pusat pekerjaan mereka: menangani masalah sulit, menggunakan penilaian mereka, dan membagikan pelajaran dari pengalaman. Ini adalah kesempatan untuk lebih banyak mengerjakan hal-hal yang mereka pedulikan dan kuasai, sekaligus membantu membentuk cara AI menangani pekerjaan tersebut.

Menurut saya, jalur karier nyata akan berkembang di sekitar semua itu. Anda bisa menjadi sangat mahir dalam menerjemahkan keahlian di bidang Anda menjadi data pelatihan, atau mengelola alur data dan memahami bagian mana yang membutuhkan bantuan model. Keterampilan tersebut bernilai, dan kita masih berada pada tahap awal dalam memahami seperti apa semua peran ini nantinya.

Ketika perusahaan merekrut dokter, pengacara, insinyur, ilmuwan, dan spesialis lainnya untuk meningkatkan model AI, bagaimana Anda memverifikasi keahlian mereka dan memastikan data pelatihan yang dihasilkan akurat serta konsisten?

Kami telah membangun sistem yang menyeluruh untuk keperluan ini. Prosesnya dimulai dengan Zara, perekrut AI kami, yang membantu mencari dan menyeleksi ahli berdasarkan keterampilan yang dibutuhkan suatu proyek. Selanjutnya, alat Merit membantu kami melacak mutu, kecepatan, dan keandalan kontribusi mereka dari waktu ke waktu. Kita perlu memahami keahlian seseorang sekaligus bagaimana keahlian itu tercermin dalam data yang mereka hasilkan.

Platform alur kerja kami menyatukan pekerjaan para ahli dengan model yang kami bangun untuk mendukung pembuatan dan peninjauan data. Para ahli menentukan tugas dan kriteria hasil yang baik. Kemudian, flow gen membantu mengembangkan titik awal tersebut menjadi contoh dan variasi baru. flow qc memeriksa data untuk menemukan masalah seperti bukti yang hilang atau ketidaksesuaian antara tugas dan kriteria penilaiannya. Sementara itu, flow grader mengevaluasi kinerja model berdasarkan kriteria tersebut.

Hal yang penting adalah apa yang terjadi ketika seorang ahli menemukan kesalahan. Koreksi tersebut dapat meningkatkan data pelatihan, sekaligus membantu kami menyempurnakan generator dan pemeriksaan kualitas. Kami dapat mengubah kesalahan yang berulang menjadi pengujian untuk versi berikutnya.

Itulah siklus berulang data sintetis yang sedang kami bangun. Keahlian manusia memberi kami titik awal sekaligus pertimbangan yang diperlukan. Perangkat kami membantu mengembangkannya, sementara masukan dari para ahli membantu menyempurnakan siklus berikutnya. Setelah itu, kami menguji apakah perubahan tersebut benar-benar meningkatkan kinerja model. Itulah yang membuat siklus ini bernilai.

Agen AI semakin dituntut untuk menjalankan tugas yang kompleks dan terdiri atas banyak langkah, bukan sekadar menghasilkan tanggapan. Apa perbedaan pelatihan dan evaluasi sistem ini dengan upaya yang diperlukan untuk meningkatkan model bahasa besar tradisional?

Perbedaan utamanya terletak pada panjangnya tugas. Agen mungkin perlu melakukan banyak tindakan dengan berbagai perangkat sebelum memperoleh hasil yang berguna. Agen bisa menjalankan beberapa langkah pertama dengan baik, tetapi tetap gagal menyelesaikan keseluruhan tugas karena kesalahan yang terjadi terus menumpuk.

Karena itu, kita membutuhkan lingkungan tempat model dapat berlatih menjalankan seluruh alur kerja, serta evaluasi yang menunjukkan titik kegagalannya. Apakah model menemukan informasi yang tepat? Apakah model menggunakan perangkat dengan benar? Apakah model benar-benar mencapai hasil yang kita inginkan?

Selain itu, ada konteks perusahaan itu sendiri. Agen yang bekerja di dalam suatu perusahaan perlu memahami proses dan ekspektasi perusahaan tersebut. Kemampuan umum hanya bisa membawa agen sejauh itu.

Di sinilah para ahli di bidang terkait menjadi sangat penting. Mereka membantu kami mendiagnosis kegagalan dan membuat data untuk memperbaikinya. Kami melakukan evaluasi, menemukan kesenjangan, melatih model untuk mengatasi kesenjangan tersebut, lalu mengevaluasinya kembali. Proses ini terus berlanjut seiring bertambahnya pekerjaan yang ditangani agen.

Seiring meningkatnya kemampuan model terdepan, bagaimana perubahan jenis data yang dihasilkan manusia yang dibutuhkan model tersebut, dan bentuk keahlian atau evaluasi apa yang menurut Anda akan menjadi jauh lebih bernilai dalam beberapa tahun ke depan?

Ada dua hal yang semakin penting: durasi tugas dan seberapa dekat tugas itu mencerminkan dunia nyata. Seiring meningkatnya kemampuan model, data pelatihan yang bermanfaat beralih ke alur kerja kompleks yang melibatkan lebih banyak keputusan, konteks, dan peluang untuk melakukan kesalahan.

Hal itu membuat keahlian operasional sangat bernilai. Orang yang telah bertahun-tahun menjalankan suatu pekerjaan memahami berbagai pengecualian dan ketergantungan yang mudah terlewat saat tugas dirancang tanpa pengalaman langsung. Mereka juga dapat menilai apakah hasil kerja agen benar-benar akan berfungsi di dalam perusahaan.

Menurut saya, evaluasi untuk perusahaan pada akhirnya akan menjadi pasar yang sangat besar, yang berpotensi bernilai satu triliun dolar per tahun. Setiap perusahaan yang menerapkan agen perlu memahami di mana agen tersebut bekerja dengan baik, di mana agen gagal, dan bagaimana cara meningkatkannya. Orang-orang yang mampu mengubah pengetahuan mereka menjadi evaluasi yang bermanfaat akan memegang peran penting dalam hal itu. Kebutuhan ini akan terus ada karena perusahaan, model, dan pekerjaan selalu berubah.

Sejumlah profesional mungkin pada dasarnya membantu melatih sistem AI untuk menjalankan sebagian dari pekerjaan mereka sendiri. Bagaimana Anda memandang ketegangan tersebut, dan seperti apa hubungan antara keahlian manusia dan AI menurut Anda dalam tiga hingga lima tahun ke depan?

Menurut saya, kita meremehkan banyaknya pekerjaan baru yang akan diciptakan orang ketika memiliki perangkat ini.

Ambil contoh perekrutan. Jika agen dapat menangani lebih banyak tahap penyaringan awal, perekrut dapat menghabiskan lebih banyak waktu untuk menjalin hubungan dengan kandidat atau mencari cara menarik orang-orang yang sebelumnya sulit dijangkau perusahaan. Peran mereka berubah, dan mereka dapat menyelesaikan lebih banyak hal dalam waktu yang sama.

Saya memperkirakan hal serupa akan terjadi di banyak profesi. Dalam tiga hingga lima tahun ke depan, agen akan semakin menjadi rekan kerja yang diarahkan, diberi konteks, dan dievaluasi oleh manusia. Seiring berlangsungnya perubahan itu, orang-orang akan mengemban tanggung jawab baru.

Itulah alasan saya optimistis. Kita sudah melihat munculnya pekerjaan baru seputar pelatihan dan evaluasi AI, dan menurut saya masih banyak lagi yang akan hadir seiring orang-orang menemukan hal-hal yang bisa mereka bangun dan capai dengan AI.

Terima kasih atas wawancara yang menarik ini. Pembaca yang ingin mengetahui lebih lanjut tentang data pelatihan yang dipandu para ahli, evaluasi AI, dan kesempatan untuk menyumbangkan pengetahuan di bidang mereka dapat mengunjungi micro1.