iMerit Meluncurkan Platform Scholars untuk Memperluas Pelatihan dan Evaluasi AI yang Dipimpin Pakar

Sebuah model dapat menghasilkan penjelasan medis yang meyakinkan atau jawaban lancar untuk soal matematika, tetapi tetap membuat kesalahan yang hanya dapat dikenali oleh seorang spesialis. Kebutuhan akan penilaian pakar inilah yang melatarbelakangi peluncuran iMerit atas platform Scholars iMerit, sebuah sistem yang dirancang untuk mengoordinasikan orang-orang yang melatih, mengevaluasi, dan menguji model AI canggih.

Perusahaan milik EXL itu mengumumkan peluncuran tersebut pada 26 Oktober, dengan menyatukan perekrutan, orientasi, pencocokan pakar, penugasan proyek, keterlibatan, dan pembayaran dalam satu platform. Menurut pengumuman itu, program Scholars yang sudah ada mencakup lebih dari 30.000 profesional yang diundang dan telah melalui proses seleksi, dari 118 negara dan yang menguasai 106 bahasa.

Platform ini dirancang untuk mengelola ratusan ribu pakar seiring meningkatnya permintaan. Pernyataan ini mengacu pada skala operasional yang dituju, yang berbeda dari jumlah komunitas saat ini sebagaimana dilaporkan. Tujuan langsungnya adalah mempermudah koordinasi kontribusi manusia yang terspesialisasi di seluruh siklus pengembangan dan penerapan model.

Membangun Tenaga Kerja di Balik Peningkatan Model

Komunitas Scholars mencakup bidang kedokteran, matematika, pertanian, linguistik, sistem otonom, dan bidang khusus lainnya. Para pakar ini berkontribusi dalam penyempurnaan terarah terawasi, evaluasi model, pengujian adversarial, dan pembelajaran penguatan dari umpan balik manusia, yang umum disebut RLHF.

Aktivitas-aktivitas tersebut memerlukan jenis penilaian yang berbeda. Penyempurnaan model dapat memerlukan contoh yang disusun dengan cermat tentang respons yang seharusnya diberikan oleh model. Evaluasi menilai apakah suatu keluaran memenuhi kriteria yang telah ditetapkan. Pengujian adversarial sengaja mencari kelemahan dalam suatu sistem, sedangkan umpan balik manusia dapat memberikan preferensi dan koreksi yang menjadi masukan bagi pelatihan berikutnya.

Karena itu, mencocokkan orang yang tepat dengan tugas sama pentingnya dengan memperluas jumlah pakar. Dokter yang memahami bidang spesialisasi tertentu secara mendalam mungkin dapat menemukan kesalahan berdampak besar yang luput dari perhatian penelaah dengan pengetahuan luas. Ahli bahasa mungkin mengenali ambiguitas yang hilang dalam terjemahan harfiah.

Platform baru ini mencocokkan proyek dengan spesialisasi bidang dan keterampilan kognitif, sekaligus menyediakan infrastruktur administratif agar para pakar tetap terlibat. iMerit menyebut tujuannya sebagai membangun hubungan berkelanjutan dengan para spesialis yang memahami pekerjaan tersebut dan berpartisipasi dalam siklus umpan balik.

“Kami membutuhkan orang-orang yang cukup berpengetahuan, bukan hanya untuk mengajari model, tetapi juga untuk membuktikan bahwa model itu salah dan mengoreksinya,” kata Radha Basu, wakil presiden eksekutif sekaligus kepala iMerit di EXL.

Ango Hub Menghubungkan Penilaian Pakar dengan Data Pelatihan

Teknologi operasional yang mendukung platform Scholars adalah Ango Hub, platform anotasi data dan evaluasi model milik iMerit. Fungsinya adalah mengubah pekerjaan pakar menjadi hasil kerja yang terorganisasi dan dapat ditinjau, sehingga bisa digunakan dalam alur pelatihan atau evaluasi.

Dokumentasi produk Ango Hub yang sudah tersedia menjelaskan alur kerja yang dapat dikonfigurasi, beberapa anotator untuk satu aset, tugas tolok ukur, serta fitur kendali bagi penelaah untuk menerima, menolak, atau mengoreksi label. Pedoman proyek dan sistem pelaporan masalah membantu penelaah menyelesaikan pertanyaan, sementara kontrol akses berbasis peran mengatur siapa yang dapat mengerjakan data tertentu.

Platform ini mendukung beberapa jenis data, termasuk gambar, video, audio, teks, PDF, dan data DICOM medis. Cakupan yang luas ini relevan karena pengembangan model semakin memadukan bahasa dengan informasi visual, klinis, atau tentang dunia fisik. Antarmuka dan proses peninjauan perlu disesuaikan dengan materi yang diperiksa pakar.

Perbedaan antara kedua platform ini penting: Scholars mengoordinasikan tenaga kerja pakar dan hubungan mereka dengan proyek, sedangkan Ango Hub menyediakan alat dan alur kerja yang mengubah kontribusi pakar menjadi data AI yang dapat digunakan.

Dari Mengoreksi Jawaban hingga Mengevaluasi Seluruh Alur Kerja Agen

Deep Reasoning Lab milik iMerit memberikan gambaran yang lebih terperinci tentang proses tersebut. Perusahaan itu menjelaskan bahwa para pakar merancang skenario bertahap, meninjau keluaran model, mengategorikan kesalahan, serta memberikan koreksi beserta penjelasannya. Contoh-contoh terstruktur ini dapat membantu pengembang mengidentifikasi letak kesalahan dalam jawaban dan menyusun materi pelatihan yang terarah.

Jejak penalaran semacam itu merupakan hasil kerja yang dikurasi, dibuat, dan ditinjau untuk suatu tugas. Jejak tersebut tidak boleh dianggap mengungkap setiap komputasi internal yang menghasilkan jawaban model. Nilai praktisnya terletak pada kemampuannya menjelaskan jalur evaluasi dan koreksi secara cukup terperinci agar dapat diperiksa dan digunakan kembali.

layanan evaluasi agen milik perusahaan ini memperluas peninjauan, tidak hanya mencakup respons akhir, tetapi juga langkah perencanaan, pemanggilan alat, keadaan perantara, dan hasil. Layanan ini menjelaskan penggunaan rubrik terstruktur dan penilaian oleh pakar untuk berbagai persoalan, seperti penyelesaian tugas, pemilihan alat, landasan jawaban, dan batasan kebijakan.

Hal ini menjadi penting ketika AI dapat melakukan tindakan. Agen mungkin menghasilkan rangkuman yang rapi, tetapi menggunakan alat yang salah atau tidak menyelesaikan tugas yang mendasarinya. Dengan meninjau urutan tindakan, para spesialis dapat mengidentifikasi kegagalan tersebut dan menyampaikan umpan balik terstruktur kepada pengembang.

Pembayaran dan Keberlanjutan Proyek Menjadi Bagian dari Infrastruktur

Peluncuran ini juga mengintegrasikan Trolley untuk pembayaran global. iMerit menyatakan bahwa integrasi ini mendukung pembayaran yang aman dan proses kepatuhan bagi komunitas pakar internasionalnya.

Operasional pembayaran mungkin tampak tidak berkaitan langsung dengan kinerja model, tetapi hal itu memengaruhi konsistensi partisipasi seorang spesialis. Perekrutan, orientasi, akses ke tugas, dan kompensasi semuanya menjadi kebutuhan operasional ketika sebuah proyek mengandalkan pakar di banyak negara.

Platform ini menyediakan fungsi-fungsi tersebut bersama fitur pencocokan dan pelibatan, alih-alih membiarkan setiap tim proyek menyediakannya sendiri secara terpisah. Bagi pelanggan, manfaat yang diharapkan adalah tenaga kerja dan proses peninjauan yang lebih konsisten; bagi para pakar, platform ini menyediakan jalur yang lebih jelas, mulai dari bergabung dalam proyek hingga menyelesaikan pekerjaan dan menerima pembayaran.

“Anda bukan sekadar memberi label pada data; Anda membantu membentuk cara sistem ini bernalar dan berperilaku di bidang Anda,” kata Pavel Kopach, M.D., spesialis patologi di Beth Israel Deaconess Medical Center dan pakar iMerit di bidang AI kesehatan, dalam pengumuman tersebut.

EXL Menghadirkan Konteks Penerapan di Perusahaan

Peluncuran ini menyusul rampungnya akuisisi iMerit oleh EXL, yang diumumkan pada 3 Agustus. EXL menyatakan bahwa penggabungan ini bertujuan memadukan keahlian dalam pelatihan dan evaluasi model dengan data perusahaan, konteks operasional, serta kapabilitas implementasi AI miliknya.

Hal ini membuka jalur yang lebih luas bagi Scholars untuk menjangkau pasar. Basu mengatakan iMerit tengah berekspansi dari pengembangan model mutakhir ke alur kerja perbankan, layanan kesehatan, dan asuransi, yang keberhasilan penerapan AI-nya dalam lingkungan produksi dipengaruhi oleh penyesuaian khusus bidang, kepercayaan, dan keselamatan.

Platform baru ini tidak dengan sendirinya membuktikan bahwa suatu model dapat diandalkan di setiap lingkungan khusus. Platform ini menangani prasyarat yang lebih konkret: mengorganisasi orang, alat, dan umpan balik yang diperlukan untuk menguji sistem berdasarkan tuntutan lingkungan tersebut. Seiring AI semakin merambah alur kerja profesional, kemampuan untuk menemukan pakar yang tepat, memperoleh koreksi yang berguna, dan memasukkan kembali pengetahuan itu ke dalam pengembangan menjadi bagian yang semakin penting dari tumpukan teknologi.