Radha Basu, CEO dan Pendiri iMerit – Seri Wawancara

Radha Basu, Pendiri dan CEO iMerit telah membangun karirnya di HP, menghabiskan 20 tahun dengan raksasa teknologi tersebut dan akhirnya memimpin grup Solusi Perusahaan. Dia kemudian membawa Support.com go public sebagai CEO-nya. Radha memulai Anudip Foundation pada tahun 2007 bersama Dipak Basu dan kemudian mendirikan iMerit pada tahun 2012. Dia dianggap sebagai pengusaha teknologi terkemuka dan mentor, serta pelopor dalam bisnis perangkat lunak.

iMerit menyediakan solusi data AI multimodal dengan menggabungkan otomatisasi, anotasi manusia ahli, dan analitik lanjutan untuk mendukung pelabelan data berkualitas tinggi dan penyetelan model pada skala besar.

Anda telah memiliki perjalanan yang luar biasa – dari membangun operasi HP di India hingga mendirikan iMerit dengan misi untuk meningkatkan kaum muda yang termarginalkan di Bhutan, India, dan New Orleans. Apa yang menginspirasi Anda untuk memulai iMerit, dan apa tantangan yang Anda hadapi dalam menciptakan tenaga kerja global yang inklusif dari awal?

Sebelum mendirikan iMerit, saya menjabat sebagai Ketua dan CEO SupportSoft, di mana saya memimpin perusahaan tersebut melalui penawaran umum awal dan sekunder, membangunnya sebagai pemimpin global dalam perangkat lunak otomatisasi dukungan. Pengalaman itu menunjukkan kepada saya kekuatan menggabungkan orang dan teknologi sejak hari pertama.

Sementara ledakan teknologi India menciptakan peluang baru, saya menyadari bahwa banyak pemuda berbakat di daerah yang terpinggirkan ditinggalkan. Saya percaya pada potensi dan semangat mereka untuk belajar. Begitu mereka melihat bagaimana perangkat lunak dapat memberdayakan teknologi canggih seperti AI, mereka dengan antusias menerima karir tersebut.

Kami meluncurkan iMerit dengan tim kecil yang beragam, setengah dari mereka adalah perempuan, dan telah tumbuh pesat sejak saat itu. Kemampuan adaptasi dan kelincahan tim kami telah menjadi kunci, terutama karena AI yang berbasis data telah meningkatkan permintaan jangka panjang akan spesialis terampil.

Hari ini, iMerit adalah penyedia global solusi data AI untuk sektor kritis seperti kendaraan otonom, AI medis, dan teknologi. Pekerjaan kami memastikan model AI pelanggan dibangun di atas data yang dapat diandalkan dan berkualitas tinggi, yang sangat penting dalam lingkungan yang berisiko tinggi.

Pada akhirnya, kekuatan kami terletak pada teknologi yang kuat dan tim karyawan yang terlatih dengan baik dan termotivasi yang tumbuh dalam budaya yang mendukung dan berorientasi pada pembelajaran. Pendekatan ini telah memacu pertumbuhan kami, menjaga kami tetap menguntungkan, dan mendapatkan skor NPS yang tinggi dan klien yang setia.

iMerit sekarang bekerja dengan lebih dari 200 klien, termasuk raksasa teknologi seperti eBay dan Johnson & Johnson (JNJ ). Bisakah Anda membawa kami melalui perjalanan pertumbuhan perusahaan – dari hari-hari awal hingga menjadi pemimpin global dalam layanan data AI?

Kami telah menyaksikan perjalanan AI klien kami, bermitra dari eksperimen awal hingga produksi skala besar. Pekerjaan kami mencakup startup, pemimpin kendaraan otonom global, dan perusahaan besar. Dengan melatih model mereka dari awal, kami telah memperoleh wawasan yang tak tertandingi tentang apa yang benar-benar diperlukan untuk menskalakan AI di dunia nyata.

Bidang ini terus berkembang dan berubah dengan cepat. Saya jarang melihat teknologi maju dengan dramatis dalam waktu yang singkat. Kami telah bertransformasi dari penyedia anotasi data menjadi perusahaan data AI full-stack, menyediakan solusi khusus di seluruh siklus hidup Human-in-the-Loop (HITL): anotasi, validasi, audit, dan red-teaming. Menangani kasus tepi dan pengecualian sangat penting untuk penerapan dunia nyata, memerlukan keahlian yang mendalam dan penilaian nuansa pada setiap tahap.

Vertikal terbesar kami adalah mobilitas otonom, di mana kami mengelola seluruh tumpukan persepsi, termasuk fusi sensor di 15 sensor untuk kendaraan penumpang, pengiriman, truk, dan pertanian. Di bidang kesehatan, kami memimpin AI pencitraan klinis. Di high-tech, kami berada di garis depan penyetelan dan validasi GenAI, yang memerlukan lebih banyak kehalusan dalam alur kerja dan bakat kami.

Keberhasilan di domain ini tidak hanya tentang memiliki ahli – tetapi tentang mengembangkan keahlian: kemampuan kognitif untuk menantang, melatih, dan memahami konteks model AI. Inilah yang membedakan tim kami.

Pertumbuhan kami didorong oleh kemitraan jangka panjang, dan sebagian besar dari 10 klien teratas kami telah bersama kami selama lebih dari lima tahun. Ketika kebutuhan mereka tumbuh lebih kompleks, kami terus meningkatkan pengetahuan domain, tooling, pelatihan, dan solusi kami. Baik tumpukan teknologi kami maupun orang-orang kami harus terus berkembang.

Fusi perangkat lunak, otomatisasi, anotasi, dan analitik menciptakan rubrik untuk intervensi human-in-the-loop yang sangat fleksibel, cepat, dan presisi. 70% logo baru ada di tumpukan teknologi kami sendiri, yang memerlukan transformasi internal besar-besaran. Lagi-lagi, budaya kami memastikan tim kami ingin terus belajar dan tumbuh.

Apa yang telah menjadi momen-momen paling penting dalam sejarah iMerit – baik itu kemajuan teknologi atau keputusan strategis – yang membantu membentuk arah perusahaan?

Pada saat pekerjaan data AI dianggap sebagai pekerjaan gig berbasis kerumunan, kami mengambil taruhan awal bahwa ini akan tumbuh sebagai karir dan akan memerlukan kompleksitas dan fokus perusahaan. Dengan membangun tim internal yang didedikasikan untuk kasus penggunaan lanjutan, kami memungkinkan klien kami untuk menskalakan dengan cepat, yang berpuncak pada kesepakatan MRR $1M pertama kami di kendaraan otonom, yang memvalidasi pendekatan kami.

Penguncian COVID-19 menguji keluwesan kami: kami beralih dari kantor penuh ke remote hampir semalam, berinvestasi besar-besaran dalam infrastruktur, keamanan, dan budaya. Dalam beberapa minggu, operasi klien kami pulih, dan kami tumbuh baik dari sisi pendapatan maupun jumlah karyawan pada tahun itu. Hari ini, dengan 70% tim kami kembali di lokasi, kami terus memanfaatkan bakat remote, meluncurkan Scholars, jaringan global ahli subjek untuk penyetelan dan validasi GenAI. Apakah itu seorang ahli jantung atau seorang ahli matematika Spanyol, budaya sentuhan tinggi kami menarik dan memotivasi bakat terbaik, langsung meningkatkan kualitas dan konsistensi solusi kami.

Pada tahun 2023, kami mengakuisisi Ango.ai, platform labeling data AI yang ditenagai AI dan otomatisasi alur kerja, untuk memacu generasi berikutnya alat data AI. Langkah penting ini menggabungkan keahlian domain iMerit dengan tooling Ango yang canggih, memperluas kemampuan kami di radiologi, fusi sensor, dan penyetelan GenAI. Kami masih bekerja dengan alat klien, tetapi banyak klien baru sekarang diintegrasikan langsung ke Ango Hub, yang menarik karena alur kerja yang ramah pengguna dan keamanan yang kuat, yang merupakan persyaratan penting dalam industri kami.

Perusahaan konsisten mengatakan kepada kami bahwa mereka mencari yang terbaik dari kedua dunia: wawasan manusia ahli untuk memastikan kualitas, digabungkan dengan platform yang aman dan dapat diskalakan yang menyediakan otomatisasi dan analitik. Menggabungkan kekuatan dengan Ango memberikan tepat itu, memposisikan kami secara unik untuk memenuhi tuntutan kompleks proyek AI paling ambisius saat ini dan menskalakan dengan kepercayaan diri.

iMerit sangat terlibat dalam domain lanjutan seperti kendaraan otonom, AI medis, dan GenAI. Apa beberapa tantangan data unik yang Anda hadapi di sektor ini, dan bagaimana Anda menanganinya?

Tugas terkait data biasanya memakan waktu sekitar 80% dari waktu yang dihabiskan pada proyek AI, membuatnya menjadi komponen kritis dari pipa. Bagian data-sentris dari AI dapat memakan waktu dan mahal jika tidak ditangani dengan tepat dan dapat diskalakan.

Kualitas data, dan terutama penghindaran kesalahan yang jelas, sangat penting dalam sektor kritis yang kami operasikan. Apakah itu algoritma persepsi atau detektor tumor, data yang bersih sangat penting dalam loop pelatihan-validasi.

Penanganan pengecualian sangat berharga. Wawasan manusia tentang mengapa sesuatu berada di luar norma atau mengapa skenario memecahkan model menciptakan nilai besar dalam membuat model lebih lengkap dan kuat.

Selain itu, jendela konteks menjadi lebih besar. Kami meringkas catatan klinis konsultasi dokter-pasien lengkap dan menganalisis anomali dalam MRI berdasarkan tidak hanya gambar tetapi juga konteks medis pasien. Ahli subjek harus menetapkan rubrik untuk menganalisis data dengan akurat dan memastikan kualitas.

Keamanan, privasi, dan kerahasiaan adalah topik yang sangat penting. Petugas Keamanan Utama kami harus melindungi terhadap akses tidak sah, penghapusan, dan penyimpanan data. Protokol infosec seperti SOC2, HIPAA, dan TISAX, telah menjadi area investasi besar bagi kami.

Terakhir, insinyur dan arsitek solusi kami terus bekerja pada integrasi khusus dan laporan sehingga kebutuhan unik klien tercermin dalam mil terakhir. Pendekatan satu-ukuran-untuk-semua tidak berfungsi dalam AI.

Anda telah berbicara tentang menggabungkan robotika dan kecerdasan manusia sebagai jalur yang lebih aman untuk AI. Bisakah Anda memperluas apa yang terlihat seperti alur kerja ini dalam prakteknya – dan mengapa Anda percaya itu lebih baik daripada mencoba menghilangkan deviasi kreatif AI?

AI menyediakan skala, yang berarti perusahaan mengembangkan alat untuk mengotomatisasi proses panjang yang biasanya dilakukan oleh manusia. Tetapi manusia menyediakan mil terakhir dari fleksibilitas, kepastian, dan ketahanan. Ketika layanan yang disampaikan oleh perangkat lunak terus berkembang dalam AI, perusahaan yang paling sukses akan menggabungkan robotika dengan praktik Human-in-the-Loop (HITL).

Kami melihat HITL sebagai lapisan konsisten dalam setiap fase siklus pengembangan dan penerapan AI, dan juga sebagai tiang kepercayaan dan keamanan. Akibatnya, kecerdasan manusia akan sangat penting untuk mengoreksi jika model gagal. Aplikasi kritis ini akan memerlukan pikiran manusia untuk menentukan perubahan apa yang perlu dilakukan. Inilah di mana layanan HITL akan menjadi semakin penting ketika kami mengintegrasikan AI ke dalam produksi dan operasi lapangan.

Platform Ango Hub Anda menggabungkan otomatisasi dengan keahlian human-in-the-loop. Bagaimana model hibrida ini meningkatkan kualitas data dan kinerja model dalam sistem AI produksi?

AI dan otomatisasi menyediakan skala dan kecepatan, sedangkan manusia menyediakan nuansa, wawasan, dan pengawasan. HITL memastikan keterlibatan manusia pada titik kritis dalam siklus hidup AI – memastikan input berkualitas tinggi, memvalidasi output, mengidentifikasi kasus tepi, dan menyempurnakan model untuk domain, serta menyediakan penilaian kontekstual. Manusia membantu memastikan akurasi dengan meninjau dan memverifikasi output, menangkap halusinasi atau kesalahan logika sebelum mereka menyebabkan kerusakan. Mereka juga menyediakan pengawasan dalam konteks yang sensitif secara etis atau berisiko tinggi di mana LLM tidak boleh membuat keputusan akhir. Lebih penting lagi, umpan balik manusia memicu pembelajaran berkelanjutan, membantu sistem AI selaras lebih dekat dengan tujuan pengguna dari waktu ke waktu.

HITL mengambil banyak bentuk. Ahli manusia terlibat dalam anotasi yang ditargetkan, menerapkan penalaran kompleks pada kasus tepi, dan meninjau konten yang dihasilkan AI menggunakan antarmuka QA terstruktur. Sebagai gantinya untuk mengevaluasi setiap keputusan, sistem eskalasi kontekstual sering diimplementasikan. Sistem ini hanya merutekan output dengan kepercayaan rendah atau anomali yang ditandai ke peninjau manusia, menyeimbangkan pengawasan dengan efisiensi.

Penggunaan kritis lain dari HITL adalah penyetelan agen AI melalui Umpan Balik Manusia dari Pembelajaran Penguatan (RLHF). Peninjau manusia menilai, menulis ulang, atau memberikan umpan balik pada respons agen, yang sangat penting dalam domain sensitif seperti kesehatan, layanan hukum, atau dukungan pelanggan. Seiring dengan itu, pengujian berbasis skenario dan red teaming memungkinkan evaluator manusia untuk menguji agen di bawah kondisi yang berlawanan atau tidak biasa untuk mengidentifikasi dan menambal kerentanan sebelum penerapan.

Potensi penuh AI hanya terwujud ketika manusia tetap dalam loop, memandu, memvalidasi, dan meningkatkan setiap langkah. Apakah itu memperbaiki output agen, melatih loop evaluasi, atau mengkurasi pipa data yang dapat diandalkan, pengawasan manusia menambahkan struktur dan akuntabilitas yang AI butuhkan untuk dipercaya dan efektif.

Dengan perkembangan alat Generative AI yang berkembang pesat, bagaimana iMerit tetap memimpin dalam menyediakan layanan evaluasi, RLHF, dan penyetelan?

Kami baru-baru ini meluncurkan Ango Hub Deep Reasoning Lab (DRL), platform terpadu untuk penyetelan Generative AI dan pengembangan interaktif dari penalaran rantai-pemikiran dengan guru AI. DRL kami memungkinkan proses waktu nyata, berbasis giliran, dan evaluasi berdasarkan preferensi manusia, menghasilkan respons model yang lebih koheren dan akurat untuk masalah kompleks.

Kemajuan dalam model GenAI dan pengembangan aplikasi menyoroti nilai data yang bersih, dibuat oleh ahli, dan divalidasi. Dengan Ango Hub DRL, ahli dapat menguji model, mengidentifikasi kelemahan, dan menghasilkan data yang bersih menggunakan penalaran rantai-pemikiran. Mereka berinteraksi dengan model secara real-time dan mengirimkan prompt dan koreksi kembali langkah demi langkah dalam antarmuka tunggal.

Menggunakan iMerit Scholars, Ango Hub DRL memperbaiki proses penalaran model. Ini memanfaatkan pengalaman iMerit yang luas dengan alur kerja HITL. Ahli merancang skenario multi-langkah untuk tugas kompleks, seperti membuat prompt rantai-pemikiran untuk masalah matematika lanjutan. iMerit Scholars meninjau output, memperbaiki kesalahan, dan menangkap interaksi dengan mulus. Keajaiban bukanlah dengan mengontrak jumlah besar secara sembarangan. Ahli matematika terbaik tidak selalu guru terbaik. Juga tidak boleh memperlakukan seorang ahli jantung seperti pekerja lepas. Pemilihan dan pelatihan ahli subjek untuk berpikir dengan cara yang paling menguntungkan proses pelatihan model, serta keterlibatan, membuat perbedaan.

Apa yang dimaksud dengan “ahli-dalam-loop” dalam konteks penyetelan generatif AI? Bisakah Anda membagikan contoh di mana keahlian manusia secara signifikan meningkatkan output model?

Ahli-dalam-Loop menggabungkan kecerdasan manusia dengan kecerdasan robotik untuk memajukan AI ke produksi. Ini melibatkan ahli manusia yang memvalidasi, memperbaiki, dan meningkatkan output sistem yang diotomatisasi.

Secara khusus, anotasi data yang dipimpin oleh ahli memastikan bahwa data pelatihan dilabeli dengan akurat dengan pengetahuan domain-spesifik, sehingga meningkatkan presisi dan keandalan model AI prediktif. Dengan mengurangi bias dan kesalahan klasifikasi, anotasi yang dipimpin oleh ahli meningkatkan kemampuan model untuk umum dengan efektif di seluruh skenario dunia nyata. Ini menghasilkan sistem AI yang lebih dapat dipercaya, dapat diinterpretasikan, dan selaras dengan kebutuhan industri-spesifik.

Misalnya, setelah mengakuisisi korpus data medis besar, sebuah perusahaan teknologi multinasional Amerika memerlukan evaluasi data untuk digunakan dalam chatbot medis yang menghadap konsumen untuk memastikan saran medis yang aman dan akurat untuk pengguna. Berpaling ke iMerit, mereka menggunakan jaringan luas ahli kesehatan AS kami dan menyusun tim perawat untuk bekerja dalam alur kerja konsensus dengan eskalasi dan arbitrasi yang disediakan oleh seorang dokter bersertifikat AS. Perawat mulai dengan mengevaluasi basis pengetahuan yang menampilkan definisi untuk menilai akurasi dan risiko.

Melalui diskusi kasus tepi dan revisi pedoman, perawat dapat mencapai kesepakatan dalam 99% kasus. Ini memungkinkan tim untuk merevisi desain proyek ke struktur suara tunggal dengan audit 10%, sehingga mengurangi biaya proyek lebih dari 72%. Bekerja dengan iMerit telah memungkinkan perusahaan ini untuk terus mengidentifikasi cara untuk menskalakan anotasi data medis secara etis dan efisien.

Dengan lebih dari 8.000 ahli penuh waktu di seluruh dunia, bagaimana Anda mempertahankan kualitas, kinerja, dan pengembangan karyawan pada skala besar?

Definisi kualitas selalu disesuaikan dengan kasus penggunaan khusus klien. Tim kami bekerja sama erat dengan klien untuk mendefinisikan dan mengkalibrasi standar kualitas, menggunakan proses khusus yang memastikan setiap anotasi divalidasi dengan cepat oleh ahli subjek. Konsistensi penting untuk pengembangan AI berkualitas tinggi. Ini didukung oleh retensi karyawan yang tinggi (90%) dan fokus kuat pada analitik produksi, pembeda utama dalam desain Ango Hub, yang dibentuk oleh input pengguna harian dari tim kami.

Kami terus berinvestasi dalam otomatisasi, optimasi, dan manajemen pengetahuan, yang didukung oleh platform pelatihan iMerit One yang proprietary. Komitmen ini terhadap pembelajaran dan pengembangan tidak hanya mengarah pada keunggulan operasional tetapi juga mendukung kemajuan karir jangka panjang bagi karyawan kami, memupuk budaya keahlian dan pertumbuhan.

Apa saran yang Anda berikan kepada pengusaha AI yang bercita-cita untuk membangun sesuatu yang bermakna – baik dalam teknologi maupun dampak sosial?

AI bergerak dengan kecepatan yang luar biasa. Pergi melampaui tumpukan teknologi dan dengarkan klien Anda untuk memahami apa yang penting bagi bisnis mereka. Pahami nafsu mereka untuk kecepatan, perubahan, dan risiko. Pelanggan awal dapat mencoba hal-hal. Pelanggan yang lebih besar perlu tahu bahwa Anda ada untuk tetap dan bahwa Anda akan terus memprioritaskan mereka. Buat mereka merasa tenang dengan pendekatan proaktif Anda terhadap transparansi, keamanan, dan akuntabilitas.

Selain itu, pilih investor dan anggota dewan dengan hati-hati untuk memastikan keselarasan nilai dan kepedulian. Di iMerit, kami mengalami dukungan signifikan dari dewan dan investor kami selama waktu yang menantang seperti COVID-19, yang kami atribusikan pada keselarasan ini.

Kualitas kunci yang menyumbang kesuksesan seorang wirausaha di industri teknologi melampaui mengambil risiko; mereka melibatkan membangun perusahaan yang menguntungkan dan inklusif.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi iMerit.