Carolyn Harvey, Chief Operations Officer di LXT – Seri Wawancara

Carolyn Harvey memiliki pengalaman luas dalam memimpin dan mengembangkan operasi global di bidang relevansi pencarian dan anotasi untuk data ML. Carolyn saat ini menjabat sebagai Chief Operations Officer (COO) di LXT di mana dia memimpin divisi operasi global perusahaan, memastikan pengiriman konsisten dari semua program dan proyek data AI. Dia fokus pada data berkualitas tinggi dalam skala besar, membangun efisiensi dalam program jangka panjang dan menskalakan di seluruh jumlah besar lokasi global.

Sebagai COO di LXT, Carolyn memanfaatkan pengalaman luasnya untuk mengembangkan organisasi kelas dunia.

Apakah Anda dapat menjelaskan secara singkat apa yang dilakukan LXT dan peran Anda sebagai COO?

Kecerdasan buatan (AI) bergantung pada data untuk ada, dan LXT adalah pemimpin baru dalam menyediakan data yang akurat, bersumber etis, dan memungkinkan inovasi AI. Sebagai Chief Operations Officer, peran saya adalah untuk mengawasi, memimpin, dan mengembangkan operasi global kami melalui strategi, struktur, dan proses yang memungkinkan kami untuk menyediakan data AI berkualitas tertinggi kepada pelanggan kami. Saya memastikan kami memenuhi tenggat waktu di seluruh berbagai kasus penggunaan, dari AI generatif hingga relevansi pencarian dan mobil self-driving, di antara lainnya.

Bagaimana misi LXT berkembang sejak didirikan pada tahun 2010? 

Misi kami adalah untuk memungkinkan teknologi masa depan melalui generasi dan peningkatan data di seluruh bahasa, budaya, dan modalitas. Tujuan kami adalah untuk membantu perusahaan dari semua ukuran untuk memanfaatkan manfaat luar biasa yang ditawarkan AI dengan memungkinkan model mereka dengan data berkualitas tinggi. Seiring berkembangnya misi perusahaan, cakupan layanan kami telah berkembang dari transkripsi bahasa dan pengumpulan ucapan untuk mencakup berbagai solusi, termasuk pengumpulan dan anotasi data untuk teks, gambar, dan video, layanan AI generatif, dan lain-lain. Kami juga telah memperluas jejak global fasilitas kami yang bersertifikat ISO 27001 untuk memenuhi kebutuhan pelanggan yang terus meningkat akan layanan data yang aman.

Apa yang menjadi pendorong utama pertumbuhan LXT di sektor data pelatihan AI?

Pertumbuhan kami didorong oleh investasi terus-menerus di AI dari organisasi dari semua ukuran. Perusahaan sekarang tahu bahwa AI adalah syarat untuk tetap kompetitif, dan data memungkinkan AI. Namun, tidak semua data sama, dan perusahaan yang sukses di AI tahu bahwa data berkualitas tinggi sangat penting untuk menciptakan AI yang lebih akurat.

Sekarang dengan AI generatif yang ada di pikiran semua orang, tren ini telah membuka lebih banyak peluang pertumbuhan bagi LXT. Manusia sangat penting untuk memastikan bahwa solusi ini akurat, etis, dan bertanggung jawab. Kami menawarkan berbagai layanan AI generatif di bidang seperti fine-tuning model bahasa besar, pembuatan prompt, dan lain-lain. Pelanggan kami tahu bahwa untuk membangun kepercayaan dengan pengguna akhir, output dari produk AI generatif mereka perlu akurat, mewakili audiens yang beragam, dan bebas dari bahasa beracun. Kami dapat membantu mereka mencapai tujuan ini dengan layanan “human in the loop” kami.

Bagaimana ledakan AI generatif mempengaruhi LXT dan pelanggannya?

LXT telah melihat peningkatan permintaan untuk data pelatihan AI karena AI generatif, baik untuk data yang berorientasi pada bahasa maupun aspek baru yang terkait dengan analisis, kreativitas, dan pemikiran kritis. Kami juga melihat peningkatan permintaan untuk pengetahuan domain dan profil khusus untuk pekerja proyek.

Pelanggan kami semakin banyak meminta lebih dari sekedar tugas mesin pembelajaran mikro di masa lalu menuju model bahasa besar (LLM), dan dataset yang lebih kompleks yang diperlukan oleh aplikasi seperti ChatGPT, Gemini, dan banyak cabangnya. Kami saat ini terlibat dalam beberapa proyek inovatif di mana kami menulis prompt yang ditujukan untuk membingungkan AI generatif untuk melihat bagaimana ia merespons, dan kemudian menciptakan jawaban yang benar.

Di masa depan, ini mungkin berkembang lebih lanjut menjadi kecerdasan buatan umum (AGI) di mana dataset akan dipetakan ke tindakan yang lebih kompleks dan canggih.

Anda memiliki pengalaman bertahun-tahun dalam bekerja pada pencarian dan personalisasi untuk membantu meningkatkan algoritma ini. Apa saja beberapa cara yang dilakukan perusahaan terkemuka untuk meningkatkan relevansi pencarian mereka dan menyediakan pengalaman pengguna yang lebih baik?

Di dunia di mana waktu sangat berharga dan informasi ada di mana-mana, meningkatkan relevansi pencarian dapat meningkatkan loyalitas, meningkatkan tingkat konversi, dan membuat pengguna lebih produktif.

Relevansi pencarian dimulai dengan membersihkan dan mengorganisir data pelanggan kami, menghilangkan apa pun yang dapat menghasilkan hasil positif palsu, dan menciptakan bidang data tambahan melalui mana mesin pencari dan rekomendasi dapat mencari untuk menghasilkan hasil yang lebih presisi. Dengan bantuan pembelajaran mesin dan pemrosesan bahasa alami, pelanggan dapat memungkinkan mesin pencari mereka untuk lebih intuitif mengetahui niat pengguna dan belajar tentang preferensi mereka seiring waktu. Hasilnya adalah pengalaman pencarian yang lebih cepat yang mengarah ke hasil yang lebih dipersonalisasi.

Mencapai tujuan ini memerlukan volume data pelatihan yang besar, dengan fokus khusus pada melatih algoritma untuk mengenali, memeringkat, dan mengembalikan entitas yang relevan, dan bagaimana menangani kesalahan ketik, kesalahan tata bahasa, dan anomali data lainnya. Kami juga merekomendasikan pendekatan penguatan “human-in-the-loop” (HITL) untuk memastikan data yang akurat, mengurangi bias, dan menyediakan pengalaman pencarian yang lebih baik bagi pengguna akhir. Dengan kemajuan ML selama 10 tahun terakhir, HITL memiliki fokus yang ditingkatkan pada proses tinjauan kualitas yang mengarah ke kebutuhan akan pengalaman yang lebih dalam dari penyedia data.

Apakah Anda dapat menjelaskan pendekatan LXT terhadap anotasi data dan bagaimana memastikan kualitas dan akurasi data pelatihan AI?

Sebagai tim operasional, kami harus terlebih dahulu memahami bagaimana pelanggan menggunakan data yang kami sediakan dalam pengembangan produk dan layanan mereka untuk memastikan bahwa data tersebut akan memenuhi kebutuhan mereka. Untuk membuat ini terjadi, kami perlu menemukan ahli di bidang manajemen proyek dan anotasi yang memiliki pengalaman dengan jenis data yang diperlukan.

Dari sana, ini sebagian besar tentang persiapan dan menemukan sumber daya yang tepat di awal setiap proyek. Ini termasuk memastikan keselarasan dengan pelanggan pada faktor keberhasilan selama fase pengembangan serta proses kualifikasi dan verifikasi yang mendalam untuk anotator proyek yang mempertimbangkan detail penting seperti latar belakang pendidikan, minat khusus, demografi, dan pengalaman. Kami juga mengembangkan bahan belajar dan referensi yang terperinci sebagai panduan, disesuaikan untuk setiap proyek. Kami menerapkan pengawasan manajemen kualitas dan proses yang matang di seluruh siklus hidup proyek. Pendekatan yang kami gunakan selaras dengan dan memberitahu praktik terbaik industri, memastikan hasilnya memenuhi harapan pelanggan.

Dan semua metodologi ini berada dalam pelayanan janji kualitas data kami.

Bagaimana LXT menangani tantangan anotasi data tidak terstruktur, yang mencakup lebih dari 80% dari semua data?

LXT telah membangun platform anotasi internal yang mengotomatisasi banyak bagian dari proses anotasi dan menyediakan struktur dan antarmuka pengguna yang konsisten untuk pekerja. Pada tahap pra-pengolahan, kami fokus pada persiapan data, memformat file input, dan menghapus duplikat, di antara hal-hal lain, dan pada pasca-pengolahan, kami menangani pengemasan data, mengumpulkan, dan memformat untuk pengiriman ke klien.

Sebelum proyek dimulai, kami membuat pedoman yang ditinjau dengan pelanggan dan diiterasi sepanjang siklus hidup proyek karena perubahan. Kami dapat memecah proses pelabelan data menjadi beberapa tugas untuk fokus pada setiap elemen proyek dengan tepat. Selain itu, metodologi kontrol kualitas diterapkan untuk menghilangkan kesalahan dalam skala besar.

Akhirnya, Tim Keunggulan Operasional kami bertanggung jawab untuk manajemen proses lanjutan untuk memastikan efisiensi tinggi dan skalabilitas untuk proyek kami di seluruh dunia.

Apa saja beberapa tantangan terbesar yang dihadapi LXT dalam mengumpulkan data dalam skala global, dan bagaimana Anda mengatasi tantangan tersebut?

Keanekaragaman dan bias dalam partisipan dan dalam koleksi data sering kali merupakan beberapa tantangan terbesar yang dihadapi LXT, dan penyedia data pelatihan AI lainnya. Tantangan lain termasuk permintaan baru untuk keahlian domain dan lanskap yang berubah dengan cepat dengan peralihan ke LLM dan data AI generatif.

Kami mengatasi tantangan ini melalui pendekatan yang sangat proaktif dalam mencari kandidat, di mana kami meninjau keahlian, pengalaman, peran sebelumnya, minat, dan demografi untuk membentuk keanekaragaman di antara tim, baik berdasarkan gender atau aspek lain, seperti pemikiran analitis atau penulisan kreatif, latar belakang pendidikan, di antara lainnya.

Setelah kami telah menemukan kandidat yang tepat, kami sangat peduli untuk melibatkan pekerja secara teratur untuk membangun tenaga kerja yang lebih berpengalaman, setia, dan puas dalam jangka panjang.

Dalam hal evaluasi AI, bagaimana LXT bekerja untuk memitigasi bias dan memastikan output etis dalam sistem AI yang membantu dilatih?

Sebagaimana disebutkan sebelumnya, memastikan keanekaragaman adalah tantangan yang harus dipecahkan oleh banyak penyedia data pelatihan AI, dan itu akan membantu memitigasi bias dan memastikan output etis.

Saya akan merujuk kembali pada praktik terbaik kami yang mencakup menemukan anotator yang beragam dan representatif serta teliti dengan pedoman dan langkah-langkah kontrol kualitas. Kami memiliki strategi sumber daya dampak yang memungkinkan kami membawa pekerjaan ke kelompok anotator baru dan beragam, seperti di wilayah bahasa ekor panjang.

Kami menargetkan output etis melalui penggunaan praktik terbaik industri, memastikan keselarasan dengan harapan pelanggan dan mengarahkan standar yang lebih tinggi untuk manajer proyek dan anotator kami. Komunikasi sangat penting serta audit kepatuhan, analisis bias, dan komitmen terhadap regulasi data dan persyaratan privasi.

Apa visi jangka panjang untuk LXT dan bagaimana Anda melihat perusahaan berkembang dalam lima tahun ke depan?

 Visi kami adalah untuk menyediakan data yang akurat, bersumber etis, untuk membantu menggerakkan peluncuran AI dan teknologi masa depan yang akan meningkatkan dan memperbaiki pengalaman orang di seluruh dunia.

Sementara otomatisasi dan teknologi sangat penting dalam AI, ada juga komponen manusia yang penting yang melengkapi teknologi. Ketika kami bergerak dari tugas otomatis sederhana ke model bahasa besar (LLM), dan dari AI generatif ke kecerdasan buatan umum (GAI), itu akan sangat penting bahwa produk AI secara setia menggambarkan orang-orang, baik mereka yang menghasilkan data maupun komunitas global kami yang lebih luas.

Di LXT, kami berusaha untuk memastikan bahwa AI digunakan dengan cara yang positif dan transformatif yang mencerminkan nilai-nilai ini.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi LXT.