Bagaimana Google Mengurangi Kebutuhan Pelatihan AI sebesar 10.000x

Industri kecerdasan buatan menghadapi paradoks dasar. Sementara mesin dapat memproses data dalam skala besar, pembelajaran tetap tidak efisien, menghadapi tantangan penurunan hasil. Pendekatan pembelajaran mesin tradisional memerlukan dataset besar yang dilabeli, yang dapat memakan biaya jutaan dolar dan memakan waktu bertahun-tahun untuk dibuat. Pendekatan ini biasanya beroperasi di bawah keyakinan bahwa lebih banyak data menghasilkan model AI yang lebih baik. Namun, peneliti Google (GOOGL ) baru-baru ini memperkenalkan metode inovatif yang menantang keyakinan lama ini. Mereka menunjukkan bahwa kinerja AI yang sama dapat dicapai dengan menggunakan data pelatihan yang jauh lebih sedikit. Pengembangan ini memiliki potensi untuk mengubah secara fundamental cara kita mendekati AI. Dalam artikel ini, kita akan menjelajahi bagaimana peneliti Google mencapai terobosan ini, dampak potensial pengembangan ini di masa depan, dan tantangan serta arah yang akan datang.

Tantangan Big Data di AI

Selama beberapa dekade, mantra “lebih banyak data sama dengan AI yang lebih baik” telah memandu pendekatan industri terhadap AI. Model bahasa besar seperti GPT-4 mengonsumsi triliunan token selama pelatihan. Pendekatan yang lapar data ini menciptakan hambatan signifikan bagi organisasi yang tidak memiliki sumber daya ekstensif atau dataset khusus. Pertama, biaya pelabelan manusia sangat tinggi. Annotator ahli mengenakan tarif tinggi, dan volume data yang dibutuhkan membuat proyek menjadi mahal. Kedua, sebagian besar data yang dikumpulkan sering kali redundan dan tidak dapat memainkan peran penting dalam proses pembelajaran. Metode tradisional juga bergelut dengan persyaratan yang berubah. Ketika kebijakan berubah atau jenis konten bermasalah baru muncul, perusahaan harus memulai proses pelabelan dari awal. Proses ini menciptakan siklus konstan pengumpulan data yang mahal dan pelatihan model ulang.

Mengatasi Tantangan Big Data dengan Active Learning

Salah satu cara yang diketahui untuk mengatasi tantangan data ini adalah dengan memperkuat active learning. Pendekatan ini bergantung pada proses kurasi yang hati-hati yang mengidentifikasi contoh pelatihan yang paling berharga untuk pelabelan manusia. Ide dasar adalah bahwa model belajar paling baik dari contoh yang mereka temukan paling membingungkan, bukan pasif mengonsumsi semua data yang tersedia. Tidak seperti metode AI tradisional, yang memerlukan dataset besar, active learning mengambil pendekatan yang lebih strategis dengan fokus mengumpulkan hanya contoh yang paling informatif. Pendekatan ini membantu menghindari ketidakefisienan pelabelan data yang jelas atau redundan yang memberikan sedikit nilai pada model. Sebaliknya, active learning menargetkan kasus tepi dan contoh yang tidak pasti yang memiliki potensi untuk meningkatkan kinerja model secara signifikan.

Dengan memfokuskan upaya ahli pada contoh kunci ini, active learning memungkinkan model untuk belajar lebih cepat dan lebih efektif dengan jauh lebih sedikit poin data. Pendekatan ini memiliki potensi untuk mengatasi baik hambatan data dan ketidakefisienan metode pembelajaran mesin tradisional.

Pendekatan Active Learning Google

Tim peneliti Google telah berhasil menerapkan paradigma ini. Metode active learning baru mereka menunjukkan bahwa contoh yang dipilih dengan hati-hati, berkualitas tinggi dapat menggantikan jumlah besar data yang dilabeli. Misalnya, mereka menunjukkan bahwa model yang dilatih dengan kurang dari 500 contoh yang dilabeli oleh ahli mencapai atau melampaui kinerja sistem yang dilatih dengan 100.000 label tradisional.

Proses ini bekerja melalui apa yang disebut Google sebagai sistem “LLM-as-Scout”. Model bahasa besar pertama-tama memindai sejumlah besar data yang tidak dilabeli, mengidentifikasi kasus di mana ia merasa paling tidak pasti. Kasus batas ini mewakili skenario yang tepat di mana model memerlukan bimbingan manusia untuk meningkatkan pengambilan keputusannya. Proses ini dimulai dengan model awal yang melabeli dataset besar menggunakan prompt dasar. Sistem kemudian mengelompokkan contoh berdasarkan klasifikasi yang diprediksi dan mengidentifikasi wilayah di mana model menunjukkan kebingungan antara kategori yang berbeda. Kelompok yang tumpang tindih ini mengungkapkan titik-titik yang tepat di mana penilaian ahli manusia dapat menjadi paling berharga.

Metodologi ini secara eksplisit menargetkan pasangan contoh yang terletak paling dekat tetapi membawa label yang berbeda. Kasus batas ini mewakili skenario yang tepat di mana keahlian manusia paling penting. Dengan memfokuskan upaya pelabelan ahli pada contoh yang membingungkan ini, sistem mencapai keuntungan efisiensi yang luar biasa.

Kualitas Lebih Penting daripada Kuantitas

Penelitian ini menunjukkan temuan kunci tentang kualitas data yang menantang asumsi umum di AI. Ini menunjukkan bahwa label ahli, dengan fidelitas yang tinggi, konsisten mengungguli anotasi crowdsourced skala besar. Mereka mengukurnya menggunakan Cohen’s Kappa, alat statistik yang menilai seberapa baik prediksi model sesuai dengan pendapat ahli, di luar apa yang terjadi secara kebetulan. Dalam eksperimen Google, annotator ahli mencapai skor Cohen’s Kappa di atas 0,8, jauh mengungguli apa yang biasanya disediakan oleh crowdsourcing.

Konsistensi yang lebih tinggi ini memungkinkan model untuk belajar secara efektif dari contoh yang jauh lebih sedikit. Dalam tes dengan Gemini Nano-1 dan Nano-2, model mencapai atau melampaui keselarasan ahli menggunakan hanya 250-450 contoh yang dipilih dengan hati-hati sebagai lawan sekitar 100.000 label crowdsourced acak. Itu penurunan tiga hingga empat pesanan besarnya. Namun, manfaatnya tidak hanya terbatas pada menggunakan lebih sedikit data. Model yang dilatih dengan pendekatan ini sering mengungguli model yang dilatih dengan metode tradisional. Untuk tugas yang kompleks dan model yang lebih besar, peningkatan kinerja mencapai 55-65% di atas baseline, menunjukkan keselarasan yang lebih substansial dan lebih dapat diandalkan dengan ahli kebijakan.

Mengapa Terobosan Ini Penting Sekarang

Pengembangan ini datang pada saat kritis bagi industri AI. Ketika model tumbuh lebih besar dan lebih canggih, pendekatan tradisional dengan menskalakan data pelatihan telah menjadi semakin tidak berkelanjutan. Biaya lingkungan dari pelatihan model besar terus tumbuh, dan hambatan ekonomi untuk memasuki industri tetap tinggi bagi banyak organisasi.

Metode Google mengatasi beberapa tantangan industri secara bersamaan. Penurunan dramatis dalam biaya pelabelan membuat pengembangan AI lebih mudah diakses oleh organisasi yang lebih kecil dan tim peneliti. Siklus iterasi yang lebih cepat memungkinkan adaptasi yang cepat terhadap persyaratan yang berubah, yang penting dalam bidang yang dinamis seperti moderasi konten atau keamanan siber.

Pendekatan ini juga memiliki implikasi yang lebih luas untuk keamanan dan keandalan AI. Dengan fokus pada kasus di mana model paling tidak pasti, metode ini secara alami mengidentifikasi mode kegagalan potensial dan kasus tepi. Proses ini menciptakan sistem yang lebih robust yang lebih memahami keterbatasannya.

Implikasi yang Lebih Luas untuk Pengembangan AI

Terobosan ini menunjukkan bahwa kita mungkin memasuki fase baru pengembangan AI di mana efisiensi lebih penting daripada skala. Pendekatan “lebih besar adalah lebih baik” tradisional untuk data pelatihan mungkin digantikan oleh metode yang lebih canggih yang memprioritaskan kualitas data dan seleksi strategis.

Implikasi lingkungan saja sudah signifikan. Pelatihan model AI besar saat ini memerlukan sumber daya komputasi dan konsumsi energi yang besar. Jika kinerja yang sama dapat dicapai dengan jauh lebih sedikit data, jejak karbon pengembangan AI dapat menurun secara substansial.

Efek demokratisasi bisa sama pentingnya. Tim peneliti yang lebih kecil dan organisasi yang sebelumnya tidak dapat membiayai upaya pengumpulan data besar sekarang memiliki jalur untuk mencapai sistem AI yang kompetitif. Pengembangan ini dapat mempercepat inovasi dan menciptakan perspektif yang lebih beragam dalam pengembangan AI.

Batasan dan Pertimbangan

Meskipun hasilnya yang menjanjikan, metodologi ini menghadapi beberapa tantangan praktis. Persyaratan untuk annotator ahli dengan skor Cohen’s Kappa di atas 0,8 mungkin membatasi keteraplikasian di domain yang kekurangan keahlian yang cukup atau kriteria evaluasi yang jelas. Penelitian ini terutama fokus pada tugas klasifikasi dan aplikasi keamanan konten. Apakah peningkatan dramatis yang sama berlaku untuk jenis tugas AI lain seperti generasi bahasa atau penalaran masih perlu dilihat.

Sifat iteratif dari active learning juga memperkenalkan kompleksitas dibandingkan dengan pendekatan pemrosesan batch tradisional. Organisasi harus mengembangkan alur kerja dan infrastruktur baru untuk mendukung siklus pertanyaan-respons yang memungkinkan perbaikan model terus-menerus.

Penelitian di masa depan kemungkinan akan menjelajahi pendekatan otomatis untuk mempertahankan kualitas anotasi ahli dan mengembangkan adaptasi domain-spesifik dari metodologi inti. Integrasi prinsip active learning dengan teknik efisiensi lainnya, seperti parameter-efficient fine-tuning, dapat menghasilkan peningkatan kinerja tambahan.

Intinya

Penelitian Google menunjukkan bahwa data yang dipilih dengan hati-hati dan berkualitas tinggi dapat lebih efektif daripada dataset besar. Dengan memfokuskan pada pelabelan hanya contoh yang paling berharga, mereka mengurangi kebutuhan pelatihan sebesar 10.000 kali sambil meningkatkan kinerja. Pendekatan ini menurunkan biaya, mempercepat pengembangan, mengurangi dampak lingkungan, dan membuat AI canggih lebih mudah diakses. Ini menandai pergeseran signifikan menuju pengembangan AI yang efisien dan berkelanjutan.