Mempertimbangkan Kembali Hukum Skala dalam Pengembangan AI

Sebagai pengembang dan peneliti mendorong batas kinerja LLM, pertanyaan tentang efisiensi menjadi sangat penting. Sampai baru-baru ini, fokus telah diberikan pada meningkatkan ukuran model dan volume data pelatihan, dengan sedikit perhatian yang diberikan pada presisi numerik—jumlah bit yang digunakan untuk merepresentasikan angka selama komputasi.

Studi baru-baru ini dari peneliti di Harvard, Stanford, dan lembaga lainnya telah mengubah perspektif tradisional ini. Temuan mereka menunjukkan bahwa presisi memainkan peran yang jauh lebih signifikan dalam mengoptimalkan kinerja model daripada yang diakui sebelumnya. Ini memiliki implikasi yang mendalam untuk masa depan AI, memperkenalkan dimensi baru ke hukum skala yang memandu pengembangan model.

Presisi dalam Fokus

Presisi numerik dalam AI merujuk pada tingkat detail yang digunakan untuk merepresentasikan angka selama komputasi, biasanya diukur dalam bit. Misalnya, presisi 16-bit merepresentasikan angka dengan granularitas yang lebih tinggi daripada presisi 8-bit tetapi memerlukan lebih banyak daya komputasi. Meskipun ini mungkin tampak seperti nuansa teknis, presisi secara langsung mempengaruhi efisiensi dan kinerja model AI.

Studi, yang berjudul Hukum Skala untuk Presisi, menyelidiki hubungan yang sering diabaikan antara presisi dan kinerja model. Dengan melakukan serangkaian pelatihan yang luas selama lebih dari 465 kali, peneliti menguji model dengan presisi yang bervariasi, mulai dari 3 bit hingga 16 bit. Model, yang berisi hingga 1,7 miliar parameter, dilatih pada hingga 26 miliar token.

Hasilnya menunjukkan tren yang jelas: presisi bukan hanya variabel latar belakang; presisi secara fundamental membentuk seberapa efektif model berkinerja. Secara khusus, model yang terlalu terlatih—model yang dilatih pada data yang jauh lebih banyak daripada rasio optimal untuk ukurannya—sangat sensitif terhadap degradasi kinerja ketika dikenakan kuantifikasi, proses yang mengurangi presisi setelah pelatihan. Sensitivitas ini menyoroti keseimbangan kritis yang diperlukan ketika merancang model untuk aplikasi dunia nyata.

Hukum Skala yang Muncul

Salah satu kontribusi utama studi ini adalah pengenalan hukum skala baru yang memasukkan presisi bersama dengan variabel tradisional seperti jumlah parameter dan data pelatihan. Hukum ini menyediakan peta jalan untuk menentukan cara paling efisien untuk mengalokasikan sumber daya komputasi selama pelatihan model.

Peneliti mengidentifikasi bahwa kisaran presisi 7–8 bit umumnya optimal untuk model skala besar. Ini menyeimbangkan efisiensi komputasi dan kinerja, menantang praktik umum yang mendefaulkan ke presisi 16-bit, yang sering membuang sumber daya. Sebaliknya, menggunakan terlalu sedikit bit—seperti presisi 4-bit—memerlukan peningkatan yang tidak proporsional dalam ukuran model untuk mempertahankan kinerja yang setara.

Studi ini juga menekankan strategi yang bergantung pada konteks. Sementara 7–8 bit cocok untuk model besar dan fleksibel, model ukuran tetap, seperti LLaMA 3.1, mendapat manfaat dari tingkat presisi yang lebih tinggi, terutama ketika kapasitasnya diperpanjang untuk menampung dataset yang luas. Temuan ini merupakan langkah maju yang signifikan, menawarkan pemahaman yang lebih nuansa tentang trade-off yang terlibat dalam penskalaan presisi.

Tantangan dan Implikasi Praktis

Meskipun studi ini menyajikan bukti yang kuat tentang pentingnya presisi dalam penskalaan AI, penerapannya menghadapi hambatan praktis. Salah satu keterbatasan kritis adalah kompatibilitas perangkat keras. Penghematan potensial dari pelatihan presisi rendah hanya sebaik kemampuan perangkat keras untuk mendukungnya. GPU dan TPU modern dioptimalkan untuk presisi 16-bit, dengan dukungan terbatas untuk kisaran 7–8 bit yang lebih efisien komputasi. Sampai perangkat keras meningkat, manfaat dari temuan ini mungkin tetap tidak terjangkau bagi banyak pengembang.

Tantangan lain terletak pada risiko yang terkait dengan pelatihan berlebihan dan kuantifikasi. Seperti yang ditunjukkan oleh studi, model yang terlalu terlatih sangat rentan terhadap degradasi kinerja ketika dikuantifikasi. Ini memperkenalkan dilema bagi peneliti: sementara data pelatihan yang luas umumnya merupakan keuntungan, data tersebut dapat secara tidak sengaja memperburuk kesalahan dalam model presisi rendah. Mencapai keseimbangan yang tepat akan memerlukan kalibrasi yang hati-hati dari volume data, ukuran parameter, dan presisi.

Meskipun ada tantangan ini, temuan tersebut menawarkan kesempatan yang jelas untuk memperbaiki praktik pengembangan AI. Dengan memasukkan presisi sebagai pertimbangan inti, peneliti dapat mengoptimalkan anggaran komputasi dan menghindari penggunaan sumber daya yang berlebihan, membuka jalan bagi sistem AI yang lebih berkelanjutan dan efisien.

Masa Depan Penskalaan AI

Temuan studi ini juga menandai pergeseran yang lebih luas dalam trajektori penelitian AI. Selama bertahun-tahun, bidang ini didominasi oleh mentalitas “lebih besar lebih baik”, yang berfokus pada model dan dataset yang semakin besar. Namun, karena keuntungan efisiensi dari metode presisi rendah seperti pelatihan 8-bit mendekati batasnya, era penskalaan tak terbatas ini mungkin sedang berakhir.

Tim Dettmers, seorang peneliti AI dari Carnegie Mellon University, melihat studi ini sebagai titik balik. “Hasilnya jelas menunjukkan bahwa kita telah mencapai batas praktis kuantifikasi,” katanya. Dettmers memprediksi pergeseran dari penskalaan umum ke pendekatan yang lebih terarah, seperti model khusus yang dirancang untuk tugas tertentu dan aplikasi berbasis manusia yang mengutamakan kemudahan penggunaan dan aksesibilitas daripada kekuatan komputasi brute.

Pergeseran ini sejalan dengan tren yang lebih luas di AI, di mana pertimbangan etis dan keterbatasan sumber daya semakin mempengaruhi prioritas pengembangan. Ketika bidang ini matang, fokus mungkin bergeser ke pembuatan model yang tidak hanya berkinerja baik tetapi juga terintegrasi dengan mulus ke dalam alur kerja manusia dan menangani kebutuhan dunia nyata dengan efektif.

Ringkasan

Integrasi presisi ke dalam hukum skala menandai babak baru dalam penelitian AI. Dengan menyoroti peran presisi numerik, studi ini menantang asumsi lama dan membuka pintu ke praktik pengembangan yang lebih efisien dan sadar sumber daya.

Sementara keterbatasan praktis seperti keterbatasan perangkat keras masih ada, temuan tersebut menawarkan wawasan berharga untuk mengoptimalkan pelatihan model. Ketika batas kuantifikasi presisi rendah menjadi jelas, bidang ini siap untuk pergeseran paradigma—dari pengejaran skala yang tak henti-hentinya ke pendekatan yang lebih seimbang yang menekankan aplikasi khusus dan berbasis manusia.

Studi ini berfungsi sebagai panduan dan tantangan bagi komunitas: untuk berinovasi tidak hanya untuk kinerja tetapi juga untuk efisiensi, praktik, dan dampak.