Raksasa Sulingan: Mengapa Kita Harus Memikirkan Kembali Pengembangan AI Kecil

Dalam beberapa tahun terakhir, perlombaan untuk mengembangkan model AI yang semakin besar telah memikat industri teknologi. Model-model ini, dengan miliaran parameternya, menjanjikan kemajuan inovatif di berbagai bidang, mulai dari pemrosesan bahasa alami hingga pengenalan gambar. Namun, upaya mengejar ukuran yang tiada henti ini memiliki kelemahan yang signifikan dalam bentuk biaya tinggi dan dampak lingkungan yang signifikan. Meskipun AI kecil menawarkan alternatif yang menjanjikan, memberikan efisiensi dan penggunaan energi yang lebih rendah, pendekatan yang ada saat ini untuk mengembangkannya masih memerlukan sumber daya yang besar. Saat kita mengupayakan AI yang kecil dan lebih berkelanjutan, mengeksplorasi strategi baru untuk mengatasi keterbatasan ini secara efektif sangatlah penting.

AI Kecil: Solusi Berkelanjutan untuk Biaya Tinggi dan Permintaan Energi

Mengembangkan dan memelihara model AI berukuran besar merupakan upaya yang mahal. Perkiraan menunjukkan bahwa pelatihan GPT-3 memerlukan biaya lebih dari $4 juta, dan model yang lebih canggih berpotensi mencapai jutaan satu digit. Biaya-biaya ini, termasuk perangkat keras, penyimpanan, daya komputasi, dan sumber daya manusia yang diperlukan, merupakan penghalang bagi banyak organisasi, khususnya perusahaan kecil dan lembaga penelitian. Hambatan finansial ini menciptakan persaingan yang tidak seimbang, membatasi akses terhadap teknologi AI mutakhir dan menghambat inovasi.

Selain itu, kebutuhan energi yang terkait dengan pelatihan model AI berukuran besar sangatlah besar. Misalnya, melatih model bahasa besar seperti GPT-3 diperkirakan mengkonsumsi hampir 1,300 megawatt-jam (MWh) listrik—setara dengan konsumsi listrik tahunan di 130 rumah di Amerika. Meskipun biaya pelatihannya besar, setiap permintaan ChatGPT menimbulkan biaya biaya inferensi sebesar 2.9 watt-jam. IEA memperkirakan bahwa permintaan energi kolektif dari AI, pusat data, dan mata uang kripto menyumbang hampir 2 persen dari permintaan energi global. Permintaan ini diproyeksikan meningkat dua kali lipat pada tahun 2026, mendekati total konsumsi listrik di Jepang. Konsumsi energi yang tinggi tidak hanya meningkatkan biaya operasional tetapi juga berkontribusi terhadap jejak karbon, sehingga memperburuk krisis lingkungan. Sebagai gambaran, para peneliti memperkirakan bahwa pelatihan satu model AI besar dapat menghasilkan emisi yang lebih besar 626,000 pon CO2, setara dengan emisi lima mobil selama masa pakainya.

Di tengah tantangan tersebut, Small AI memberikan solusi praktis. Ini dirancang agar lebih efisien dan terukur, membutuhkan lebih sedikit data dan daya komputasi. Hal ini mengurangi biaya keseluruhan dan menjadikan teknologi AI canggih lebih mudah diakses oleh organisasi kecil dan tim peneliti. Selain itu, model AI kecil memiliki kebutuhan energi yang lebih rendah, sehingga membantu memangkas biaya operasional dan mengurangi dampak terhadap lingkungan. Dengan memanfaatkan algoritma dan metode yang dioptimalkan seperti pembelajaran transfer, AI kecil dapat mencapai kinerja tinggi dengan sumber daya yang lebih sedikit. Pendekatan ini tidak hanya membuat AI lebih terjangkau namun juga mendukung keberlanjutan dengan meminimalkan konsumsi energi dan emisi karbon.

Bagaimana Model AI Kecil Dibangun Saat Ini

Menyadari keunggulan AI kecil, perusahaan teknologi besar seperti Google, OpenAI, dan Meta semakin fokus pada pengembangan model kompak. Pergeseran ini telah menyebabkan evolusi model seperti Kilatan Gemini, GPT-4oMini, dan Lama 7B. Model yang lebih kecil ini terutama dikembangkan menggunakan teknik yang disebut distilasi pengetahuan.

Pada intinya, penyulingan melibatkan transfer pengetahuan dari model yang besar dan kompleks ke dalam versi yang lebih kecil dan lebih efisien. Dalam proses ini, model “guru”—model AI besar—dilatih pada kumpulan data ekstensif untuk mempelajari pola dan nuansa yang rumit. Model ini kemudian menghasilkan prediksi atau “label lunak” yang merangkum pemahaman mendalamnya.

Model “siswa”, yaitu model AI kecil, dilatih untuk mereplikasi label lunak ini. Dengan meniru perilaku guru, model siswa menangkap sebagian besar pengetahuan dan kinerjanya sambil beroperasi dengan parameter yang jauh lebih sedikit.

Mengapa Kita Perlu Melakukan Lebih dari Sekadar Penyulingan AI Besar

Meskipun penyulingan AI besar menjadi versi kecil yang lebih mudah dikelola telah menjadi pendekatan populer untuk membangun AI kecil, ada beberapa alasan kuat mengapa pendekatan ini mungkin bukan solusi untuk semua tantangan dalam pengembangan AI besar.

• Ketergantungan Berkelanjutan pada Model Besar: Meskipun distilasi menghasilkan model AI yang lebih kecil dan lebih efisien serta meningkatkan efisiensi komputasi dan energi pada waktu inferensi, distilasi masih sangat bergantung pada pelatihan model AI besar pada awalnya. Artinya, pembuatan model AI berukuran kecil masih memerlukan sumber daya komputasi dan energi yang besar, sehingga menimbulkan biaya tinggi dan dampak terhadap lingkungan bahkan sebelum penyulingan dilakukan. Kebutuhan untuk melatih model penyulingan berukuran besar secara berulang-ulang justru menggeser beban sumber daya, bukan menghilangkannya. Meskipun penyulingan bertujuan untuk mengurangi ukuran dan biaya model AI, hal ini tidak menghilangkan biaya awal yang besar terkait dengan pelatihan model “guru” yang besar. Pengeluaran di muka ini dapat menjadi tantangan tersendiri bagi organisasi kecil dan kelompok penelitian. Selain itu, dampak lingkungan dari pelatihan model-model besar ini dapat meniadakan beberapa manfaat dari penggunaan model-model yang lebih kecil dan lebih efisien, karena jejak karbon dari tahap pelatihan awal masih cukup besar.
• Cakupan Inovasi Terbatas: Mengandalkan penyulingan dapat membatasi inovasi dengan berfokus pada replikasi model besar yang sudah ada dibandingkan mengeksplorasi pendekatan baru. Hal ini dapat memperlambat pengembangan arsitektur atau metode AI baru yang dapat memberikan solusi lebih baik untuk masalah tertentu. Ketergantungan pada AI skala besar membatasi pengembangan AI skala kecil di tangan segelintir perusahaan yang kaya akan sumber daya. Akibatnya, manfaat AI kecil tidak terdistribusi secara merata, sehingga dapat menghambat kemajuan teknologi yang lebih luas dan membatasi peluang inovasi.
• Tantangan Generalisasi dan Adaptasi: Model AI kecil yang dibuat melalui distilasi sering kali kesulitan dengan data baru yang tidak terlihat. Hal ini terjadi karena proses distilasi mungkin tidak sepenuhnya menangkap kemampuan model yang lebih besar untuk melakukan generalisasi. Akibatnya, meskipun model yang lebih kecil ini dapat bekerja dengan baik pada tugas-tugas yang biasa mereka lakukan, mereka sering kali mengalami kesulitan saat menghadapi situasi baru. Selain itu, mengadaptasi model sulingan ke modalitas atau kumpulan data baru sering kali melibatkan pelatihan ulang atau penyempurnaan model yang lebih besar terlebih dahulu. Proses berulang ini bisa jadi rumit dan menghabiskan banyak sumber daya, sehingga sulit untuk secara cepat mengadaptasi model AI kecil terhadap kebutuhan teknologi yang berkembang pesat atau aplikasi baru.

The Bottom Line

Meskipun menyaring model AI yang besar menjadi model yang lebih kecil mungkin tampak seperti solusi praktis, hal ini tetap bergantung pada tingginya biaya pelatihan model besar. Untuk benar-benar mencapai kemajuan dalam AI kecil, kita perlu mengeksplorasi praktik yang lebih inovatif dan berkelanjutan. Hal ini berarti menciptakan model yang dirancang untuk aplikasi spesifik, meningkatkan metode pelatihan agar lebih hemat biaya dan energi, dan berfokus pada kelestarian lingkungan. Dengan menerapkan strategi ini, kita dapat memajukan pengembangan AI dengan cara yang bertanggung jawab dan bermanfaat bagi industri dan bumi.