Raksasa yang Disederhanakan: Mengapa Kita Harus Merevisi Pengembangan AI Kecil

Dalam beberapa tahun terakhir, perlombaan untuk mengembangkan model AI yang semakin besar telah mempesona industri teknologi. Model-model ini, dengan miliaran parameter, berjanji untuk membawa kemajuan yang revolusioner di berbagai bidang, dari pemrosesan bahasa alami hingga pengenalan gambar. Namun, pengejaran tak henti-hentinya terhadap ukuran ini datang dengan kerugian yang signifikan dalam bentuk biaya tinggi dan dampak lingkungan yang besar. Sementara AI kecil menawarkan alternatif yang menjanjikan, memberikan efisiensi dan penggunaan energi yang lebih rendah, pendekatan saat ini untuk membangunnya masih memerlukan sumber daya yang substansial. Ketika kita mengejar AI kecil dan lebih berkelanjutan, menjelajahi strategi baru yang menangani keterbatasan ini secara efektif adalah sangat penting.

AI Kecil: Solusi Berkelanjutan untuk Biaya Tinggi dan Tuntutan Energi

Mengembangkan dan memelihara model AI besar adalah upaya yang mahal. Perkiraan menunjukkan bahwa pelatihan GPT-3 biaya lebih dari $4 juta, dengan model yang lebih maju berpotensi mencapai jutaan tunggal. Biaya ini, termasuk perangkat keras yang diperlukan, penyimpanan, daya komputasi, dan sumber daya manusia, sangat menghambat banyak organisasi, terutama perusahaan kecil dan lembaga penelitian. Hambatan keuangan ini menciptakan lapangan yang tidak merata, membatasi akses ke teknologi AI mutakhir dan menghambat inovasi.

Lebih lagi, tuntutan energi yang terkait dengan pelatihan model AI besar sangat mengesankan. Sebagai contoh, pelatihan model bahasa besar seperti GPT-3 diperkirakan mengonsumsi hampir 1.300 megawatt jam (MWh) listrik—setara dengan konsumsi daya tahunan 130 rumah tangga AS. Meskipun biaya pelatihan yang substansial, setiap permintaan ChatGPT mengakibatkan biaya inferensi sebesar 2,9 watt-jam. IEA memperkirakan bahwa tuntutan energi kolektif AI, pusat data, dan cryptocurrency menyumbang hampir 2 persen dari tuntutan energi global. Tuntutan ini diperkirakan akan meningkat dua kali lipat pada tahun 2026, mendekati konsumsi listrik total Jepang. Konsumsi energi yang tinggi tidak hanya meningkatkan biaya operasional tetapi juga menyumbang jejak karbon, memperburuk krisis lingkungan. Untuk memahami skala ini, peneliti memperkirakan bahwa pelatihan satu model AI besar dapat mengemisikan lebih dari 626.000 pon CO2, setara dengan emisi lima mobil sepanjang umur mereka.

Di tengah tantangan ini, AI Kecil menyediakan solusi praktis. AI Kecil dirancang untuk lebih efisien dan dapat diskalakan, memerlukan lebih sedikit data dan daya komputasi. Ini mengurangi biaya secara keseluruhan dan membuat teknologi AI mutakhir lebih dapat diakses oleh organisasi kecil dan tim penelitian. Lebih lagi, model AI kecil memiliki tuntutan energi yang lebih rendah, yang membantu mengurangi biaya operasional dan mengurangi dampak lingkungan. Dengan menggunakan algoritma dan metode yang dioptimalkan seperti transfer learning, AI kecil dapat mencapai kinerja tinggi dengan sumber daya yang lebih sedikit. Pendekatan ini tidak hanya membuat AI lebih terjangkau tetapi juga mendukung keberlanjutan dengan meminimalkan konsumsi energi dan emisi karbon.

Bagaimana Model AI Kecil Dibangun Saat Ini

Mengakui kelebihan AI kecil, perusahaan teknologi besar seperti Google (GOOGL ), OpenAI, dan Meta telah semakin fokus pada mengembangkan model kompak. Perubahan ini telah mengarah pada evolusi model seperti Gemini Flash, GPT-4o Mini, dan Llama 7B. Model yang lebih kecil ini sebagian besar dikembangkan menggunakan teknik yang disebut penyulingan pengetahuan.

Intinya, penyulingan melibatkan transfer pengetahuan dari model besar yang kompleks ke dalam versi yang lebih kecil dan lebih efisien. Dalam proses ini, model “guru”—model AI besar—dilatih pada dataset ekstensif untuk mempelajari pola dan nuansa yang rumit. Model ini kemudian menghasilkan prediksi atau “label lembut” yang mengandung pemahaman yang mendalam.

Model “murid”, yang merupakan model AI kecil, dilatih untuk mereplikasi label lembut ini. Dengan meniru perilaku guru, model murid menangkap sebagian besar pengetahuan dan kinerja guru sambil beroperasi dengan parameter yang jauh lebih sedikit.

Mengapa Kita Perlu Melampaui Penyulingan AI Besar

Sementara penyulingan AI besar menjadi versi yang lebih kecil dan lebih mudah diakses telah menjadi pendekatan populer untuk membangun AI kecil, ada beberapa alasan kuat mengapa pendekatan ini mungkin tidak menjadi solusi untuk semua tantangan dalam pengembangan AI besar.

• Ketergantungan Terus-Menerus pada Model Besar: Meskipun penyulingan menciptakan model AI yang lebih kecil dan lebih efisien, serta memperbaiki efisiensi komputasi dan energi pada saat inferensi, masih sangat bergantung pada pelatihan model AI besar awalnya. Ini berarti membangun model AI kecil masih memerlukan sumber daya komputasi dan energi yang signifikan, mengakibatkan biaya tinggi dan dampak lingkungan. Kebutuhan untuk terus-menerus melatih model besar untuk penyulingan memindahkan beban sumber daya daripada menghilangkannya. Meskipun penyulingan bertujuan untuk mengurangi ukuran dan biaya model AI, tidak menghilangkan biaya awal yang substansial yang terkait dengan pelatihan model “guru” besar. Biaya awal ini dapat sangat menantang bagi organisasi kecil dan kelompok penelitian. Lebih lagi, dampak lingkungan dari pelatihan model besar ini dapat meniadakan beberapa kelebihan menggunakan model yang lebih kecil dan lebih efisien, karena jejak karbon dari fase pelatihan awal tetap besar.
• Ruang Inovasi Terbatas: Mengandalkan penyulingan mungkin membatasi inovasi dengan fokus pada mereplikasi model besar yang ada daripada menjelajahi pendekatan baru. Ini dapat memperlambat pengembangan arsitektur AI atau metode baru yang dapat memberikan solusi yang lebih baik untuk masalah tertentu. Ketergantungan pada AI besar membatasi pengembangan AI kecil di tangan beberapa perusahaan yang kaya sumber daya. Sebagai hasilnya, kelebihan AI kecil tidak didistribusikan secara merata, yang dapat menghambat kemajuan teknologi yang lebih luas dan membatasi peluang inovasi.
• Tantangan Generalisasi dan Adaptasi: Model AI kecil yang dibuat melalui penyulingan seringkali mengalami kesulitan dengan data baru yang belum pernah dilihat sebelumnya. Ini terjadi karena proses penyulingan mungkin tidak sepenuhnya menangkap kemampuan model yang lebih besar untuk generalisasi. Sebagai hasilnya, meskipun model yang lebih kecil ini mungkin berkinerja baik pada tugas yang familiar, mereka sering menghadapi kesulitan ketika menghadapi situasi baru. Lebih lagi, mengadaptasi model yang disuling ke modalitas atau dataset baru sering melibatkan pelatihan ulang atau penyetelan model yang lebih besar terlebih dahulu. Proses iteratif ini dapat rumit dan intensif sumber daya, membuatnya sulit untuk dengan cepat mengadaptasi model AI kecil ke kebutuhan teknologi yang berkembang pesat atau aplikasi baru.

Intinya

Sementara menyuling model AI besar menjadi yang lebih kecil mungkin tampak seperti solusi praktis, ini masih bergantung pada biaya tinggi dari pelatihan model besar. Untuk benar-benar maju dalam AI kecil, kita perlu menjelajahi praktik yang lebih inovatif dan berkelanjutan. Ini berarti menciptakan model yang dirancang untuk aplikasi tertentu, memperbaiki metode pelatihan untuk lebih efisien dalam biaya dan energi, dan fokus pada keberlanjutan lingkungan. Dengan mengejar strategi ini, kita dapat memajukan pengembangan AI dengan cara yang bertanggung jawab dan bermanfaat bagi industri dan planet.