DeepMind Memperkenalkan Algoritma JEST: Membuat Pelatihan Model AI Lebih Cepat, Lebih Murah, dan Lebih Ramah Lingkungan

AI generatif membuat kemajuan luar biasa, mengubah bidang seperti kedokteran, pendidikan, keuangan, seni, olahraga, dan lain-lain. Kemajuan ini sebagian besar berasal dari kemampuan AI yang ditingkatkan untuk belajar dari dataset yang lebih besar dan membangun model yang lebih kompleks dengan miliaran parameter. Meskipun kemajuan ini telah memicu penemuan ilmiah yang signifikan, menciptakan peluang bisnis baru, dan memimpin pertumbuhan industri, mereka datang dengan biaya yang tinggi, terutama mempertimbangkan dampak keuangan dan lingkungan dari pelatihan model skala besar ini. Algoritma pembelajaran memerlukan daya komputasi yang signifikan untuk melatih model AI generatif dengan dataset besar, yang mengarah ke konsumsi energi yang tinggi dan jejak karbon yang mencolok.

Sementara upaya sebelumnya untuk membuat AI generatif berkelanjutan telah berfokus pada meningkatkan efisiensi perangkat keras untuk pelatihan AI dan mengembangkan model yang lebih kecil dengan parameter yang lebih sedikit, Google DeepMind telah mengambil pendekatan inovatif, bertujuan untuk meningkatkan efisiensi algoritma pelatihan AI generatif. Mereka telah mempelopori algoritma baru, JEST (Joint Example Selection), yang beroperasi 13 kali lebih cepat dan 10 kali lebih efisien dalam hal daya daripada teknik saat ini.

Dalam artikel ini, kita menjelajahi tantangan pelatihan AI dan bagaimana JEST menangani masalah ini. Selain itu, kita mempertimbangkan implikasi yang lebih luas dan arah penelitian masa depan untuk algoritma JEST, memvisualisasikan dampak potensialnya di luar meningkatkan kecepatan, efisiensi biaya, dan keberlanjutan lingkungan dalam pelatihan AI.

Tantangan Pelatihan AI: Biaya Tinggi dan Dampak Lingkungan

Pelatihan model AI generatif menimbulkan tantangan signifikan karena biaya yang tinggi dan dampak lingkungan yang substansial.

• Biaya Keuangan: Melatih model AI generatif adalah upaya yang mahal. Perkiraan terbaru menunjukkan bahwa melatih satu model besar, seperti OpenAI’s GPT-3 dengan 175 miliar parameter, dapat menghabiskan biaya sekitar $4,6 juta. Melatih ChatGPT-4 diperkirakan telah menghabiskan biaya OpenAI sekitar $100 juta. Biaya ini sebagian besar disebabkan oleh sumber daya komputasi yang masif, pengolahan data yang ekstensif, dan waktu pelatihan yang lama yang diperlukan.
• Konsumsi Energi: Proses pelatihan AI generatif sangat intensif energi. Melatih model ini melibatkan ribuan GPU dan mengonsumsi energi dalam jumlah gigawatt-jam, membuat proses ini sangat intensif energi. Pusat data, yang merupakan infrastruktur komputasi untuk pelatihan AI, mengonsumsi sekitar 200 terawatt-jam (TWh) listrik per tahun, sekitar 1% dari kebutuhan listrik global. Laporan McKinsey memprediksi bahwa konsumsi daya pusat data di AS dapat meningkat dari 17 gigawatt (GW) pada 2017 menjadi 35 GW pada 2030, yang memerlukan output setara dengan sembilan Bendungan Hoover untuk memenuhi kebutuhan tambahan ini.
• Jejak Karbon: Konsumsi energi yang tinggi dari pelatihan model AI generatif secara signifikan menyumbang emisi gas rumah kaca, yang memperburuk perubahan iklim. Sebuah studi oleh Universitas Massachusetts Amherst menemukan bahwa melatih model AI besar dapat mengemisikan sejumlah karbon dioksida seperti lima mobil selama masa pakainya. Secara khusus, melatih satu model AI dapat mengemisikan lebih dari 626.000 pon CO2, setara dengan jejak karbon 315 penerbangan trans-Amerika.

Tantangan ini sebagian besar berasal dari dua sumber utama: ketergantungan pada perangkat keras komputasi yang mengonsumsi banyak energi dan ketidakefisienan algoritma pelatihan saat ini. Sementara komunitas AI telah membuat kemajuan dalam mengembangkan perangkat keras yang efisien energi, masih perlu penekanan pada menciptakan algoritma yang lebih pintar yang dapat mengoptimalkan penggunaan data dan mengurangi waktu pelatihan. Algoritma JEST yang baru saja diperkenalkan oleh Google adalah penelitian yang berorientasi pada membuat algoritma pelatihan lebih pintar. Dengan memilih data yang paling berharga, JEST secara signifikan meningkatkan efisiensi pelatihan AI, membuka jalan bagi pelatihan model AI generatif yang lebih berkelanjutan dan efisien biaya.

Memahami Algoritma JEST

JEST adalah algoritma pembelajaran yang dirancang untuk melatih model AI generatif multimodal lebih efisien. Untuk memahami bagaimana JEST bekerja, bayangkan pelatihan AI sebagai memecahkan teka-teki yang kompleks, di mana setiap potongan (data) membantu membangun gambaran lengkap (model AI). JEST bertindak seperti pemecah teka-teki yang berpengalaman, membuat prosesnya lebih efisien. Sama seperti pemecah teka-teki memilih potongan yang paling penting dan khas, JEST mengidentifikasi dan memilih batch data yang paling berharga dari dataset, memastikan setiap batch memainkan peran kritis dalam pengembangan AI.

JEST menggunakan model AI yang lebih kecil untuk mengevaluasi kualitas batch data. Batch ini kemudian diberi peringkat berdasarkan efektivitasnya dalam pelatihan model. Dengan batch yang dipilih dengan hati-hati, JEST secara strategis merakitnya untuk melatih model. Sama seperti pemecah teka-teki mengatur potongan teka-teki untuk memaksimalkan efisiensi dan kohesi, JEST secara signifikan mempercepat proses pelatihan dengan memprioritaskan dan memilih batch yang paling informatif.

Bagian kunci dari pendekatan JEST adalah pembelajaran kontras multimodal. Teknik ini berfokus pada mempelajari korespondensi antara jenis data yang berbeda, seperti teks dan gambar. JEST menggunakan metode berbasis pembelajaran kontras multimodal untuk mengevaluasi efektivitas sampel data multimodal dalam melatih model. Selain efektivitas sampel data individu, JEST juga mengevaluasi kemampuan belajar kolektif sampel data untuk memilih batch data kecil dari “super batch” yang lebih besar. Proses ini membantu JEST memilih dan memprioritaskan batch yang menawarkan tantangan dan peluang belajar yang kaya.

Menghadap Masa Depan: JEST di Luar Pelatihan AI yang Lebih Cepat, Lebih Murah, dan Lebih Ramah Lingkungan

Ketika kita menjelajahi implikasi masa depan dari JEST (Joint Example Selection), jelas bahwa kontribusinya melampaui sekadar mempercepat pelatihan AI, mengurangi biaya, dan mempromosikan keberlanjutan lingkungan. Di sini, kita menyelidiki bagaimana JEST dapat terus ditingkatkan dan mengubah bidang AI generatif:

• Performa Model yang Ditingkatkan dan Akurasi: Pendekatan inovatif JEST dalam pemilihan dan prioritas data mengarah ke waktu pelatihan yang lebih cepat dan performa model yang ditingkatkan. Dengan fokus pada batch data yang paling informatif, JEST memastikan bahwa model AI dilatih pada input berkualitas tinggi, meningkatkan akurasi dan kekuatan mereka. Kelebihan ini sangat penting dalam aplikasi di mana presisi dan keandalan sangat penting, seperti diagnostik medis, peramalan keuangan, dan sistem otonom.
• Mengidentifikasi dan Mengurangi Bias dalam Data: AI rentan terhadap dataset yang bias, di mana kelompok atau perspektif tertentu kurang direpresentasikan atau direpresentasikan secara tidak akurat. Pendekatan JEST dalam pemilihan data melibatkan mengevaluasi kualitas dan informativitas batch data. Dengan memprioritaskan sampel data yang beragam dan representatif, JEST dapat membantu sistem AI belajar dari dataset yang lebih seimbang, sehingga mengurangi bias dalam data pelatihan. Misalnya, dalam aplikasi AI kesehatan, JEST dapat memilih batch data yang mencakup berbagai faktor demografis, memastikan bahwa model diagnostik medis dilatih pada populasi pasien yang beragam. Pemilihan ini mengurangi risiko bias yang dapat mempengaruhi kelompok tertentu berdasarkan ras, jenis kelamin, atau status sosial-ekonomi.
• Memfasilitasi Inovasi dan Penelitian: Dengan mengurangi sumber daya komputasi dan waktu yang diperlukan untuk pelatihan model AI, JEST menurunkan hambatan bagi peneliti dan inovator. Aksesibilitas ini memfasilitasi ekosistem pengembangan AI yang lebih hidup, di mana tim dan organisasi yang lebih kecil dapat bereksperimen dengan dan menerapkan solusi AI yang canggih. Selain itu, keuntungan efisiensi yang ditawarkan oleh JEST membebaskan sumber daya yang dapat diarahkan ke penjelajahan frontier baru dalam AI, seperti arsitektur novel, algoritma canggih, dan kerangka etika AI.
• Mempromosikan Pengembangan AI yang Inklusif: Pengembangan AI harus melibatkan perspektif dan input yang beragam untuk secara efektif mengatasi bias dan kekhawatiran etika. Kemampuan JEST untuk memilih data berdasarkan nilai informasinya dan representativitasnya mendorong praktik inklusif dalam kurasi dataset. Pengembang AI dapat memastikan bahwa JEST secara efektif menangani bias dan pertimbangan etika dengan melibatkan tim multidisiplin dalam mendefinisikan kriteria pemilihan data, termasuk ahli etika, ilmu sosial, dan bidang spesifik.

Ringkasan

Pengenalan algoritma JEST oleh DeepMind mewakili lompatan signifikan dalam pelatihan AI generatif. Dengan mempercepat proses pelatihan dan mengurangi konsumsi energi, JEST menawarkan penghematan biaya yang substansial dan mengatasi kekhawatiran lingkungan yang terkait dengan pengembangan AI. Di luar kelebihan ini, JEST memiliki potensi untuk meningkatkan akurasi model, mengurangi bias data, memfasilitasi inovasi, dan mempromosikan pengembangan AI yang inklusif. Peningkatan dan penerapan JEST yang berkelanjutan diposisikan untuk mendefinisikan kembali masa depan AI, maju menuju solusi AI yang lebih efisien, berkelanjutan, dan bertanggung jawab secara etis.