Mengapa Model AI Orca-2 Microsoft Menandai Langkah Signifikan dalam AI Berkelanjutan?

Meskipun kemajuan yang signifikan telah dibuat oleh kecerdasan buatan dalam dekade terakhir, termasuk mengalahkan juara manusia dalam permainan strategis seperti Catur dan GO dan memprediksi struktur 3D protein, adopsi luas model bahasa besar (LLM) menandai pergeseran paradigma. Model-model ini, yang siap mengubah interaksi manusia-komputer, telah menjadi tak terpisahkan di berbagai sektor, termasuk pendidikan, layanan pelanggan, pengambilan informasi, pengembangan perangkat lunak, media, dan kesehatan. Sementara kemajuan teknologi ini membuka kunci temuan ilmiah dan bahan bakar pertumbuhan industri, dampak lingkungan yang signifikan ada.

Proses pelatihan dan penggunaan LLM mengonsumsi sejumlah besar energi, menghasilkan dampak lingkungan yang signifikan yang ditandai dengan peningkatan jejak karbon dan emisi gas rumah kaca. Sebuah studi terbaru dari College of Information and Computer Sciences di University of Massachusetts Amherst mengungkapkan bahwa pelatihan LLM dapat mengemisikan lebih dari 626.000 pon karbon dioksida, sekitar setara dengan emisi seumur hidup lima mobil. Hugging Face, sebuah startup AI, menemukan bahwa pelatihan BLOOM, model bahasa besar yang diluncurkan lebih awal di tahun ini, menghasilkan 25 ton metrik emisi karbon dioksida. Demikian pula, model AI Facebook , Meena, mengumpulkan jejak karbon yang setara dengan dampak lingkungan mengemudi mobil selama lebih dari 240.000 mil selama proses pelatihan.

Meskipun pelatihan LLM, permintaan komputasi awan, yang sangat penting untuk LLM, sekarang menyumbang lebih emisi daripada industri penerbangan seluruhnya. Sebuah pusat data tunggal dapat mengonsumsi sejumlah daya yang setara dengan 50.000 rumah. Sebuah studi lain menyoroti bahwa pelatihan model bahasa besar tunggal dapat melepaskan sejumlah CO2 seperti lima mobil menggunakan energi sepanjang hidup mereka. Prediksi menunjukkan bahwa emisi AI akan melonjak sebesar 300% pada tahun 2025, menekankan urgensi untuk menyeimbangkan kemajuan AI dengan tanggung jawab lingkungan dan memicu inisiatif untuk membuat AI lebih ramah lingkungan. Untuk mengatasi dampak lingkungan yang merugikan dari kemajuan AI, AI berkelanjutan muncul sebagai bidang studi yang penting.

AI Berkelanjutan

AI berkelanjutan mewakili pergeseran paradigma dalam pengembangan dan penerapan sistem kecerdasan buatan, dengan fokus pada minimisasi dampak lingkungan, pertimbangan etika, dan manfaat sosial jangka panjang. Pendekatan ini bertujuan untuk menciptakan sistem cerdas yang hemat energi, ramah lingkungan, dan sejalan dengan nilai-nilai manusia. AI berkelanjutan fokus pada menggunakan energi bersih untuk komputer, algoritma pintar yang menggunakan lebih sedikit daya, dan mengikuti pedoman etika untuk memastikan keputusan yang adil dan transparan. Penting untuk dicatat bahwa ada perbedaan antara AI untuk keberlanjutan dan AI berkelanjutan; yang pertama mungkin melibatkan menggunakan AI untuk mengoptimalkan proses yang ada tanpa mempertimbangkan konsekuensi lingkungan atau sosial, sedangkan yang terakhir secara aktif mengintegrasikan prinsip-prinsip keberlanjutan ke dalam setiap fase pengembangan AI, dari desain hingga penerapan, untuk menciptakan dampak positif dan langgeng pada planet dan masyarakat.

Dari LLMs ke Model Bahasa Kecil (SLM)

Dalam upaya menuju AI berkelanjutan, Microsoft (MSFT ) bekerja pada pengembangan Model Bahasa Kecil (SLM) untuk sejalan dengan kemampuan Model Bahasa Besar (LLM). Dalam upaya ini, mereka baru-baru ini memperkenalkan Orca-2, yang dirancang untuk bernalar seperti GPT-4. Tidak seperti pendahulunya, Orca-1, yang memiliki 13 miliar parameter, Orca-2 memiliki 7 miliar parameter menggunakan dua teknik kunci.

1. Pelatihan Instruksi: Orca-2 ditingkatkan dengan belajar dari contoh, meningkatkan kualitas konten, kemampuan zero-shot, dan kemampuan bernalar di berbagai tugas.
2. Pelatihan Penjelasan: Mengakui keterbatasan dalam pelatihan instruksi, Orca-2 memperkenalkan Pelatihan Penjelasan. Ini melibatkan membuat penjelasan rinci untuk model guru, memperkaya sinyal bernalar, dan meningkatkan pemahaman secara keseluruhan.

Orca-2 menggunakan teknik-teknik ini untuk mencapai bernalar yang sangat efisien, setara dengan apa yang dicapai oleh LLM dengan banyak parameter. Ide utama adalah untuk memungkinkan model menemukan cara terbaik untuk menyelesaikan masalah, apakah itu memberikan jawaban cepat atau berpikir melalui langkah demi langkah. Microsoft menyebut ini “Bernalar yang Hatinya-Hati.”

Untuk melatih Orca-2, Microsoft membangun set data pelatihan baru menggunakan anotasi FLAN, Orca-1, dan dataset Orca-2. Mereka memulai dengan pertanyaan yang mudah, menambahkan beberapa pertanyaan yang sulit, dan kemudian menggunakan data dari model berbicara untuk membuatnya lebih pintar.

Orca-2 menjalani evaluasi yang menyeluruh, mencakup bernalar, penyelesaian teks, pengujian, kebenaran, dan keamanan. Hasilnya menunjukkan potensi peningkatan bernalar SLM melalui pelatihan khusus pada data sintetis. Meskipun beberapa keterbatasan, model Orca-2 menunjukkan janji untuk perbaikan masa depan dalam bernalar, kontrol, dan keamanan, membuktikan efektivitas penerapan data sintetis secara strategis dalam memperbaiki model setelah pelatihan.

Signifikansi Orca-2 Menuju AI Berkelanjutan

Orca-2 mewakili lompatan signifikan menuju AI berkelanjutan, menantang keyakinan bahwa hanya model yang lebih besar, dengan konsumsi energi yang substantial, yang dapat benar-benar meningkatkan kemampuan AI. Model bahasa kecil ini menyajikan perspektif alternatif, menunjukkan bahwa mencapai keunggulan dalam model bahasa tidak selalu memerlukan dataset yang besar dan daya komputasi yang luas. Sebaliknya, ini menekankan pentingnya desain cerdas dan integrasi yang efektif.

Terobosan ini membuka kemungkinan baru dengan mendukung pergeseran fokus – dari hanya memperbesar AI menjadi memusatkan perhatian pada bagaimana kita merancangnya. Ini menandai langkah penting dalam membuat AI maju lebih dapat diakses oleh audiens yang lebih luas, memastikan bahwa inovasi adalah inklusif dan mencapai berbagai orang dan organisasi.

Orca-2 memiliki potensi untuk secara signifikan mempengaruhi pengembangan model bahasa di masa depan. Apakah itu meningkatkan tugas yang terkait dengan pemrosesan bahasa alami atau memungkinkan aplikasi AI yang lebih canggih di berbagai industri, model yang lebih kecil ini siap membawa perubahan positif yang signifikan. Selain itu, mereka bertindak sebagai pelopor dalam mempromosikan praktik AI yang lebih berkelanjutan, menyelaraskan kemajuan teknologi dengan komitmen terhadap tanggung jawab lingkungan.

Intinya:

Orca-2 Microsoft mewakili langkah revolusioner menuju AI berkelanjutan, menantang keyakinan bahwa hanya model besar yang dapat meningkatkan AI. Dengan memprioritaskan desain cerdas daripada ukuran, Orca-2 membuka kemungkinan baru, menawarkan pendekatan yang lebih inklusif dan ramah lingkungan untuk pengembangan AI maju. Perubahan ini menandai langkah signifikan menuju paradigma baru dalam desain sistem cerdas.