Strategi AI Tumbuh dan Memangkas Sepertinya Mengurangi Penggunaan Energi AI

Otot manusia bekerja dengan strategi “tumbuh dan memangkas”, awalnya dimulai dengan sejumlah besar koneksi saraf dan kemudian memangkas koneksi yang tidak digunakan seiring waktu. Baru-baru ini, tim peneliti AI telah menerapkan pendekatan ini pada sistem AI dan menemukan bahwa hal itu dapat secara substansial mengurangi jumlah energi yang diperlukan untuk melatih AI.

Tim peneliti dari Universitas Princeton baru-baru ini menciptakan metode baru untuk melatih sistem kecerdasan buatan. Metode pelatihan baru ini tampaknya dapat memenuhi atau melampaui standar industri untuk akurasi, tetapi dapat melakukan hal itu sambil mengonsumsi daya komputasi yang jauh lebih sedikit, dan oleh karena itu energi yang lebih sedikit, daripada model pembelajaran mesin tradisional. Selama dua makalah yang berbeda, peneliti Princeton menunjukkan bagaimana tumbuh sebuah jaringan dengan menambahkan neuron dan koneksi ke dalamnya. Koneksi yang tidak digunakan kemudian dipangkas seiring waktu, meninggalkan hanya bagian yang paling efektif dan efisien dari model.

Niraj Jha, profesor Teknik Elektro di Princeton, menjelaskan kepada berita Princeton bahwa model yang dikembangkan oleh peneliti bekerja pada “paradigma tumbuh dan memangkas”. Jha menjelaskan bahwa otak manusia paling kompleks yang pernah ada sekitar tiga tahun, dan setelah titik ini otak mulai memotong koneksi sinaptik yang tidak perlu. Hasilnya adalah bahwa otak yang sepenuhnya berkembang dapat melakukan tugas-tugas yang luar biasa kompleks yang kita lakukan setiap hari, tetapi menggunakan sekitar setengah dari semua sinapsis yang dimilikinya pada puncaknya. Jha dan peneliti lainnya meniru strategi ini untuk meningkatkan pelatihan AI.

Jha menjelaskan:

“Pendekatan kami disebut paradigma tumbuh dan memangkas. Ini mirip dengan apa yang dilakukan otak dari saat kita bayi hingga saat kita berusia balita. Pada tahun ketiga, otak manusia mulai memotong koneksi antara sel-sel otak. Proses ini berlanjut hingga dewasa, sehingga otak yang sepenuhnya berkembang beroperasi sekitar setengah puncak sinaptiknya. Otak dewasa dikhususkan untuk pelatihan yang telah kita berikan. Ini tidak sebaik otak balita untuk pembelajaran tujuan umum.”

Berkat teknik tumbuh dan memangkas, prediksi yang sama baik dapat dibuat tentang pola dalam data menggunakan hanya sebagian kecil dari daya komputasi yang sebelumnya diperlukan. Peneliti bertujuan untuk menemukan metode untuk mengurangi konsumsi energi dan biaya komputasi, karena melakukan hal itu adalah kunci untuk membawa pembelajaran mesin ke perangkat kecil seperti ponsel dan jam tangan pintar. Mengurangi jumlah energi yang dikonsumsi oleh algoritma pembelajaran mesin juga dapat membantu industri mengurangi jejak karbonnya. Xiaoliang Dai, penulis pertama dalam makalah, menjelaskan bahwa model perlu dilatih secara lokal karena transmisi ke cloud memerlukan banyak energi.

Selama penelitian pertama, peneliti mencoba mengembangkan alat pembuatan jaringan saraf yang dapat mereka gunakan untuk merancang jaringan saraf dan merekayasa kembali beberapa jaringan dengan kinerja tertinggi dari awal. Alat tersebut disebut NeST (Neural network Synthesis Tool), dan ketika diberikan beberapa neuron dan koneksi, alat tersebut dengan cepat meningkat dalam kompleksitas dengan menambahkan lebih banyak neuron ke jaringan. Setelah jaringan mencapai benchmark yang dipilih, jaringan mulai memangkas dirinya sendiri seiring waktu. Sementara model jaringan sebelumnya telah menggunakan teknik pemangkasan, metode yang dirancang oleh peneliti Princeton adalah yang pertama untuk mengambil jaringan dan mensimulasikan tahap perkembangan, dari “bayi” hingga “balita” dan akhirnya ke “otak dewasa”.

Selama makalah kedua, peneliti bekerja sama dengan tim dari Universitas California-Berkely dan Facebook (META ) untuk meningkatkan teknik mereka menggunakan alat yang disebut Chameleon. Chameleon dapat memulai dengan titik akhir yang diinginkan, hasil yang diinginkan, dan bekerja mundur untuk membangun jenis jaringan saraf yang tepat. Ini menghilangkan banyak tugas yang terkait dengan penyesuaian jaringan secara manual, memberikan insinyur titik awal yang kemungkinan besar berguna segera. Chameleon memprediksi kinerja arsitektur yang berbeda dalam kondisi yang berbeda. Menggabungkan Chameleon dan kerangka kerja NeST dapat membantu organisasi penelitian yang kekurangan sumber daya komputasi berat untuk memanfaatkan kekuatan jaringan saraf. Chameleon memprediksi kinerja arsitektur yang berbeda dalam kondisi yang berbeda. Menggabungkan Chameleon dan kerangka kerja NeST dapat membantu organisasi penelitian yang kekurangan sumber daya komputasi berat untuk memanfaatkan kekuatan jaringan saraf. Insinyur memulai titik yang kemungkinan besar berguna segera. Chameleon memprediksi kinerja arsitektur yang berbeda dalam kondisi yang berbeda. Menggabungkan Chameleon dan kerangka kerja NeST dapat membantu organisasi penelitian yang kekurangan sumber daya komputasi berat untuk memanfaatkan kekuatan jaringan saraf. Insinyur memulai titik yang kemungkinan besar berguna segera.