Mengurangi Kebutuhan Energi yang Meningkat dari Pembelajaran Mesin

Menghadapi kekhawatiran yang meningkat tentang kebutuhan energi model pembelajaran mesin yang besar, sebuah studi terbaru dari MIT Lincoln Laboratory dan Universitas Northeastern telah menyelidiki penghematan yang dapat dilakukan dengan membatasi daya GPU yang digunakan dalam pelatihan model dan inferensi, serta beberapa teknik dan metode lain untuk mengurangi penggunaan energi AI.

Studi baru ini juga menyerukan agar makalah ilmiah baru dari sektor penelitian pembelajaran mesin diakhiri dengan ‘Pernyataan Energi’ (serupa dengan tren baru untuk ‘pernyataan implikasi etis’ dalam makalah dari sektor penelitian pembelajaran mesin).

Saran utama dari studi ini adalah bahwa pembatasan daya (membatasi daya yang tersedia untuk GPU yang sedang melatih model) menawarkan manfaat penghematan energi yang signifikan, terutama untuk Model Bahasa Tersembunyi (MLM), dan kerangka kerja seperti BERT dan turunannya.

Tiga jaringan pemodelan bahasa yang beroperasi pada persentase dari pengaturan default 250W (garis hitam), dalam hal penggunaan daya. Membatasi konsumsi daya tidak membatasi efisiensi pelatihan atau akurasi pada skala 1-1, dan menawarkan penghematan daya yang signifikan pada skala besar. Sumber: https://arxiv.org/pdf/2205.09646.pdf

Untuk model skala besar, yang telah menarik perhatian dalam beberapa tahun terakhir karena dataset hyperscale dan model baru dengan miliaran atau triliunan parameter, penghematan serupa dapat diperoleh sebagai pertukaran antara waktu pelatihan dan penggunaan daya.

Melatih model NLP yang lebih kuat pada skala di bawah pembatasan daya. Waktu rata-rata relatif di bawah pembatasan 150W ditunjukkan dalam biru, dan konsumsi daya rata-rata relatif untuk 150W dalam oranye.

Untuk penerapan skala yang lebih besar ini, peneliti menemukan bahwa pembatasan daya 150W menghasilkan pengurangan rata-rata 13,7% dalam penggunaan daya dibandingkan dengan maksimum default 250W, serta peningkatan waktu pelatihan yang relatif kecil sebesar 6,8%.

Selain itu, peneliti mencatat bahwa, meskipun berita utama bahwa biaya pelatihan model telah menjadi perhatian dalam beberapa tahun terakhir, biaya energi dari penggunaan model yang telah dilatih sebenarnya lebih besar*.

‘Untuk pemodelan bahasa dengan BERT, keuntungan energi melalui pembatasan daya lebih besar saat melakukan inferensi daripada pelatihan. Jika ini konsisten untuk aplikasi AI lain, ini bisa memiliki dampak signifikan dalam hal konsumsi daya untuk platform komputasi skala besar atau cloud yang melayani aplikasi inferensi untuk penelitian dan industri.’

Lebih lanjut, dan mungkin paling kontroversial, makalah tersebut menyarankan bahwa pelatihan model pembelajaran mesin sebaiknya dilakukan pada bulan-bulan yang lebih dingin dalam setahun, dan pada malam hari, untuk menghemat biaya pendinginan.

Di atas, statistik PUE untuk setiap hari pada tahun 2020 di pusat data penulis, dengan lonjakan/plateau yang signifikan dan berkelanjutan pada bulan-bulan musim panas. Di bawah, variasi rata-rata per jam dalam PUE untuk lokasi yang sama dalam seminggu, dengan konsumsi daya meningkat menuju pertengahan hari, karena baik perangkat keras pendinginan GPU internal maupun pendinginan pusat data ambient berjuang untuk mempertahankan suhu yang dapat digunakan.

Penulis menyatakan:

‘Tampaknya, beban kerja NLP yang berat biasanya jauh lebih tidak efisien di musim panas daripada yang dijalankan selama musim dingin. Mengingat variasi musim yang besar, jika ada eksperimen yang mahal secara komputasi yang dapat dijadwalkan pada bulan-bulan yang lebih dingin, ini dapat secara signifikan mengurangi jejak karbon.’

Makalah tersebut juga mengakui kemungkinan penghematan energi yang muncul melalui pemangkasan dan optimasi arsitektur model dan alur kerja – meskipun penulis meninggalkan pengembangan lebih lanjut dari jalur ini untuk inisiatif lain.

Akhirnya, penulis menyarankan bahwa makalah ilmiah baru dari sektor pembelajaran mesin sebaiknya didorong, atau mungkin dipaksa, untuk diakhiri dengan pernyataan yang menyatakan penggunaan energi dari pekerjaan yang dilakukan dalam penelitian, dan implikasi energi potensial dari mengadopsi inisiatif yang disarankan dalam pekerjaan.

Makalah, memimpin dengan contoh, menjelaskan implikasi energi dari penelitiannya sendiri.

Makalah tersebut berjudul Great Power, Great Responsibility: Recommendations for Reducing Energy for Training Language Models, dan berasal dari enam peneliti di MIT Lincoln dan Northeastern.

Pembelajaran Mesin yang Mengancam Energi

Karena tuntutan komputasi untuk model pembelajaran mesin telah meningkat seiring dengan meningkatnya kegunaan hasilnya, budaya ML saat ini mengaitkan pengeluaran energi dengan kinerja yang ditingkatkan – meskipun beberapa kampanye terkenal, seperti Andrew Ng, menyarankan bahwa pengumpulan data mungkin merupakan faktor yang lebih penting.

Dalam satu kolaborasi kunci MIT pada tahun 2020, diperkirakan bahwa perbaikan sepuluh kali lipat dalam kinerja model memerlukan peningkatan 10.000 kali lipat dalam tuntutan komputasi, serta jumlah energi yang sesuai.

Penelitian ke dalam pelatihan ML yang kurang intensif daya telah meningkat selama beberapa tahun terakhir. Makalah baru ini, menurut penulis, adalah yang pertama untuk mempelajari secara mendalam efek pembatasan daya pada pelatihan dan inferensi pembelajaran mesin, dengan penekanan pada kerangka kerja NLP (seperti seri GPT).

Karena kualitas inferensi adalah masalah utama, penulis menyatakan temuan mereka di awal:

‘Metode ini tidak mempengaruhi prediksi model yang dilatih atau akurasi kinerja mereka pada tugas. Artinya, jika dua jaringan dengan struktur yang sama, nilai awal yang sama dan data batch yang sama dilatih untuk jumlah batch yang sama di bawah pembatasan daya yang berbeda, parameter hasilnya akan identik dan hanya energi yang dibutuhkan untuk menghasilkannya mungkin berbeda.’

Mengurangi Daya untuk NLP

Untuk menilai dampak pembatasan daya pada pelatihan dan inferensi, penulis menggunakan nvidia-smi (Antarmuka Manajemen Sistem) utilitas baris perintah, bersama dengan pustaka MLM dari HuggingFace.

Penulis melatih model Pemrosesan Bahasa Alami BERT, DistilBERT dan Big Bird di atas MLM, dan memantau konsumsi daya mereka dalam pelatihan dan penerapan.

Model-model tersebut dilatih melawan dataset WikiText-103 dari DeepAI untuk 4 epoch dalam batch delapan, pada 16 V100 GPU, dengan empat pembatasan daya yang berbeda: 100W, 150W, 200W, dan 250W (default, atau baseline, untuk GPU NVIDIA V100). Model-model tersebut memiliki parameter yang dilatih dari awal dan nilai init acak, untuk memastikan evaluasi pelatihan yang dapat dibandingkan.

Seperti yang terlihat pada gambar pertama di atas, hasilnya menunjukkan penghematan daya yang baik pada peningkatan waktu pelatihan yang non-linear dan menguntungkan. Penulis menyatakan:

‘Eksperimen kami menunjukkan bahwa implementasi pembatasan daya dapat secara signifikan mengurangi penggunaan daya dengan biaya waktu pelatihan.’

Mengurangi ‘NLP Besar’

Selanjutnya, penulis menerapkan metode yang sama pada skenario yang lebih menantang: melatih BERT dengan MLM pada konfigurasi terdistribusi di seluruh beberapa GPU – sebuah kasus penggunaan yang lebih umum untuk model NLP FAANG yang didanai dengan baik dan dipublikasikan secara luas.

Perbedaan utama dalam eksperimen ini adalah bahwa model mungkin menggunakan antara 2-400 GPU per instance pelatihan. Pembatasan daya yang sama diterapkan, dan tugas yang sama digunakan (WikiText-103). Lihat gambar kedua di atas untuk grafik hasilnya.

Makalah tersebut menyatakan:

‘Rata-rata di seluruh pilihan konfigurasi, pembatasan daya 150W menghasilkan penurunan rata-rata 13,7% dalam penggunaan daya dan peningkatan waktu pelatihan sebesar 6,8% dibandingkan dengan maksimum default. [Pengaturan] 100W memiliki waktu pelatihan yang jauh lebih lama (31,4% lebih lama rata-rata). Pembatasan 200W sesuai dengan waktu pelatihan yang hampir sama dengan pembatasan 250W tetapi penghematan daya yang lebih modest daripada pembatasan 150W.’

Penulis menyarankan bahwa hasil ini mendukung pembatasan daya pada 150W untuk arsitektur GPU dan aplikasi yang berjalan di atasnya. Mereka juga mencatat bahwa penghematan daya yang diperoleh diterjemahkan ke seluruh platform perangkat keras, dan menjalankan tes lagi untuk membandingkan hasilnya untuk GPU NVIDIA K80, T4, dan A100.

Penghematan yang diperoleh di seluruh tiga GPU NVIDIA yang berbeda.

Inferensi, Bukan Pelatihan, Mengonsumsi Daya

Makalah tersebut mengutip beberapa studi sebelumnya yang menunjukkan bahwa, meskipun berita utama, sebenarnya inferensi (penggunaan model yang selesai, seperti model NLP) dan bukan pelatihan yang mengonsumsi daya terbesar, menyarankan bahwa ketika model populer dikomodifikasi dan memasuki mainstream, penggunaan daya bisa menjadi masalah yang lebih besar daripada yang saat ini ada pada tahap perkembangan NLP yang lebih awal.

Oleh karena itu, peneliti mengukur dampak inferensi pada penggunaan daya, menemukan bahwa penerapan pembatasan daya memiliki efek yang signifikan pada latensi inferensi:

‘Dibandingkan dengan 250W, pengaturan 100W memerlukan waktu inferensi dua kali lipat (peningkatan 114%) dan mengonsumsi 11,0% lebih sedikit daya, 150W memerlukan 22,7% lebih banyak waktu dan menghemat 24,2% daya, dan 200W memerlukan 8,2% lebih banyak waktu dengan 12,0% lebih sedikit daya.’

Pelatihan Musim Dingin

Makalah tersebut menyarankan bahwa pelatihan (jika tidak inferensi, karena alasan yang jelas) sebaiknya dijadwalkan pada saat pusat data berada pada Efisiensi Penggunaan Daya (PUE) puncak – secara efektif, itu berada di musim dingin, dan pada malam hari, untuk menghemat biaya pendinginan.

‘Penghematan daya yang signifikan dapat diperoleh jika beban kerja dapat dijadwalkan pada saat PUE yang lebih rendah diharapkan. Misalnya, memindahkan pekerjaan yang berjalan singkat dari siang hari ke malam hari mungkin dapat memberikan pengurangan sekitar 10%, dan memindahkan pekerjaan yang lebih lama dan lebih mahal (misalnya model bahasa yang membutuhkan waktu beberapa minggu untuk diselesaikan) dari musim panas ke musim dingin mungkin dapat melihat pengurangan sebesar 33%.’

‘Meskipun sulit untuk memprediksi penghematan yang dapat dicapai oleh peneliti individu, informasi yang disajikan di sini menyoroti pentingnya faktor lingkungan yang mempengaruhi energi total yang dikonsumsi oleh beban kerja mereka.’

Tetaplah Berawan

Akhirnya, makalah tersebut mengamati bahwa sumber daya pemrosesan yang dibuat sendiri tidak mungkin telah menerapkan langkah-langkah efisiensi yang sama seperti pusat data besar dan penyedia komputasi awan tingkat tinggi, dan bahwa manfaat lingkungan dapat diperoleh dengan memindahkan beban kerja ke lokasi yang telah berinvestasi besar-besaran dalam PUE yang baik.

‘Meskipun ada kenyamanan dalam memiliki sumber daya komputasi pribadi yang dapat diakses, kenyamanan ini memiliki biaya. Secara umum, penghematan daya dan dampak lebih mudah diperoleh pada skala yang lebih besar. Pusat data dan penyedia komputasi awan melakukan investasi signifikan dalam efisiensi fasilitas mereka.’

* Pranala yang relevan yang diberikan oleh makalah.