Masa Depan Generative AI Adalah Edge

Munculnya ChatGPT dan Generative AI secara umum merupakan momen penting dalam sejarah teknologi dan dibandingkan dengan munculnya Internet dan smartphone. Generative AI telah menunjukkan potensi tak terbatas dalam kemampuan untuk melakukan percakapan cerdas, lulus ujian, menghasilkan program/kode yang kompleks, dan menciptakan gambar dan video yang menarik. Meskipun GPU menjalankan sebagian besar model Gen AI di cloud – baik untuk pelatihan maupun inferensi – ini bukanlah solusi yang dapat diskalakan dalam jangka panjang, terutama untuk inferensi, karena faktor-faktor seperti biaya, daya, latensi, privasi, dan keamanan. Artikel ini membahas setiap faktor ini bersama dengan contoh-contoh motivasi untuk memindahkan beban kerja Gen AI ke edge.

Sebagian besar aplikasi berjalan pada prosesor kinerja tinggi – baik pada perangkat (misalnya, smartphone, desktop, laptop) atau di pusat data. Ketika bagian aplikasi yang menggunakan AI berkembang, prosesor dengan hanya CPU tidak memadai. Selain itu, ekspansi cepat dalam beban kerja Generative AI mengarah pada permintaan eksponensial akan server AI yang dilengkapi dengan GPU yang mahal dan boros daya, yang pada gilirannya meningkatkan biaya infrastruktur. Server AI yang dilengkapi ini dapat berharga hingga 7 kali lipat dari harga server biasa, dan GPU menyumbang 80% dari biaya tambahan ini.

Tambahnya, server cloud mengonsumsi 500W hingga 2000W, sedangkan server AI yang dilengkapi mengonsumsi antara 2000W dan 8000W – 4 kali lebih banyak! Untuk mendukung server-server ini, pusat data memerlukan modul pendingin tambahan dan peningkatan infrastruktur – yang dapat lebih tinggi dari investasi komputasi. Pusat data sudah mengonsumsi 300 TWH per tahun, hampir 1% dari konsumsi daya total dunia. Jika tren adopsi AI berlanjut, maka sebanyak 5% dari konsumsi daya dunia dapat digunakan oleh pusat data pada tahun 2030. Selain itu, ada investasi besar-besaran dalam pusat data Generative AI. Diperkirakan bahwa pusat data akan mengonsumsi hingga $500 miliar untuk belanja modal oleh 2027, terutama didorong oleh kebutuhan infrastruktur AI.

Konsumsi listrik pusat data, sudah 300 TwH, akan meningkat secara signifikan dengan adopsi generative AI.

Biaya komputasi AI serta konsumsi energi akan menghambat adopsi massal Generative AI. Tantangan penskalaan dapat diatasi dengan memindahkan komputasi AI ke edge dan menggunakan solusi pemrosesan yang dioptimalkan untuk beban kerja AI. Dengan pendekatan ini, manfaat lain juga diperoleh oleh pelanggan, termasuk latensi, privasi, keandalan, serta kemampuan yang meningkat.

Komputasi Mengikuti Data ke Edge

Sejak satu dekade yang lalu, ketika AI muncul dari dunia akademis, pelatihan dan inferensi model AI terjadi di cloud/pusat data. Dengan sebagian besar data yang dihasilkan dan dikonsumsi di edge – terutama video – hanya masuk akal untuk memindahkan inferensi data ke edge sehingga meningkatkan total biaya kepemilikan (TCO) untuk perusahaan karena biaya jaringan dan komputasi yang berkurang. Sementara biaya inferensi AI di cloud adalah berulang, biaya inferensi di edge adalah biaya perangkat keras satu kali. Pada dasarnya, meningkatkan sistem dengan prosesor Edge AI mengurangi biaya operasional secara keseluruhan. Seperti migrasi beban kerja AI konvensional ke Edge (misalnya, perangkat, perangkat), beban kerja Generative AI akan mengikuti. Ini akan membawa penghematan yang signifikan bagi perusahaan dan konsumen.

Perpindahan ke edge yang dipasangkan dengan akselerator AI yang efisien untuk melakukan fungsi inferensi memberikan manfaat lain juga. Yang paling penting di antaranya adalah latensi. Misalnya, dalam aplikasi game, karakter non-pemain (NPC) dapat dikendalikan dan ditingkatkan menggunakan generative AI. Dengan menggunakan model LLM yang berjalan pada akselerator edge AI di konsol game atau PC, pemain dapat memberi karakter-karakter tersebut tujuan spesifik, sehingga mereka dapat berpartisipasi secara bermakna dalam cerita. Latensi rendah dari inferensi edge lokal akan memungkinkan ucapan dan gerakan NPC merespons perintah dan tindakan pemain secara waktu nyata. Ini akan memberikan pengalaman game yang sangat imersif dengan cara yang efektif biaya dan efisien daya.

Dalam aplikasi seperti kesehatan, privasi dan keandalan sangat penting (misalnya, evaluasi pasien, rekomendasi obat). Data dan model Gen AI yang terkait harus berada di tempat untuk melindungi data pasien (privasi) dan setiap gangguan jaringan yang akan memblokir akses ke model AI di cloud dapat berakibat fatal. Perangkat Edge AI yang menjalankan model Gen AI yang dibuat khusus untuk setiap pelanggan perusahaan – dalam hal ini penyedia layanan kesehatan – dapat dengan mudah memecahkan masalah privasi dan keandalan sambil memberikan latensi yang lebih rendah dan biaya.

Generative AI pada perangkat edge akan memastikan latensi rendah dalam game dan melestarikan data pasien serta meningkatkan keandalan untuk kesehatan.

Banyak model Gen AI yang berjalan di cloud dapat mendekati satu triliun parameter – model-model ini dapat secara efektif menangani kueri tujuan umum. Namun, aplikasi spesifik perusahaan memerlukan model-model untuk menghasilkan hasil yang relevan dengan kasus penggunaan. Ambil contoh asisten Gen AI berbasis yang dibangun untuk mengambil pesanan di restoran cepat saji – untuk sistem ini memiliki interaksi pelanggan yang lancar, model Gen AI yang mendasarinya harus dilatih pada item menu restoran, juga mengetahui alergen dan bahan. Ukuran model dapat dioptimalkan dengan menggunakan superset Large Language Model (LLM) untuk melatih LLM yang relatif kecil, 10-30 miliar parameter, dan kemudian menggunakan fine-tuning tambahan dengan data spesifik pelanggan. Model seperti itu dapat menghasilkan hasil dengan akurasi dan kemampuan yang meningkat. Dan karena ukuran model yang lebih kecil, itu dapat diterapkan secara efektif pada akselerator AI di Edge.

Gen AI Akan Menang di Edge

Selalu akan ada kebutuhan akan Gen AI yang berjalan di cloud, terutama untuk aplikasi tujuan umum seperti ChatGPT dan Claude. Tapi ketika datang ke aplikasi spesifik perusahaan, seperti pengisian generatif Adobe Photoshop atau Github copilot, Generative AI di Edge tidak hanya masa depan, tapi juga saat ini. Akselerator AI yang dibuat khusus adalah kunci untuk membuat ini memungkinkan, terutama untuk aplikasi spesifik perusahaan, seperti Adobe Photoshop’s generative fill atau Github copilot, Generative AI di Edge tidak hanya masa depan, tapi juga saat ini. Akselerator AI yang dibuat khusus adalah kunci untuk membuat ini memungkinkan, especially for general-purpose applications like ChatGPT and Claude. But when it comes to enterprise specific applications, such as Adobe Photoshop’s generative fill or Github copilot, Generative AI at Edge is not only the future, it’s also the present. Purpose-built AI accelerators are the key to making this possible.