Batas Baru di AI Generatif — Jauh dari Awan

Pada awalnya, ada internet, yang mengubah hidup kita selamanya — cara kita berkomunikasi, berbelanja, melakukan bisnis. Dan kemudian, karena alasan keterlambatan, privasi, dan efisiensi biaya, internet pindah ke tepi jaringan, memunculkan “internet of things.”

Sekarang ada kecerdasan buatan, yang membuat semuanya yang kita lakukan di internet lebih mudah, lebih disesuaikan, lebih cerdas. Untuk menggunakannya, namun, server besar diperlukan, dan kapasitas komputasi tinggi, sehingga terbatas pada awan. Tapi motivasi yang sama — keterlambatan, privasi, efisiensi biaya — telah mendorong perusahaan seperti Hailo untuk mengembangkan teknologi yang memungkinkan AI di tepi.

Tanpa ragu, hal besar berikutnya adalah AI generatif. AI generatif menawarkan potensi besar di berbagai industri. Ini dapat digunakan untuk mempermudah pekerjaan dan meningkatkan efisiensi berbagai pembuat — pengacara, penulis konten, desainer grafis, musisi, dan banyak lagi. Ini dapat membantu menemukan obat-obatan terapi baru atau membantu dalam prosedur medis. AI generatif dapat meningkatkan otomatisasi industri, mengembangkan kode perangkat lunak baru, dan meningkatkan keamanan transportasi melalui sintesis otomatis video, audio, gambar, dan banyak lagi.

Namun, AI generatif seperti yang ada saat ini terbatas oleh teknologi yang memungkinkannya. Karena AI generatif terjadi di awan — pusat data besar yang mahal dan mengonsumsi energi, jauh dari pengguna sebenarnya. Ketika seseorang mengeluarkan permintaan ke alat AI generatif seperti ChatGPT atau solusi video konferensi berbasis AI baru, permintaan tersebut dikirim melalui internet ke awan, di mana diproses oleh server sebelum hasilnya dikembalikan melalui jaringan.

Ketika perusahaan mengembangkan aplikasi baru untuk AI generatif dan menerapkannya pada perangkat yang berbeda — kamera video dan sistem keamanan, robot industri dan pribadi, laptop dan bahkan mobil — awan menjadi bottleneck dalam hal bandwidth, biaya, dan koneksi.

Dan untuk aplikasi seperti bantuan pengemudi, perangkat lunak pribadi, video konferensi dan keamanan, menggerakkan data secara terus-menerus melalui jaringan dapat menjadi risiko privasi.

Solusinya adalah memungkinkan perangkat tersebut untuk memproses AI generatif di tepi. Bahkan, AI generatif berbasis tepi dapat memberikan manfaat besar bagi banyak aplikasi yang muncul.

AI Generatif Meningkat

Pertimbangkan bahwa pada bulan Juni, Mercedes-Benz mengatakan bahwa mereka akan memperkenalkan ChatGPT ke mobil mereka. Dalam mobil Mercedes yang ditingkatkan dengan ChatGPT, misalnya, pengemudi dapat meminta resep makan malam berdasarkan bahan yang sudah ada di rumah — tanpa menggunakan tangan. Itu, jika mobil terhubung ke internet. Di parkir atau lokasi terpencil, semua taruhan tidak ada.

Dalam beberapa tahun terakhir, video konferensi telah menjadi kebiasaan bagi sebagian besar dari kita. Sudah, perusahaan perangkat lunak mengintegrasikan bentuk AI ke dalam solusi video konferensi. Mungkin itu untuk mengoptimalkan kualitas audio dan video secara langsung, atau untuk “menempatkan” orang dalam ruang virtual yang sama. Sekarang, video konferensi yang ditenagai oleh AI generatif dapat secara otomatis membuat catatan pertemuan atau menarik informasi relevan dari sumber perusahaan secara waktu nyata saat topik yang berbeda dibahas.

Namun, jika mobil pintar, sistem video konferensi, atau perangkat tepi lainnya tidak dapat menghubungi awan, maka pengalaman AI generatif tidak dapat terjadi. Tapi bagaimana jika mereka tidak perlu? Itu terdengar seperti tugas yang menantang mengingat pemrosesan AI awan yang besar, tapi sekarang itu menjadi mungkin.

AI Generatif di Tepi

Sudah ada alat AI generatif, misalnya, yang dapat secara otomatis membuat presentasi PowerPoint yang kaya dan menarik. Tapi pengguna memerlukan sistem untuk bekerja dari mana saja, bahkan tanpa koneksi internet.

Serupa, kita sudah melihat kelas baru asisten “kopilot” berbasis AI generatif yang akan mengubah secara fundamental cara kita berinteraksi dengan perangkat komputasi kita dengan mengotomatisasi banyak tugas rutin, seperti membuat laporan atau memvisualkan data. Bayangkan membuka laptop, laptop mengenali Anda melalui kamera, kemudian secara otomatis menghasilkan rencana tindakan untuk hari/minggu/bulan berdasarkan alat yang paling sering digunakan, seperti Outlook, Teams, Slack, Trello, dll. Tapi untuk mempertahankan privasi data dan pengalaman pengguna yang baik, Anda harus memiliki opsi untuk menjalankan AI generatif secara lokal.

Selain memenuhi tantangan koneksi yang tidak stabil dan privasi data, AI tepi dapat membantu mengurangi permintaan bandwidth dan meningkatkan kinerja aplikasi. Misalnya, jika aplikasi AI generatif membuat konten yang kaya data, seperti ruang konferensi virtual, melalui awan, prosesnya bisa tertunda tergantung pada bandwidth yang tersedia (dan mahal). Dan beberapa jenis aplikasi AI generatif, seperti keamanan, robotika, atau perawatan kesehatan, memerlukan respon dengan kinerja tinggi dan latency rendah yang koneksi awan tidak bisa tangani.

Dalam keamanan video, kemampuan untuk mengidentifikasi kembali orang saat mereka bergerak di antara banyak kamera — beberapa ditempatkan di mana jaringan tidak bisa dijangkau — memerlukan model data dan pemrosesan AI di kamera itu sendiri. Dalam hal ini, AI generatif dapat diterapkan pada deskripsi otomatis apa yang dilihat kamera melalui pertanyaan sederhana seperti, “Temukan anak berusia 8 tahun dengan kaus merah dan topi bisbol.”

Itulah AI generatif di tepi.

Pengembangan di AI Tepi

Melalui adopsi kelas baru prosesor AI dan pengembangan model data AI generatif yang lebih ramping dan efisien, meskipun tidak kurang kuat, perangkat tepi dapat dirancang untuk beroperasi secara cerdas di mana koneksi awan tidak mungkin atau tidak diinginkan.

Tentu saja, pemrosesan awan akan tetap menjadi komponen kritis dari AI generatif. Misalnya, pelatihan model AI akan tetap berada di awan. Tapi tindakan menerapkan input pengguna ke model tersebut, yang disebut inferensi, dapat — dan dalam banyak kasus seharusnya — terjadi di tepi.

Industri sudah mengembangkan model AI yang lebih ramping, lebih kecil, dan lebih efisien yang dapat dimuat ke perangkat tepi. Perusahaan seperti Hailo memproduksi prosesor AI yang dirancang khusus untuk melakukan pemrosesan jaringan saraf. Prosesor jaringan saraf ini tidak hanya menangani model AI dengan kecepatan luar biasa, tetapi juga melakukannya dengan daya yang lebih rendah, membuatnya hemat energi dan sesuai untuk berbagai perangkat tepi, dari smartphone hingga kamera.

Pemrosesan AI generatif di tepi juga dapat secara efektif membagi beban kerja yang meningkat, memungkinkan aplikasi untuk berkembang lebih stabil, melegakan pusat data awan dari pemrosesan yang mahal, dan membantu mereka mengurangi jejak karbon.

AI generatif siap untuk mengubah komputasi lagi. Di masa depan, LLM di laptop Anda mungkin akan diperbarui secara otomatis seperti yang dilakukan oleh sistem operasi saat ini — dan berfungsi dengan cara yang sama. Tapi untuk mencapai itu, kita perlu memungkinkan pemrosesan AI generatif di tepi jaringan. Hasilnya berjanji untuk memberikan kinerja yang lebih baik, efisiensi energi, dan privasi serta keamanan. Semua ini akan mengarah pada aplikasi AI yang mengubah dunia sebanyak AI generatif itu sendiri.