Nuansa 1970-an untuk Pemantauan AI yang Menghemat Energi

Penelitian baru menunjukkan bahwa sebagian besar video AI tidak memerlukan warna sama sekali, hanya mengaktifkannya pada saat-saat kunci dan mengurangi penggunaan data lebih dari 90% dengan sedikit kehilangan akurasi.

Kamera streaming jarak jauh dan perangkat video bertenaga baterai lainnya yang tidak terhubung memerlukan pengaturan pemantauan yang dioptimalkan dengan ketat, karena mereka mungkin bergantung pada sumber daya yang tidak stabil – seperti surya – atau memerlukan pengisian ulang berkala, atau bentuk intervensi manusia lainnya, dalam situasi di mana, idealnya, tidak ada yang perlu hadir.

Bersamaan dengan penelitian ini, minat pada perangkat wearable yang dilengkapi kamera juga tumbuh (meskipun perangkat tersebut sudah terbatas oleh keterbatasan daya dan komputasi), karena edge AI sekarang menjanjikan untuk membuatnya lebih berguna.

Di luar pertimbangan ini, dorongan jangka panjang untuk mengurangi biaya edge AI dan pemantauan (terutama dalam kasus di mana penghematan tersebut tidak perlu diteruskan kepada pelanggan) membuat kasus yang kuat untuk inovasi dalam pendekatan konservasi energi untuk kasus penggunaan ‘edge’.

Sound Off

Di bidang pemantauan video streaming, perangkat pemantau edge yang kekurangan sumber daya harus menggunakan energi minimal, sambil tetap menghabiskan cukup daya untuk memantau ‘peristiwa menarik’ – pada saat itu, akan sepadan untuk menghabiskan lebih banyak sumber daya.

Secara efektif, ini adalah kasus penggunaan yang sama dengan lampu gerak, yang menyediakan penerangan hanya ketika sensor rendah konsumsi daya menentukan ada seseorang di sana untuk menghargainya.

Sejak pemantauan audio dan kompresi secara signifikan kurang intensif sumber daya daripada video, beberapa pendekatan dalam beberapa tahun terakhir telah mencoba menggunakan petunjuk audio untuk ‘mengaktifkan’ perhatian dalam sistem yang terbatas; kerangka seperti Listen to Look dan Egotrigger:

Dalam sistem Egotrigger, pemicu audio memilih mengaktifkan penangkapan gambar dari interaksi antara tangan dan objek, mengurangi bingkai redundan sambil menjaga kinerja memori episodik dalam sistem kacamata pintar yang terbatas sumber daya. Sumber

Jelas bahwa audio bukanlah medium ideal untuk mencari peristiwa visual, karena banyak peristiwa penting tersebut mungkin tidak memiliki petunjuk audio, atau mungkin terjadi di luar jangkauan mikrofon edge.

Light Sleeper

Apa yang mungkin lebih baik, sebuah makalah baru menyarankan, adalah aliran video yang dapat bekerja sama dengan AI untuk meningkatkan sumber daya segera setelah peristiwa yang diawasi terjadi. Simulasi di bawah* memberikan gambaran umum tentang konsep – pemantauan resolusi rendah dipertahankan pada tingkat sinyal minimum yang diperlukan untuk pendeteksian objek kerangka untuk beroperasi, dan untuk memberitahu sistem untuk meningkatkan resolusi karena pemicu peristiwa:

Simulasi perilaku yang diinginkan – bahwa streaming dan analisis beroperasi pada tingkat konsumsi sumber daya terendah secara default; cukup untuk memicu konsumsi sumber daya yang lebih tinggi ketika ‘menarik’ atau peristiwa yang dicari terdeteksi dalam aliran grayscale. Gaya pengawasan hitam-putih mungkin agak ‘retro’, tetapi bisa menjadi tanda dari hal-hal yang akan datang. Video ini dibuat oleh penulis semata-mata untuk tujuan ilustratif dalam kaitannya dengan ide inti dari makalah baru. Sumber: 

Makalah baru, sebuah kolaborasi akademis antara berbagai lembaga di UK dan Huawei, mengusulkan skema grayscale-always, color-on-demand yang difasilitasi AI untuk pemantauan edge – dirancang untuk beroperasi pada konsumsi token yang rendah ketika tidak ada ‘peristiwa kunci’ yang terjadi, dan untuk meningkatkan konsumsi hanya untuk durasi peristiwa.

Dalam benchmark pemahaman video streaming, sistem baru, yang disebut ColorTrigger, dapat mencapai 91,6% dari kinerja baseline warna penuh sambil menggunakan hanya 8,1% dari bingkai RGB dalam standar tersebut:

Ketika model hanya melihat video grayscale, itu membingungkan detail kunci dan memberikan jawaban yang salah; tetapi memicu warna pada saat yang tepat membedakan gambar dan memperbaiki kesalahan yang dipicu oleh tugas yang bergantung pada warna. Sumber

Makalah baru ini berjudul Color When It Counts: Grayscale-Guided Online Triggering for Always-On Streaming Video Sensing, dan berasal dari delapan peneliti di Queen Mary University of London, Durham University, Imperial College London, dan Huawei Noah’s Ark Lab. Makalah ini juga memiliki halaman proyek pendamping.

Method

Untuk mempertahankan struktur temporal dalam sistem baru, ColorTrigger mempertahankan pemantauan grayscale resolusi rendah yang konstan. Pemicu online kausal menganalisis jendela geser (yaitu, rentang bingkai yang fleksibel plus-minus di sekitar waktu tertentu, seperti pendeteksian pemicu peristiwa) dari aliran resolusi rendah:

Pengambilan RGB kontinyu dengan resolusi tinggi dengan cepat menghabiskan daya, sehingga perekaman berhenti lebih awal dan momen kunci dapat terlewatkan. Sebaliknya, ColorTrigger menjaga aliran grayscale rendah daya tetap berjalan setiap saat, dan hanya mengaktifkan kamera RGB pada saat-saat tertentu – memperpanjang waktu perekaman, sambil tetap menangkap detail visual yang diperlukan untuk menjawab pertanyaan kemudian. Sumber

Ketika sistem dalam mode ‘pasif’ (yaitu, belum mengidentifikasi peristiwa pemicu), ruter token dinamisnya mengalokasikan kapasitas terbatas ke decoder asimetris, selalu mencari redundansi, dan untuk peristiwa yang menunjukkan kebaruan, pada saat itu aliran token memprioritaskan kapasitas atas kompresi:

Skema untuk ColorTrigger. Sistem memantau analisis jendela geser dari bingkai terbaru untuk mendeteksi redundansi dan perubahan, memicu pengambilan RGB hanya ketika diperlukan, di bawah anggaran berbasis kredit. Ruter token dinamis mengalokasikan lebih sedikit token ke input grayscale dan lebih banyak ke bingkai RGB yang dipilih, mempertahankan urutan temporal untuk pemrosesan Multimodal Large Language Model (MLLM) hilir.

Pada dasarnya, sistem perlu memutuskan apakah momen saat ini mengandung informasi baru yang sepadan dengan biaya penangkapan warna. Riwayat singkat bingkai grayscale terbaru dalam jendela geser memungkinkan ColorTrigger untuk membandingkan bingkai saat ini dengan masa lalunya yang segera. Setiap bingkai diubah menjadi representasi fitur kompak, dan fitur-fitur ini dibandingkan satu sama lain untuk mengukur seberapa mirip atau berbeda bingkai-bingkai tersebut.

Proses perbandingan ini diatur dalam struktur yang merangkum berapa banyak setiap bingkai tumpang tindih dengan yang lain, secara efektif menangkap apakah adegan tersebut mengulangi atau berubah. Langkah optimasi ringan menetapkan skor kepentingan untuk setiap bingkai dalam jendela, memfavoritkan kebaruan.

Color Balance

Untuk mencegah penggunaan warna yang berlebihan, sistem ‘kredit’ sederhana membatasi seberapa sering warna dapat dipicu selama waktu. Kredit terkumpul secara bertahap, dan dihabiskan ketika warna diminta, memastikan bahwa ledakan aktivitas diperbolehkan, tetapi penggunaan secara keseluruhan tetap terkendali. Sebuah bingkai hanya ‘ditingkatkan’ ke warna jika informatif, dan jika ada cukup kredit tersedia.

Ruter Token Dinamis mengontrol seberapa banyak detail setiap bingkai menerima, bukan memproses setiap bingkai dengan kualitas penuh. Ketika tidak ada yang penting terdeteksi, bingkai grayscale dipertahankan rendah resolusi dan diubah menjadi himpunan token kecil yang terkompresi. Ketika momen penting terdeteksi, sistem beralih ke warna dan memproses bingkai tersebut dengan resolusi yang lebih tinggi, menawarkan representasi yang lebih kaya dan lebih detail.

Kedua jenis bingkai tersebut melewati model yang sama, tetapi bingkai grayscale diproses dengan cara yang lebih ringan, sementara bingkai warna yang dipilih diberi perhatian lebih. Keluaran kemudian digabungkan dalam urutan aslinya dan dikirim ke model sebagai aliran kontinyu.

Karena sebagian besar bingkai tetap ringan dan hanya beberapa yang ditingkatkan, sistem menyelamatkan sejumlah besar komputasi sambil tetap menangkap detail kunci ketika mereka penting:

Dari makalah, contoh lain di mana sistem harus sementara meningkatkan sumber daya untuk membedakan warna.

Data dan Tes

Untuk menguji sistem, peneliti mengevaluasi terhadap StreamingBench dan OVO-Bench benchmark video, menghindari pemrosesan konten masa depan (yang merupakan bahaya potensial dalam tes offline).

Model Multimodal Large Language (MLLM) yang dibekukan yang digunakan adalah InternVL3.5-8B-Instruct, dengan pemicu kausal diimplementasikan melalui CLIP ViT-B/16.

Aliran grayscale dibatasi pada kanal luminans dalam ruang warna CIELAB, sesuai dengan pekerjaan sebelumnya, dengan bingkai grayscale yang dihasilkan diubah ukurannya menjadi 224x224px sebelum pembagian menjadi patch (pembagian gambar menjadi blok kecil yang dapat diproses sebagai unit terpisah oleh model).

Bingkai RGB, di sisi lain, menikmati bitrate yang lebih tinggi, dan diproses pada 448x448px, menghasilkan 256 token, dibandingkan dengan 64 token yang dihasilkan untuk bingkai grayscale.

Alat optimasi umum digunakan untuk membuat keputusan sistem: CVXPY (perpustakaan Python untuk mengatur masalah optimasi), dan OSQP Solver (algoritma cepat yang menghitung kapan warna harus dipicu).

Video diproses pada 1fps, dengan batas 128 bingkai per klip, untuk menjaga komputasi rendah.

Sistem proprietary yang diuji adalah Gemini 1.5 Pro; GPT-4o; dan Claude 3.5 Sonnet. Model MLLM video sumber terbuka yang diuji adalah LLaVA-OneVision-7B; Video-LLaMA2-7B; dan Qwen2.5-VL-7B.

Model MLLM streaming yang diuji adalah Flash-VStream-7B; VideoLLM-online-8B; Dispider-7B; dan TimeChat-Online-7B.

InternVL-3.5-8B dan Qwen3-VL-8B diuji dalam berbagai konfigurasi, yang dirinci dalam tabel hasil pertama di bawah, terkait StreamingBench:

Kinerja pada StreamingBench untuk tugas pemahaman visual waktu nyata, membandingkan sistem proprietary, sumber terbuka, dan MLLM streaming dengan anggaran warna yang berbeda. RGB (%) menunjukkan proporsi bingkai yang disimpan dalam warna setelah pemicu, di mana 100 menunjukkan warna penuh dan 0 menunjukkan input grayscale saja. ColorTrigger dievaluasi pada dua titik operasi, mempertahankan 8,1% dan 34,3% bingkai warna, dan menunjukkan akurasi keseluruhan yang lebih baik daripada baseline grayscale InternVL-3.5-8B sambil mengurangi penggunaan warna secara signifikan dibandingkan dengan pengaturan warna penuh.

Di sini penulis mengomentari:

‘ColorTrigger mencapai kinerja kompetitif pada subtask Pemahaman Visual Waktu Nyata dari StreamingBench.

‘Model kami dengan 34,3% bingkai RGB mencetak 75,24, mengungguli model online terbaru Dispider-7B dan dekat dengan TimeChat-Online-7B, sementara setara dengan model proprietary seperti Gemini 1.5 Pro (75,69) dan mengungguli GPT-4o (73,28) dan Claude 3.5 Sonnet (72,44).’

InternVL-3.5-8B mencetak 77,20 menggunakan warna penuh, sementara ColorTrigger mencapai 75,24 menggunakan 65,7% lebih sedikit bingkai RGB – dan bahkan dengan hanya 8,1% bingkai warna, mencetak 70,72, mengungguli baseline grayscale 62,08 oleh 8,64%, dan tetap kompetitif dengan model streaming lainnya.

Selanjutnya, OVO-Bench diuji:

Kinerja pada OVO-Bench di tiga kategori: Pemahaman Visual Waktu Nyata, Pelacakan Mundur, dan Respons Aktif Maju, membandingkan sistem proprietary, sumber terbuka, dan MLLM streaming dengan anggaran warna yang berbeda. RGB (%) menunjukkan proporsi bingkai yang disimpan dalam warna setelah pemicu, di mana 100 menunjukkan warna penuh dan 0 menunjukkan input grayscale saja. ColorTrigger dievaluasi pada dua titik operasi, mempertahankan 7,1% dan 33,1% bingkai warna, dan menunjukkan akurasi keseluruhan yang lebih baik daripada baseline grayscale InternVL-3.5-8B sambil mengurangi penggunaan warna secara signifikan dibandingkan dengan pengaturan warna penuh.

Dari hasil ini, penulis menyatakan:

‘Model kami dengan 33,1% bingkai RGB mencapai skor keseluruhan 52,5, mengungguli hampir semua model MLLM online sumber terbuka yang ada. Dibandingkan dengan model dasar InternVL-3.5-8B dengan input RGB penuh (57,7), ColorTrigger mencetak 52,5 sambil mengurangi penggunaan bingkai RGB sebesar 66,9%, yang mewakili penurunan kinerja hanya 5,2 poin.

‘Penurunan kinerja yang modest ini disertai dengan peningkatan efisiensi yang signifikan, menunjukkan efektivitas strategi pengalihan adaptif kami.’

Pemahaman Visual Waktu Nyata mencapai 65,2 – sebuah kenaikan 11,4 poin dari baseline grayscale 53,8. Bahkan ketika dibatasi hanya 7,1% bingkai RGB (pengurangan 92,9%), ColorTrigger mempertahankan skor keseluruhan 50,4, meningkatkan pengaturan grayscale dengan 2,5 poin.

Akhirnya, peneliti melakukan tes terhadap tugas video offline (tugas analitis yang tidak dirancang untuk menguji keterlambatan atau kondisi lingkungan ‘langsung’ lainnya, menggunakan benchmark pemahaman video panjang Video-MME:

Perbandingan kinerja sistem yang diuji pada benchmark Video-MME.

Dalam tes ini, model mencapai skor keseluruhan 66,1, sambil menggunakan 37,6% bingkai RGB, mengungguli skor baseline InternVL-3.5-8B dengan warna penuh sebesar 65,6, meskipun menggunakan 62,4% lebih sedikit bingkai RGB.

Penulis mengomentari:

‘Hal ini menunjukkan bahwa mekanisme pemicu adaptif kami tidak hanya mengurangi biaya komputasi tetapi juga dapat meningkatkan kinerja dengan memfokuskan kapasitas RGB pada momen kritis secara semantik.

‘Terutama, ColorTrigger mengungguli semua model MLLM online yang ada, termasuk TimeChat-Online-7B pada 62,4 dan Dispider-7B pada 57,2, yang mengonfirmasi efektivitas menggabungkan konteks grayscale kontinyu dengan akuisisi RGB selektif untuk pemahaman video panjang.’

Kesimpulan

Saya selalu menikmati melihat inovasi jenis ini, tidak hanya karena AI memiliki kebutuhan daya yang tinggi dan terus tumbuh yang telah menghasilkan berita suram selama waktu yang lama, dan bagus untuk melihat penelitian yang secara tidak langsung mengatasi masalah ini.

Ini adalah penghiburan sinis untuk mengetahui bahwa penghematan daya yang dibuat dalam upaya seperti ini dipicu oleh pertimbangan komersial, karena ini kurang mungkin dipengaruhi oleh keputusan politik jangka pendek daripada kekhawatiran yang lebih mulia tetapi lebih rentan tentang konservasi energi dan pemanasan global. Untungnya, tujuan yang sama dicapai, dengan alasan yang berbeda.

* Dibuat oleh saya, hanya untuk menggambarkan ide makalah untuk pembaca.

Dipublikasikan pertama kali pada hari Kamis, 26 Maret 2026