Kodek Video yang Dirancang untuk Analisis AI

Meskipun techno-thriller The Circle (2017) lebih merupakan komentar tentang implikasi etika dari jaringan sosial daripada praktik analisis video eksternal, kamera ‘SeeChange’ yang tidak mungkin kecil di pusat plot adalah yang benar-benar mendorong film ke dalam kategori ‘fiksi ilmiah’.

Perangkat kamera/pengawasan ‘SeeChange’ dari techno-thriller ‘The Circle’ (2017).

Perangkat nirkabel dan bergerak bebas seukuran kelereng besar, bukanlah kurangnya panel surya atau ketidakefisienan mengambil daya dari sumber lain (seperti gelombang radio) yang membuat SeeChange menjadi prospek yang tidak mungkin, tetapi fakta bahwa itu akan mengompresi video 24/7, pada daya yang terbatas yang dapat dipertahankannya.

Menghidupkan sensor murah seperti ini adalah area penelitian utama dalam penglihatan komputer (CV) dan analisis video, terutama di lingkungan non-urban di mana sensor harus mengeluarkan kinerja maksimal dari sumber daya yang sangat terbatas (baterai, surya, dll.).

Dalam kasus di mana perangkat edge IoT/CV seperti ini harus mengirimkan konten gambar ke server pusat (sering melalui jaringan sel konvensional), pilihan itu sulit: baik perangkat harus menjalankan jaringan saraf lokal ringan untuk mengirim hanya segmen data yang dioptimalkan untuk pemrosesan sisi server; atau harus mengirim ‘video bodoh’ untuk sumber daya cloud yang terhubung untuk dievaluasi.

Meskipun aktivasi gerakan melalui Smart Vision Sensors (SVS) berbasis acara dapat mengurangi overhead ini, pemantauan aktivasi itu juga memakan energi.

Bertahan pada Kekuatan

Selain itu, bahkan dengan aktivasi yang tidak sering (yaitu seekor domba sesekali masuk ke dalam pandangan), perangkat tidak memiliki daya yang cukup untuk mengirim gigabyte video yang tidak terkompresi; juga tidak memiliki daya yang cukup untuk terus menjalankan codec kompresi video populer seperti H.264/5, yang mengharapkan perangkat keras yang terhubung atau tidak jauh dari sesi pengisian daya berikutnya.

Pipa analisis video untuk tiga tugas penglihatan komputer yang khas. Arsitektur pengkodean video harus dilatih untuk tugas yang dilakukan, dan biasanya untuk jaringan saraf yang akan menerima data. Sumber: https://arxiv.org/pdf/2204.12534.pdf

Meskipun codec H.264 yang sangat tersebar memiliki konsumsi energi yang lebih rendah daripada penerusnya H.265, itu memiliki efisiensi kompresi yang buruk. Penerusnya, H.265, memiliki efisiensi kompresi yang lebih baik, tetapi konsumsi daya yang lebih tinggi. Sementara codec VP9 sumber terbuka Google VP9 mengalahkan keduanya dalam setiap area, itu memerlukan sumber daya komputasi lokal yang lebih tinggi, yang menyajikan masalah tambahan dalam sensor IoT yang murah.

Untuk menganalisis aliran secara lokal: pada saat Anda menjalankan bahkan jaringan saraf lokal yang paling ringan untuk menentukan frame (atau area frame) yang layak dikirim ke server, Anda sering menghabiskan daya yang akan Anda simpan dengan mengirim semua frame.

Mengeluarkan representasi yang ditandai dari sapi dengan sensor yang tidak mungkin terhubung ke grid. Apakah itu menghabiskan kapasitas daya yang terbatas untuk segmentasi semantik lokal dengan jaringan saraf yang ringan; dengan mengirim informasi terbatas ke server untuk instruksi lebih lanjut (memperkenalkan keterlambatan); atau dengan mengirim ‘data bodoh’ (membuang energi pada bandwidth)? Sumber: https://arxiv.org/pdf/1807.01972.pdf

Jelas bahwa proyek penglihatan komputer ‘di alam liar’ memerlukan codec kompresi video yang didedikasikan yang dioptimalkan untuk persyaratan jaringan saraf tertentu di seluruh tugas yang beragam seperti segmentasi semantik, deteksi titik kunci (analisis gerakan manusia) dan deteksi objek, di antara penggunaan akhir lainnya.

Jika Anda dapat mendapatkan kesepakatan yang sempurna antara efisiensi kompresi video dan transmisi data minimal, Anda lebih dekat dengan SeeChange, dan kemampuan untuk mengirim jaringan sensor yang terjangkau di lingkungan yang tidak ramah.

AccMPEG

Penelitian baru dari Universitas Chicago mungkin telah mengambil langkah lebih dekat ke codec seperti itu, dalam bentuk AccMPEG – kerangka kerja pengkodean dan streaming video yang inovatif yang beroperasi pada latensi rendah, akurasi tinggi untuk Jaringan Saraf Dalam (DNN) sisi server, dan yang memiliki kebutuhan komputasi lokal yang sangat rendah.

Arsitektur AccMPEG.

Sistem ini dapat membuat ekonomi atas metode sebelumnya dengan menilai seberapa besar setiap blok makro 16x16px makroblok kemungkinan akan mempengaruhi akurasi DNN sisi server. Metode sebelumnya umumnya harus menilai akurasi semacam itu berdasarkan setiap piksel dalam gambar atau melakukan operasi lokal yang mahal untuk menilai area mana dari gambar yang mungkin paling menarik.

Di AccMPEG, akurasi ini diperkirakan dalam modul khusus yang disebut AccGrad, yang mengukur cara-cara di mana kualitas pengkodean makroblok kemungkinan akan relevan dengan kasus penggunaan akhir, seperti DNN sisi server yang mencoba menghitung orang, melakukan estimasi kerangka pada gerakan manusia, atau tugas penglihatan komputer yang umum lainnya.

Sebagai bingkai video tiba di sistem, AccMPEG awalnya memprosesnya melalui model pemilih kualitas yang murah, yang disebut AccModel. Area mana pun yang tidak mungkin berkontribusi pada perhitungan DNN sisi server yang berguna pada dasarnya adalah ballast, dan harus ditandai untuk dikodekan dengan kualitas terendah, berbeda dengan area yang jelas, yang harus dikirim dengan kualitas yang lebih baik.

Proses ini menyajikan tiga tantangan: apakah proses dapat dilakukan dengan cukup cepat untuk mencapai latensi yang dapat diterima tanpa menggunakan sumber daya komputasi lokal yang menghabiskan energi? Apakah hubungan optimal antara kecepatan bingkai dan kualitas dapat ditetapkan? Dan apakah model dapat dilatih dengan cepat untuk DNN sisi server individu?

Logistik Pelatihan

Idealnya, codec penglihatan komputer akan dilatih sebelumnya pada sistem yang terhubung untuk persyaratan jaringan saraf tertentu. Modul AccGrad, bagaimanapun, dapat langsung diturunkan dari DNN dengan hanya dua propagasi maju, dengan penghematan sepuluh kali lipat overhead standar.

AccMPEG melatih AccGrad untuk 15 epoch dari tiga propagasi masing-masing melalui DNN akhir, dan dapat berpotensi dilatih ‘langsung’ menggunakan keadaan model saat ini sebagai templat, setidaknya untuk tugas CV yang serupa.

AccModel menggunakan ekstraktor fitur MobileNet-SSD yang sudah dilatih, umum di perangkat edge yang terjangkau. Pada putaran 12 GFLOPS, model ini hanya menggunakan sepertiga dari pendekatan ResNet18. Selain normalisasi batch dan aktivasi, arsitektur ini hanya terdiri dari lapisan konvolusional, dan overhead komputasinya sebanding dengan ukuran bingkai.

AccGrad menghilangkan kebutuhan akan inferensi DNN akhir, memperbaiki logistik penerapan.

Kecepatan Bingkai

Arsitektur ini berjalan secara optimal pada 10fps, yang akan membuatnya cocok untuk tujuan seperti pemantauan pertanian, pengawasan degradasi bangunan, analisis lalu lintas dari atas, dan inferensi kerangka yang representatif dalam gerakan manusia; namun, skenario yang bergerak sangat cepat, seperti lalu lintas dari bawah (mobil atau orang), dan situasi lain di mana kecepatan bingkai yang tinggi bermanfaat, tidak cocok untuk pendekatan ini.

Bagian dari metode ini yang hemat terletak pada premis bahwa makroblok yang berdekatan kemungkinan akan memiliki nilai yang sama, sampai titik di mana makroblok jatuh di bawah akurasi yang diperkirakan. Area yang diperoleh dengan pendekatan ini lebih jelas dibatasi, dan dapat dihitung dengan kecepatan yang lebih besar.

Peningkatan Kinerja

Peneliti menguji sistem pada papan Jetson Nano seharga $60 dengan satu GPU Maxwell 128-inti, dan berbagai setara yang murah. OpenVINO digunakan untuk mengimbangi beberapa kebutuhan energi DNN lokal yang sangat jarang ke CPU.

AccModel itu sendiri awalnya dilatih secara offline pada server dengan 8 GPU GeForce RTX 2080S. Meskipun ini adalah array komputasi yang kuat untuk pembangunan model awal, pelatihan ulang yang ringan yang memungkinkan sistem, dan cara model dapat disesuaikan dengan parameter toleransi tertentu di seluruh DNN yang menyerang tugas yang sama, berarti AccMPEG dapat menjadi bagian dari sistem yang memerlukan perawatan minimal di alam liar.

Publikasi pertama 1 Mei 2022.