Peneliti Mengembangkan Teknik Baru untuk Meningkatkan Kualitas Gambar yang Rusak

Tim peneliti di Yale-NUS College telah mengembangkan pendekatan baru dalam penglihatan komputer dan pembelajaran mendalam untuk mengekstrak data yang lebih akurat dari penglihatan rendah dalam video yang disebabkan oleh faktor lingkungan seperti hujan dan kondisi malam hari. Mereka juga meningkatkan akurasi estimasi pose manusia 3D dalam video.

Teknologi penglihatan komputer, yang digunakan dalam aplikasi seperti sistem pengawasan otomatis, kendaraan otonom, dan alat kesehatan dan pengawasan sosial, seringkali dipengaruhi oleh faktor lingkungan, yang dapat menyebabkan masalah dengan data yang diekstrak.

Penelitian baru ini dipresentasikan pada Konferensi Penglihatan Komputer dan Pengenalan Pola 2021 (CVPR).

Dampak Lingkungan pada Gambar

Kondisi seperti cahaya rendah dan efek cahaya buatan seperti silau, cahaya, dan lampu sorot mempengaruhi gambar malam hari. Gambar hujan juga dipengaruhi oleh garis hujan atau akumulasi hujan.

Asosiasi Profesor Ilmu Pengetahuan Robby Tan memimpin tim peneliti.

“Banyak sistem penglihatan komputer seperti pengawasan otomatis dan kendaraan otonom, bergantung pada visibilitas yang jelas dari video input untuk bekerja dengan baik. Misalnya, kendaraan otonom tidak dapat bekerja dengan robust dalam hujan lebat dan sistem pengawasan otomatis CCTV sering gagal pada malam hari, terutama jika adegan gelap atau ada silau atau lampu sorot yang signifikan,” kata Asos. Prof Tan.

Tim tersebut bergantung pada dua studi terpisah yang memperkenalkan algoritma pembelajaran mendalam untuk meningkatkan kualitas video malam hari dan video hujan.

Studi pertama berfokus pada meningkatkan kecerahan sambil menekan kebisingan dan efek cahaya, seperti silau, cahaya, dan lampu sorot untuk menciptakan gambar malam hari yang jelas. Teknik baru ini bertujuan untuk meningkatkan kejelasan dalam gambar dan video malam hari ketika ada silau yang tidak dapat dihindari, yang belum dilakukan oleh metode yang ada.

Di negara-negara di mana hujan lebat umum, akumulasi hujan negatif mempengaruhi visibilitas dalam video. Studi kedua bertujuan untuk menangani masalah ini dengan memperkenalkan metode yang menggunakan penyelarasan bingkai, yang memungkinkan informasi visual yang lebih baik tanpa dipengaruhi oleh garis hujan, yang sering muncul secara acak dalam bingkai yang berbeda. Tim menggunakan kamera yang bergerak untuk menerapkan estimasi kedalaman, yang membantu menghilangkan efek hujan. Sementara metode yang ada berfokus pada menghilangkan garis hujan, metode baru yang dikembangkan dapat menghilangkan baik garis hujan dan efek hujan secara bersamaan.

Gambar: Yale-NUS College

Estimasi Pose Manusia 3D

Selain teknik baru, tim juga mempresentasikan penelitian mereka tentang estimasi pose manusia 3D, yang dapat digunakan dalam pengawasan video, permainan video, dan siaran olahraga.

Estimasi pose manusia 3D dari video monokular, atau video yang diambil dari satu kamera, telah banyak diteliti dalam beberapa tahun terakhir. Tidak seperti video dari beberapa kamera, video monokular lebih fleksibel dan dapat diambil dengan satu kamera, seperti ponsel.

Namun, aktivitas tinggi seperti beberapa orang dalam adegan yang sama mempengaruhi akurasi dalam deteksi manusia. Ini terutama benar ketika orang-orang berinteraksi erat atau tumpang tindih dengan satu sama lain dalam video monokular.

Studi ketiga tim memperkirakan pose manusia 3D dari video dengan menggabungkan dua metode yang ada, yaitu pendekatan atas-bawah dan bawah-atas. Metode baru ini menghasilkan estimasi pose yang lebih dapat diandalkan dalam pengaturan multi-orang dibandingkan dengan dua metode lainnya, dan lebih baik dalam menangani jarak antara orang-orang.

“Sebagai langkah selanjutnya dalam penelitian estimasi pose manusia 3D kami, yang didukung oleh Yayasan Penelitian Nasional, kami akan melihat bagaimana melindungi informasi privasi video. Untuk metode peningkatan visibilitas, kami berusaha untuk berkontribusi pada kemajuan dalam bidang penglihatan komputer, karena mereka sangat penting untuk banyak aplikasi yang dapat mempengaruhi kehidupan sehari-hari kami, seperti memungkinkan kendaraan otonom bekerja lebih baik dalam kondisi cuaca yang buruk,” kata Asos. Prof Tan.