Các nhà nghiên cứu phát triển các kỹ thuật mới để cải thiện hình ảnh bị suy giảm

Một nhóm các nhà nghiên cứu tại Yale-NUS College đã phát triển các phương pháp mới về thị giác máy tính và học sâu để trích xuất dữ liệu chính xác hơn từ tầm nhìn thấp trong các video bị ảnh hưởng bởi các yếu tố môi trường như mưa và điều kiện ban đêm.

Công nghệ thị giác máy tính, được sử dụng trong các ứng dụng như hệ thống giám sát tự động, phương tiện tự hành, và các công cụ y tế và xã hội, thường bị ảnh hưởng bởi các yếu tố môi trường, gây ra vấn đề với dữ liệu được trích xuất.

Nghiên cứu mới này được trình bày tại Hội nghị về Thị giác Máy tính và Nhận dạng Mẫu (CVPR) năm 2021.

Tác động của Môi trường đến Hình ảnh

Các điều kiện như ánh sáng yếu và các hiệu ứng ánh sáng do con người tạo ra như chói, sáng, và đèn chiếu ảnh hưởng đến hình ảnh ban đêm. Hình ảnh mưa cũng bị ảnh hưởng bởi các vệt mưa hoặc tích tụ mưa.

Giáo sư phụ tá Robby Tan của Yale-NUS College đã dẫn đầu nhóm nghiên cứu.

“Nhiều hệ thống thị giác máy tính như giám sát tự động và phương tiện tự hành, phụ thuộc vào khả năng nhìn rõ của video đầu vào để hoạt động tốt. Ví dụ, phương tiện tự hành không thể hoạt động mạnh mẽ trong mưa lớn và hệ thống giám sát tự động thường thất bại vào ban đêm, đặc biệt nếu cảnh quay tối hoặc có ánh sáng mạnh hoặc đèn chiếu,” giáo sư Tan cho biết.

Nhóm nghiên cứu dựa trên hai nghiên cứu riêng biệt, giới thiệu các thuật toán học sâu để nâng cao chất lượng video ban đêm và video mưa.

Nghiên cứu đầu tiên tập trung vào việc tăng cường độ sáng đồng thời loại bỏ tiếng ồn và các hiệu ứng ánh sáng, như chói, sáng, và đèn chiếu, để tạo ra hình ảnh ban đêm rõ ràng. Phương pháp mới này nhằm cải thiện độ rõ của hình ảnh và video ban đêm khi có ánh sáng mạnh không thể tránh khỏi, điều mà các phương pháp hiện có chưa thực hiện được.

Ở các quốc gia nơi mưa lớn là phổ biến, tích tụ mưa ảnh hưởng tiêu cực đến khả năng nhìn của video. Nghiên cứu thứ hai nhằm giải quyết vấn đề này bằng cách giới thiệu một phương pháp sử dụng sự căn chỉnh khung hình, cho phép thông tin hình ảnh tốt hơn mà không bị ảnh hưởng bởi các vệt mưa, thường xuất hiện ngẫu nhiên trong các khung hình khác nhau. Nhóm nghiên cứu sử dụng máy quay di động để thực hiện ước tính độ sâu, giúp loại bỏ hiệu ứng che mưa. Trong khi các phương pháp hiện có tập trung vào việc loại bỏ các vệt mưa, phương pháp mới có thể loại bỏ cả các vệt mưa và hiệu ứng che mưa cùng lúc.

Hình ảnh: Yale-NUS College

Ước tính Tư thế Con người 3D

Cùng với các kỹ thuật mới, nhóm nghiên cứu cũng trình bày nghiên cứu của họ về ước tính tư thế con người 3D, có thể được sử dụng trong giám sát video, trò chơi điện tử, và phát sóng thể thao.

Ước tính tư thế con người 3D từ video đơn mắt, hoặc video được quay từ một máy quay đơn, đã được nghiên cứu rộng rãi trong những năm gần đây. Không giống như video từ nhiều máy quay, video đơn mắt linh hoạt hơn và có thể được quay bằng một máy quay đơn, chẳng hạn như điện thoại di động.

Tuy nhiên, hoạt động cao như nhiều người trong cùng một cảnh ảnh hưởng đến độ chính xác của việc phát hiện con người. Điều này đặc biệt đúng khi các cá nhân tương tác chặt chẽ hoặc chồng chéo với nhau trong video đơn mắt.

Nghiên cứu thứ ba của nhóm ước tính tư thế con người 3D từ video bằng cách kết hợp hai phương pháp hiện có, đó là phương pháp từ trên xuống và từ dưới lên. Phương pháp mới này tạo ra ước tính tư thế đáng tin cậy hơn trong môi trường nhiều người so với hai phương pháp khác, và nó được trang bị tốt hơn để xử lý khoảng cách giữa các cá nhân.

“Là bước tiếp theo trong nghiên cứu ước tính tư thế con người 3D của chúng tôi, được hỗ trợ bởi Quỹ Nghiên cứu Quốc gia, chúng tôi sẽ xem xét cách bảo vệ thông tin riêng tư của video. Đối với các phương pháp nâng cao khả năng nhìn, chúng tôi phấn đấu đóng góp vào sự tiến bộ trong lĩnh vực thị giác máy tính, vì chúng quan trọng đối với nhiều ứng dụng có thể ảnh hưởng đến cuộc sống hàng ngày của chúng tôi, chẳng hạn như cho phép xe tự hành hoạt động tốt hơn trong điều kiện thời tiết bất lợi,” giáo sư Tan cho biết.