Cảm biến hình ảnh Silicon Tăng tốc và Đơn giản hóa Xử lý hình ảnh cho Xe tự hành

Một nhóm các nhà nghiên cứu tại Trường Kỹ thuật và Khoa học Ứng dụng John A. Paulson của Đại học Harvard đã phát triển bộ xử lý trong cảm biến đầu tiên có thể được tích hợp vào các chip cảm biến hình ảnh silicon thương mại. Các cảm biến này được gọi là cảm biến hình ảnh CMOS (complementary metal-oxide-semiconductor) và được sử dụng trong nhiều thiết bị thương mại để thu thập thông tin hình ảnh.

Thiết bị mới này tăng tốc và đơn giản hóa quá trình xử lý cho xe tự hành và các ứng dụng khác.

Xe tự hành và Xử lý hình ảnh

Trong xe tự hành, thời gian giữa việc hệ thống chụp một hình ảnh và dữ liệu đó được gửi đến bộ xử lý để xử lý hình ảnh có thể có những ý nghĩa quan trọng. Đó là một khoảng thời gian quan trọng có thể tạo ra sự khác biệt giữa việc tránh chướng ngại vật hoặc bị tham gia vào một tai nạn.

Xử lý hình ảnh có thể được tăng tốc bằng cách xử lý hình ảnh trong cảm biến, bao gồm việc trích xuất các tính năng quan trọng từ dữ liệu thô bởi chính cảm biến hình ảnh, chứ không phải bởi một bộ xử lý riêng biệt. Tuy nhiên, xử lý trong cảm biến đã chứng minh là bị giới hạn ở các vật liệu nghiên cứu mới nổi, điều này khó để tích hợp vào các hệ thống thương mại.

Đây là lý do tại sao sự phát triển mới này lại quan trọng như vậy.

Nhóm nghiên cứu đã công bố nghiên cứu của họ trên Nature Electronics.

Xử lý trong cảm biến

Donhee Ham là Giáo sư Kỹ thuật Điện và Vật lý Ứng dụng tại SEAS và là tác giả chính của bài báo.

“Công việc của chúng tôi có thể tận dụng ngành công nghiệp điện tử bán dẫn chủ đạo để nhanh chóng đưa tính toán trong cảm biến đến nhiều ứng dụng thực tế khác nhau,” Ham nói.

Nhóm nghiên cứu đã phát triển một mảng photodiode silicon, cũng được sử dụng trong các chip cảm biến hình ảnh thương mại để chụp hình ảnh. Nhưng photodiode của nhóm nghiên cứu được doping tĩnh điện, điều này có nghĩa là độ nhạy của từng photodiode đối với ánh sáng đến có thể được điều chỉnh bởi điện áp.

Khi một mảng kết nối nhiều photodiode có thể điều chỉnh điện áp với nhau, nó có thể thực hiện một phiên bản tương tự của các phép toán nhân và cộng quan trọng cho các đường ống xử lý hình ảnh. Điều này giúp trích xuất thông tin hình ảnh liên quan ngay khi hình ảnh được chụp.

Houk Jang là một nghiên cứu sinh sau tiến sĩ tại SEAS và là tác giả đầu tiên của bài báo.

“Các photodiode động này có thể lọc hình ảnh đồng thời khi chúng được chụp, cho phép giai đoạn đầu tiên của xử lý thị giác được chuyển từ bộ xử lý đến chính cảm biến,” Jang nói.

Để loại bỏ các chi tiết không cần thiết hoặc nhiễu cho các ứng dụng khác nhau, mảng photodiode silicon được lập trình thành các bộ lọc hình ảnh khác nhau. Khi được sử dụng trong một hệ thống hình ảnh trên xe tự hành, nó yêu cầu một bộ lọc thông cao để theo dõi đánh dấu làn đường.

Henry Hinton là một sinh viên sau đại học tại SEAS và là đồng tác giả đầu tiên của bài báo.

“Nhìn về tương lai, chúng tôi dự đoán việc sử dụng bộ xử lý trong cảm biến silicon này không chỉ trong các ứng dụng thị giác máy, mà còn trong các ứng dụng lấy cảm hứng từ sinh học, trong đó việc xử lý thông tin sớm cho phép đặt cảm biến và đơn vị tính toán cùng nhau, giống như trong não,” Hinton nói.

Nhóm nghiên cứu sẽ tiếp tục tăng mật độ photodiode và tích hợp chúng với các mạch tích hợp silicon.

“Bằng cách thay thế các pixel không lập trình được tiêu chuẩn trong các cảm biến hình ảnh silicon thương mại bằng các pixel lập trình được phát triển ở đây, các thiết bị hình ảnh có thể thông minh loại bỏ dữ liệu không cần thiết. Điều này có thể được thực hiện hiệu quả hơn về năng lượng và băng thông để đáp ứng nhu cầu của thế hệ ứng dụng cảm biến tiếp theo,” Jang nói.