เซ็นเซอร์ภาพซิลิกอนเร่งความเร็วและทำให้การประมวลผลภาพง่ายขึ้นสำหรับยานพาหนะอัตโนมัติ

ทีมนักวิจัยจากโรงเรียนวิศวกรรมและวิทยาศาสตร์ประยุกต์ฮาร์วาร์ด จอห์น เอ. พอลสัน ได้พัฒนาโปรเซสเซอร์ในเซ็นเซอร์ภาพแรกที่สามารถรวมเข้ากับชิปเซ็นเซอร์ภาพซิลิกอนเชิงพาณิชย์ได้ เซ็นเซอร์เหล่านี้เป็นที่รู้จักกันในชื่อเซ็นเซอร์ภาพซีเอ็มโอเอส (CMOS) และใช้ในอุปกรณ์เชิงพาณิชย์หลายชนิดที่บันทึกข้อมูลภาพ

อุปกรณ์ใหม่นี้เร่งความเร็วและทำให้การประมวลผลสำหรับยานพาหนะอัตโนมัติและแอปพลิเคชันอื่นๆ ง่ายขึ้น

ยานพาหนะอัตโนมัติและประมวลผลภาพ

ในยานพาหนะอัตโนมัติ ระยะเวลาระหว่างการบันทึกภาพและข้อมูลที่ส่งไปยังไมโครโพรเซสเซอร์สำหรับการประมวลผลภาพมีผลกระทบอย่างมาก นี่เป็นช่วงเวลาที่สำคัญซึ่งสามารถหมายถึงความแตกต่างระหว่างการหลีกเลี่ยงอุปสรรคหรือเกิดอุบัติเหตุ

การประมวลผลภาพสามารถเร่งความเร็วได้ด้วยการประมวลผลภาพในเซ็นเซอร์ ซึ่งเกี่ยวข้องกับการถอดรหัสคุณลักษณะที่สำคัญจากข้อมูลดิบโดยเซ็นเซอร์ภาพเอง ไม่ใช่ไมโครโพรเซสเซอร์ที่แยกจากกัน อย่างไรก็ตาม การประมวลผลในเซ็นเซอร์ได้พิสูจน์แล้วว่ามีข้อจำกัดใน材料วิจัยที่เกิดขึ้นใหม่ ซึ่งยากที่จะรวมเข้ากับระบบเชิงพาณิชย์

นี่คือสิ่งที่ทำให้การพัฒนใหม่นี้มีความสำคัญ

ทีมวิจัยได้ตีพิมพ์ผลงานวิจัยใน Nature Electronics.

การประมวลผลในเซ็นเซอร์

Donhee Ham เป็น Gordon McKay Professor of Electrical Engineering and Applied Physics ที่ SEAS และเป็นผู้เขียนอาวุโสของเอกสารวิจัย

“งานของเราสามารถใช้อุตสาหกรรมอิเล็กทรอนิกส์เซมิคอนดักเตอร์หลักเพื่อนำการประมวลผลในเซ็นเซอร์มาใช้กับแอปพลิเคชันในโลกแห่งความเป็นจริงได้อย่างรวดเร็ว” Ham กล่าว

ทีมวิจัยได้พัฒนาแอร์เรย์โฟโตไดโอดซิลิกอน ซึ่งใช้ในชิปเซ็นเซอร์ภาพเชิงพาณิชย์ที่มีอยู่แล้วเพื่อบันทึกภาพ แต่โฟโตไดโอดของทีมนี้ได้รับการดอปปิ้งแบบอิเล็กโตรสแตติก ซึ่งหมายความว่าความไวของโฟโตไดโอดแต่ละตัวต่อแสงเข้ามา可以ปรับได้ด้วยโวลต์

เมื่อแอร์เรย์เชื่อมต่อโฟโตไดโอดที่สามารถปรับโวลต์ได้หลายตัวเข้าด้วยกัน มันสามารถทำการคูณและบวกแบบแอนะล็อกได้ ซึ่งเป็นสิ่งสำคัญสำหรับการประมวลผลภาพ นี่ช่วยให้สามารถถอดรหัสข้อมูลภาพที่เกี่ยวข้องได้ทันทีที่ภาพถูกบันทึก

Houk Jang เป็นนักวิจัยหลังปริญญาเอกที่ SEAS และเป็นผู้เขียนเอกของเอกสารวิจัย

“โฟโตไดโอดแบบไดนามิกเหล่านี้สามารถกรองภาพพร้อมกับการบันทึกภาพได้ ทำให้สามารถย้ายขั้นตอนแรกของการประมวลผลภาพจากไมโครโพรเซสเซอร์ไปยังเซ็นเซอร์เอง” Jang กล่าว

เพื่อลบรายละเอียดที่ไม่จำเป็นหรือเสียงรบกวนสำหรับแอปพลิเคชันต่างๆ แอร์เรย์โฟโตไดโอดซิลิกอนถูกโปรแกรมให้เป็นฟิลเตอร์ภาพต่างๆ เมื่อใช้ในระบบภาพของรถยนต์ขับเอง จะต้องใช้ฟิลเตอร์แบบไฮพาสที่ติดตามเครื่องหมายบนถนน

Henry Hinton เป็นนักศึกษาระดับบัณฑิตศึกษา tại SEAS และเป็นผู้เขียนร่วมเอกของเอกสารวิจัย

“เมื่อมองไปข้างหน้า เราเห็นถึงการใช้โปรเซสเซอร์ในเซ็นเซอร์แบบซิลิกอนนี้ไม่เพียงแต่ในแอปพลิเคชันการมองเห็นของเครื่องจักร แต่ยังในแอปพลิเคชันที่ได้รับแรงบันดาลใจจากชีวภาพ ซึ่งการประมวลผลข้อมูลในตอนต้นช่วยให้สามารถวางตำแหน่งเซ็นเซอร์และหน่วยประมวลผลร่วมกัน เช่น ในสมอง” Hinton กล่าว

ทีมวิจัยจะพยายามเพิ่มความหนาแน่นของโฟโตไดโอดและรวมเข้ากับวงจรซิลิกอนแบบบูรณาการ

“โดยการแทนที่พิกเซลที่ไม่สามารถเขียนโปรแกรมได้มาตรฐานในเซ็นเซอร์ภาพซิลิกอนเชิงพาณิชย์ด้วยพิกเซลที่สามารถเขียนโปรแกรมได้ที่พัฒนาในงานนี้ อุปกรณ์ภาพสามารถตัดข้อมูลที่ไม่จำเป็นออกได้อย่างชาญฉลาด ซึ่งสามารถทำให้การใช้พลังงานและแบนด์วิธมีประสิทธิภาพมากขึ้นเพื่อตอบสนองความต้องการของการประยุกต์ใช้เซ็นเซอร์ยุคหน้า” Jang กล่าว