مستشعر الصورة السيليكوني يسرع و يبسط معالجة الصور للسيارات ذاتية القيادة

فريق من الباحثين في كلية جون أ. بولسون للهندسة والعلوم التطبيقية في هارفارد قد طور أول معالج في المستشعر يمكن دمجه في شرائح مستشعرات الصورة السيليكونية التجارية. وتعرف هذه المستشعرات باسم مستشعرات الصورة السيليكونية بتقنية معدن-أكسيد-شبه موصل التكميلية (CMOS)، وتستخدم في مجموعة واسعة من الأجهزة التجارية التي تقوم بالتقاط المعلومات البصرية.

الجهاز الجديد يسرع و يبسط المعالجة للسيارات ذاتية القيادة وتطبيقات أخرى.

السيارات ذاتية القيادة ومعالجة الصور

في السيارات ذاتية القيادة، الفترة الزمنية بين التقاط النظام للصورة ووصول البيانات إلى المعالج الدقيق لمعالجة الصور يمكن أن يكون لها عواقب كبيرة. إنها فترة زمنية حاسمة يمكن أن تعني الفرق بين تجنب العوائق أو الانخراط في حادث.

يمكن تسريع معالجة الصور من خلال معالجة الصور في المستشعر، والتي تتضمن استخراج الميزات المهمة من البيانات الخام بواسطة مستشعر الصورة نفسه، بدلاً من معالج دقيق منفصل. ومع ذلك، فإن معالجة المستشعر قد أثبتت محدوديتها في المواد البحثية الناشئة، والتي يصعب دمجها في الأنظمة التجارية.

هذا ما يجعل التطور الجديد أمرًا كبيرًا.

نشر الفريق أبحاثهم في Nature Electronics.

حوسبة المستشعر

دونهي هام هو أستاذ غوردون ماكاي للهندسة الكهربائية والفيزياء التطبيقية في SEAS وهو المؤلف الأقدم للورقة.

“يمكن لعملنا استغلال صناعة الإلكترونيات الشبه موصلة الرئيسية لجلب حوسبة المستشعر بسرعة إلى مجموعة واسعة من التطبيقات العملية في العالم الحقيقي،” قال هام.

طور الفريق مصفوفة ثنائيات ضوئية سيليكونية، والتي تستخدم أيضًا في شرائح مستشعرات الصورة المتاحة تجاريًا لالتقاط الصور. لكن ديودات الفريق مطعّمة كهروستاتيكيًا، مما يعني أن حساسية ثنائيات ضوئية الفردية للضوء الوارد يمكن تعديلها بواسطة فولتات.

عندما يتم ربط مصفوفة متعددة من ثنائيات ضوئية قابلة للتعديل بالفولتات معًا، يمكنها أداء نسخة تمثيلية من عمليات الضرب والإضافة التي هي مهمة لمعالجة خطوط أنابيب الصور. هذا يساعد على استخراج المعلومات البصرية ذات الصلة على الفور عند التقاط الصورة.

هوك جانغ هو باحث ما بعد الدكتوراه في SEAS و هو المؤلف الأول للورقة.

“يمكن لهذه الديودات الديناميكية أن ترشح الصور بشكل متزامن أثناء التقاطها، مما يسمح بنقل مرحلة أولية من معالجة الرؤية من المعالج الدقيق إلى المستشعر نفسه،” قال جانغ.

لإزالة التفاصيل غير الضرورية أو الضوضاء لتطبيقات مختلفة، يتم برمجة مصفوفة ثنائيات ضوئية السيليكونية إلى مرشحات صورة مختلفة. عند استخدامها في نظام التصوير في سيارة ذاتية القيادة، فهي تتطلب مرشح تمرير عالي لتعقب علامات المسار.

هنري هينتون هو طالب دراسات عليا في SEAS و هو المؤلف الأول المشترك للورقة.

“نحن نتطلع إلى استخدام معالج المستشعر السيليكوني هذا ليس فقط في تطبيقات الرؤية الآلية، ولكن أيضًا في التطبيقات الملهمة بالبيولوجيا، حيث يسمح المعالجة المبكرة بالمعلومات بتوضع وحدات المستشعر والحوسبة معًا، مثل الدماغ،” قال هينتون.

سيبحث الفريق الآن في زيادة كثافة ثنائيات ضوئية وتكاملها مع الدوائر المتكاملة السيليكونية.

“من خلال استبدال البكسل غير القابل للبرمجة القياسي في مستشعرات الصورة السيليكونية التجارية بالبكسل القابل للبرمجة الذي تم تطويره هنا، يمكن لمستشعرات الصورة أن تقلم البيانات غير الضرورية بذكاء. يمكن أن يُجعل هذا أكثر كفاءة في الطاقة وعرض النطاق الترددي لتلبية احتياجات الجيل التالي من تطبيقات الحواس،” قال جانغ.