مستشعر الصورة السيليكوني يسرع و يبسط معالجة الصور للسيارات ذاتية القيادة

فريق من الباحثين في مدرسة هارفارد جون أ. بولسون للهندسة والتطبيقات قد طور أول معالج في المستشعر يمكن دمجه في شرائح مستشعرات الصورة السيليكونية التجارية. وتعرف هذه المستشعرات باسم مستشعرات الصورة السيليكونية ذات الأكسيد المعدني الشبه موصل (CMOS)، وتستخدم في مجموعة واسعة من الأجهزة التجارية التي تقوم بالتقاط المعلومات البصرية.

الجهاز الجديد يسرع و يبسط المعالجة للسيارات ذاتية القيادة وتطبيقات أخرى.

السيارات ذاتية القيادة ومعالجة الصور

في السيارات ذاتية القيادة، الفترة الزمنية بين التقاط النظام للصورة ووصول البيانات إلى المعالج الدقيق لمعالجة الصور يمكن أن يكون لها عواقب كبيرة. إنها فترة زمنية حاسمة يمكن أن تعني الفرق بين تجنب العوائق أو الانخراط في حادث.

يمكن تسريع معالجة الصور من خلال معالجة الصور في المستشعر، والتي تتضمن استخراج الميزات المهمة من البيانات الخام بواسطة مستشعر الصورة نفسه، بدلاً من معالج دقيق منفصل. ومع ذلك، فإن معالجة المستشعر قد أثبتت محدوديتها في المواد البحثية الناشئة، والتي يصعب دمجها في الأنظمة التجارية.

هذا ما يجعل التطور الجديد أمرًا كبيرًا.

نشر الفريق أبحاثهم في Nature Electronics.

حوسبة المستشعر

دونхи هام هو أستاذ غوردون ماكاي للهندسة الكهربائية والفيزياء التطبيقية في SEAS و هو المؤلف الرئيسي للورقة.

“يمكن لعملنا استغلال صناعة الإلكترونيات الشبه موصلة الرئيسية لجلب حوسبة المستشعر بسرعة إلى مجموعة واسعة من التطبيقات العملية في العالم الحقيقي،” قال هام.

طور الفريق مصفوفة ديود光ية سيليكونية، والتي تستخدم أيضًا في شرائح مستشعرات الصورة المتاحة تجاريًا لالتقاط الصور. لكن ديودات الفريق مشبعة كهربيًا، مما يعني أن حساسية ديودات光ية الفردية للضوء الوارد يمكن تعديلها بواسطة فولتات.

عندما يتم ربط مصفوفة متعددة من ديودات光ية قابلة للتعديل بالفولتات معًا، يمكنها أداء نسخة تمثيلية من عمليات الضرب والإضافة التي هي مهمة لمعالجة خطوط أنابيب الصور. هذا يساعد على استخراج المعلومات البصرية ذات الصلة على الفور عند التقاط الصورة.

هوك جانغ هو باحث ما بعد الدكتوراه في SEAS و هو المؤلف الأول للورقة.

“يمكن لهذه الديودات الديناميكية أن تفرز الصور بشكل متزامن أثناء التقاطها، مما يسمح بنقل مرحلة أولية من معالجة الرؤية من المعالج الدقيق إلى المستشعر نفسه،” قال جانغ.

为了 إزالة التفاصيل غير الضرورية أو الضوضاء لتطبيقات مختلفة، يتم برمجة مصفوفة ديودات光ية السيليكونية إلى مرشحات صورة مختلفة. عند استخدامها في نظام التصوير في سيارة ذاتية القيادة، فهي تتطلب مرشح تمرير عالي لتعقب علامات المسار.

هنري هينتون هو طالب دراسات عليا في SEAS و هو المؤلف الأول المشترك للورقة.

“نحن نتطلع إلى استخدام معالج المستشعر السيليكوني هذا ليس فقط في تطبيقات الرؤية الآلية، ولكن أيضًا في التطبيقات الملهمة بالبيولوجيا، حيث يسمح المعالجة المبكرة بالمعلومات بتوضع وحدات المستشعر والحوسبة معًا، مثل الدماغ،” قال هينتون.

سيبحث الفريق الآن في زيادة كثافة ديودات光ية وتكاملها مع الدوائر المتكاملة السيليكونية.

“من خلال استبدال البكسل غير القابل للبرمجة القياسي في مستشعرات الصورة السيليكونية التجارية بالبكسل القابل للبرمجة الذي تم تطويره هنا، يمكن لمستشعرات الصورة أن تقلم البيانات غير الضرورية بذكاء. يمكن أن يُجعل هذا أكثر كفاءة في الطاقة وال帯 العرض لتلبية احتياجات الجيل التالي من تطبيقات الحواس،” قال جانغ.