الذكاء الاصطناعي
مستشعر صورة السيليكون يسرع و يبسط معالجة الصور للمركبات ذاتية القيادة
فريق من الباحثين في مدرسة هارفارد جون أ. بولسون للهندسة والعلوم التطبيقية طور أول معالج في المستشعر يمكن دمجه في شرائح مستشعرات الصورة السيليكونية التجارية. وتعرف هذه المستشعرات باسم مستشعرات الصورة المعدنية للأكسيد النصفية (CMOS) ، وتستخدم في مجموعة واسعة من الأجهزة التجارية التي تقوم بتصوير المعلومات البصرية.
يسرع الجهاز الجديد وتبسيط المعالجة للمركبات ذاتية القيادة وتطبيقات أخرى.
المركبات ذاتية القيادة ومعالجة الصور
في المركبات ذاتية القيادة ، يمكن أن يكون الوقت بين أخذ النظام لصورة وتسليم البيانات إلى المعالج الدقيق لمعالجة الصور عواقب كبيرة. إنها فترة زمنية حاسمة يمكن أن تعني الفرق بين تجنب العوائق أو الانخراط في حادث.
يمكن تسريع معالجة الصور من خلال معالجة الصور في المستشعر ، والتي تتضمن استخراج الميزات المهمة من البيانات الخام بواسطة مستشعر الصورة نفسه ، بدلاً من معالج دقيق منفصل. ومع ذلك ، أثبتت معالجة المستشعر أنها محدودة للمواد البحثية الناشئة ، والتي يصعب دمجها في الأنظمة التجارية.
هذا ما يجعل التطور الجديد كبيرًا.
نشر الفريق أبحاثهم في Nature Electronics.
حوسبة المستشعر
دونχι هام هو أستاذ غوردون ماكاي للهندسة الكهربائية والفيزياء التطبيقية في SEAS و كاتب مساعد للورقة.
“يمكن لأعمالنا استغلال صناعة الإلكترونيات شبه الموصلية الرئيسية لتسريع حوسبة المستشعر إلى مجموعة واسعة من التطبيقات الواقعية” ، قال هام.
طور الفريق مصفوفة ديود光ية سيليكونية ، والتي تستخدم أيضًا في شرائح استشعار الصور المتاحة تجاريًا لتصوير الصور. لكن ديودات الفريق مشبعة كهربائيا ، مما يعني أن حساسية ديودات الفوتو riêngية للضوء الوارد يمكن ضبطها بواسطة الفولتات.
عندما يتم ربط مصفوفة متعددة ديودات فوتو قابلة للتعديل بالفولت معًا ، يمكنها أداء نسخة تماثلية من عمليات الضرب والإضافة المهمة لمعالجة خطوط الصور. هذا يساعد على استخراج المعلومات البصرية ذات الصلة ngay عند التقاط الصورة.
هوك جانج هو باحث ما بعد الدكتوراه في SEAS و كاتب أول للورقة.
“يمكن لهذه الديودات الديناميكية أن تفرز الصور بشكل متزامن أثناء التقاطها ، مما يسمح بنقل المرحلة الأولى من معالجة الرؤية من المعالج الدقيق إلى المستشعر نفسه” ، قال جانج.
لإزالة التفاصيل غير الضرورية أو الضوضاء للتطبيقات المختلفة ، يتم برمجة مصفوفة ديودات الفوتو السيليكونية إلى مرشحات صورة مختلفة. عند استخدامها في نظام التصوير في مركبة ذاتية القيادة ، فإنه يتطلب مرشح مرتفع يتبع علامات المسار.
هنري هينتون هو طالب دراسات عليا في SEAS و كاتب أول مشترك للورقة.
“نحن نتطلع إلى استخدام معالج المستشعر السيليكوني هذا ليس فقط في تطبيقات رؤية الآلة ، ولكن أيضًا في التطبيقات الملهمة بالبيولوجيا ، حيث يسمح المعالجة المبكرة للمعلومات بتركيب وحدة المستشعر ووحدة الحوسبة ، مثل في الدماغ” ، قال هينتون.
سيبحث الفريق الآن عن زيادة كثافة ديودات الفوتو ودمجها مع الدوائر المتكاملة السيليكونية.
“من خلال استبدال البكسل غير القابل للبرمجة القياسي في مستشعرات الصورة السيليكونية التجارية بالبكسل القابل للبرمجة التي تم تطويرها هنا ، يمكن لأجهزة التصوير أن تقوم بحذف البيانات غير الضرورية بشكل ذكي. يمكن أن يكون هذا أكثر كفاءة في الطاقة وال帯 العرض لتلبية احتياجات الجيل التالي من تطبيقات الحواس” ، قال جانج.
