Capteur d’image au silicium pour accélérer et simplifier le traitement d’images pour les véhicules autonomes

Une équipe de chercheurs de l’École d’ingénierie et de sciences appliquées Harvard John A. Paulson a développé le premier processeur dans le capteur qui pourrait être intégré dans les puces de capteurs d’image au silicium commerciaux. Ces capteurs sont connus sous le nom de capteurs d’image à semi-conducteur à oxyde métallique complémentaire (CMOS) et sont utilisés dans une large gamme d’appareils commerciaux qui capturent des informations visuelles.

Le nouveau dispositif accélère et simplifie le traitement pour les véhicules autonomes et d’autres applications.

Véhicules autonomes et traitement visuel

Dans les véhicules autonomes, le temps entre la prise d’une image et la livraison de ces données au microprocesseur pour le traitement d’images peut avoir des implications majeures. Il s’agit d’une période de temps cruciale qui peut faire la différence entre l’évitement d’un obstacle ou l’implication dans un accident.

Le traitement visuel peut être accéléré par le traitement d’images dans le capteur, qui consiste à extraire des fonctionnalités importantes à partir des données brutes par le capteur d’image lui-même, plutôt que par un microprocesseur distinct. Cependant, le traitement dans le capteur s’est avéré limité aux matériaux de recherche émergents, qui sont difficiles à intégrer dans les systèmes commerciaux.

C’est ce qui rend ce nouveau développement si important.

L’équipe a publié ses recherches dans Nature Electronics.

Calcul dans le capteur

Donhee Ham est professeur de génie électrique et de physique appliquée à la SEAS et auteur principal de l’article.

« Notre travail peut exploiter l’industrie électronique des semi-conducteurs pour apporter rapidement le calcul dans le capteur à une grande variété d’applications réelles », a déclaré Ham.

L’équipe a développé un tableau de photodiodes au silicium, qui est également utilisé dans les puces de capteurs d’image commercialement disponibles pour capturer des images. Mais les photodiodes de l’équipe sont dopées électrostatiquement, ce qui signifie que la sensibilité des photodiodes individuelles à la lumière incidente peut être réglée par des tensions.

Lorsqu’un tableau connecte plusieurs photodiodes réglables en tension, il peut effectuer une version analogique des opérations de multiplication et d’addition qui sont importantes pour les pipelines de traitement d’images. Cela aide à extraire les informations visuelles pertinentes dès la capture de l’image.

Houk Jang est un boursier postdoctoral à la SEAS et auteur principal de l’article.

« Ces photodiodes dynamiques peuvent filtrer les images en même temps qu’elles sont capturées, permettant ainsi de déplacer la première étape du traitement de la vision du microprocesseur au capteur lui-même », a déclaré Jang.

Pour supprimer les détails ou les bruits inutiles pour diverses applications, le tableau de photodiodes au silicium est programmé dans différents filtres d’image. Lorsqu’il est utilisé dans un système d’imagerie dans un véhicule autonome, il nécessite un filtre passe-haut qui suit les marquages de voie.

Henry Hinton est un étudiant diplômé à la SEAS et co-auteur principal de l’article.

« En regardant vers l’avenir, nous prévoyons l’utilisation de ce processeur dans le capteur au silicium non seulement dans les applications de vision par ordinateur, mais également dans les applications bio-inspirées, dans lesquelles le traitement d’informations précoce permet la co-localisation des unités de capteur et de calcul, comme dans le cerveau », a déclaré Hinton.

L’équipe va maintenant chercher à augmenter la densité des photodiodes et à les intégrer avec les circuits intégrés au silicium.

« En remplaçant les pixels non programmables standard dans les capteurs d’image au silicium commerciaux par les pixels programmables développés ici, les appareils d’imagerie peuvent supprimer intelligemment les données inutiles. Cela pourrait être rendu plus efficace en termes d’énergie et de bande passante pour répondre aux exigences des prochaines générations d’applications sensorielles », a déclaré Jang.