Silicium-billede-sensor accelererer og forenkler billedbehandling til autonome køretøjer

Et hold af forskere ved Harvard John A. Paulson School of Engineering and Applied Sciences har udviklet den første in-sensor processor, der kan integreres i kommercielle silicium-billede-sensor-chips. Disse sensorer kaldes komplementære metal-oxidsemiconductor (CMOS)-billede-sensorer og bruges i en bred vifte af kommercielle enheder, der optager visuel information.

Den nye enhed accelererer og forenkler billedbehandling for autonome køretøjer og andre anvendelser.

Autonome køretøjer og visuel bearbejdning

I autonome køretøjer kan tiden mellem, at et system tager et billede, og at data leveres til mikroprocessoren til billedbehandling, have store konsekvenser. Det er en kritisk tidsperiode, der kan betyde forskellen på at undgå et hindring eller at blive involveret i en ulykke.

Visuel bearbejdning kan accelereres ved in-sensor billedbehandling, der indebærer, at vigtige funktioner udtrækkes fra rådata af billedsensoren selv, snarere end en separat mikroprocessor. Med det sagt har in-sensor-bearbejdning vist sig at være begrænset til fremvoksende forskningsmaterialer, der er svære at integrere i kommercielle systemer.

Det er derfor, den nye udvikling er så stor.

Holdet offentliggjorde deres forskning i Nature Electronics.

In-sensor-regning

Donhee Ham er Gordon McKay Professor of Electrical Engineering and Applied Physics ved SEAS og senior forfatter af artiklen.

“Vores arbejde kan udnytte den mainstream halvleder-elektronikindustri til at bringe in-sensor-regning til en bred vifte af virkelige anvendelser,” sagde Ham.

Holdet udviklede en silicium-fotodiode-array, der også bruges i kommercielt tilgængelige billedsensor-chips til at optage billeder. Men holdets fotodioder er elektrostatisk doppede, hvilket betyder, at følsomheden af individuelle fotodioder over for indkommende lys kan justeres af spændinger.

Når en array forbinder multiple spændingsjusterbare fotodioder sammen, kan den udføre en analog version af multiplikations- og additionsoperationer, der er vigtige for billedbehandlingsrørledninger. Dette hjælper med at udtrække relevante visuelle oplysninger, lige når billedet optages.

Houk Jang er en postdoc-stipendiat ved SEAS og første forfatter af artiklen.

“Disse dynamiske fotodioder kan samtidig filtrere billeder, mens de optages, og tillade, at den første fase af synsbehandling flyttes fra mikroprocessoren til sensoren selv,” sagde Jang.

For at fjerne unødvendige detaljer eller støj til forskellige anvendelser er silicium-fotodiode-arrayen programmeret til forskellige billedfiltre. Når den bruges i et billedsystem i et selvstyrt køretøj, kræver det en højpasfilter, der sporer vejmarkeringer.

Henry Hinton er en ph.d.-studerende ved SEAS og medforfatter af artiklen.

“I fremtiden ser vi brugen af denne silicium-baserede in-sensor-regning ikke kun i maskinvision-anvendelser, men også i bio-inspirerede anvendelser, hvor tidlig informationsbehandling tillader, at sensor- og beregningsenheder samlokaliseres, som i hjernen,” sagde Hinton.

Holdet vil nu forsøge at øge tætheden af fotodioder og integrere dem med silicium-integrerede kredsløb.

“Ved at erstatte de standard non-programmerbare pixler i kommercielle silicium-billedsensorer med de programmerbare pixler, der er udviklet her, kan billedenheder intelligent klippe unødvendige data ud. Dette kan gøres mere effektivt i både energi og båndbredde for at imødekomme kravene til den næste generation af sensor-anvendelser,” sagde Jang.