Silicium-billede sensor accelererer og forenkler billedbehandling for autonome køretøjer

Et hold af forskere på Harvard John A. Paulson School of Engineering and Applied Sciences har udviklet den første in-sensor processor, der kan integreres i kommercielle silicium-billede sensor-chips. Disse sensorer kaldes komplementære metal-oxidsensorer (CMOS) og bruges i en bred vifte af kommercielle enheder, der optager visuel information. 

Den nye enhed accelererer og forenkler behandlingen for autonome køretøjer og andre anvendelser. 

Autonome køretøjer og visuel behandling

I autonome køretøjer kan tiden mellem, at et system tager et billede, og at dataene leveres til mikroprocessoren til billedbehandling, have store konsekvenser. Det er en kritisk tidsperiode, der kan betyde forskellen på at undgå et hinder eller blive involveret i en ulykke. 

Visuel behandling kan accelereres ved in-sensor billedbehandling, der indebærer, at vigtige funktioner udtrækkes fra rådata af billedsensoren selv, snarere end en separat mikroprocessor. Med det sagt har in-sensor-behandling vist sig at være begrænset til fremvoksende forskningsmaterialer, der er svære at inkorporere i kommercielle systemer. 

Det er derfor, denne nye udvikling er så stor. 

Holdet offentliggjorde deres forskning i Nature Electronics. 

In-sensor beregning

Donhee Ham er Gordon McKay Professor of Electrical Engineering and Applied Physics at SEAS og senior forfatter af artiklen. 

“Vores arbejde kan udnytte den etablerede halvleder-elektronikindustri til at bringe in-sensor beregning til en bred vifte af virkelige anvendelser,” sagde Ham. 

Holdet udviklede en silicium-fotodiode-array, der også bruges i kommercielt tilgængelige billedsensor-chips til at optage billeder. Men holdets fotodioder er elektrostatisk doppede, hvilket betyder, at følsomheden af enkeltfotodioder over for indkommende lys kan justeres ved hjælp af spændinger. 

Når en array forbinder flere spændingsjusterbare fotodioder sammen, kan den udføre en analog version af multiplikations- og additionsoperationer, der er vigtige for billedbehandlingspipeliner. Dette hjælper med at udtrække relevant visuel information, så snart billedet er optaget. 

Houk Jang er en postdoc-forsker på SEAS og første forfatter af artiklen. 

“Disse dynamiske fotodioder kan samtidig filtrere billeder, mens de optages, og tillade, at den første fase af synsbehandling flyttes fra mikroprocessoren til sensoren selv,” sagde Jang. 

For at fjerne unødvendige detaljer eller støj til forskellige anvendelser, er silicium-fotodiode-arrayen programmeret til forskellige billedfilter. Når den bruges i et billedsystem i et selvstyrt køretøj, kræver det en højpasfilter, der sporer vejmarkeringer. 

Henry Hinton er en ph.d.-studerende på SEAS og medforfatter af artiklen. 

“Set fremad, forudser vi brugen af denne silicium-baserede in-sensor processor ikke kun i maskinvision-anvendelser, men også i bio-inspirerede anvendelser, hvor tidlig informationsbehandling tillader, at sensor- og beregningsenheder samlokaliseres, som i hjernen,” sagde Hinton. 

Holdet vil nu se at øge tætheden af fotodioder og integrere dem med silicium-integrerede kredsløb. 

“Ved at erstatte de standard non-programmerbare pixel i kommercielle silicium-billedsensorer med de programmerbare, der er udviklet her, kan billedenheder intelligent klippe unødvendige data. Dette kan gøres mere effektivt i både energi og båndbredde for at imødekomme kravene til den næste generation af sensor-anvendelser,” sagde Jang.