Silisium-bildeSensor akselerer og forenkler bildebehandling for autonome kjøretøy

Et team av forskere ved Harvard John A. Paulson School of Engineering and Applied Sciences har utviklet den første innsensor-prosessor som kan integreres i kommersielle silisium-bildechips. Disse sensorene er kjent som komplementære metal-oksidsensorer (CMOS), og de brukes i en rekke kommersielle enheter som fanger visuell informasjon.

Den nye enheten akselerer og forenkler prosessering for autonome kjøretøy og andre anvendelser.

Autonome kjøretøy og visuell prosessering

I autonome kjøretøy kan tiden mellom at et system tar et bilde og at dataene blir levert til mikroprosessor for bildebehandling ha store konsekvenser. Det er en kritisk tidsperiode som kan bety forskjellen mellom å unngå et hinder eller å bli involvert i en ulykke.

Visuell prosessering kan akselereres ved hjelp av innsensor-bildebehandling, som innebærer at viktige funksjoner blir trukket ut fra rådata av bilde-sensoren selv, i stedet for en separat mikroprosessor. Med det sagt har innsensor-prosessering vist seg å være begrenset til nye forskningsmaterialer, som er vanskelige å inkorporere i kommersielle systemer.

Dette er hva som gjør den nye utviklingen så stor.

Teamet publiserte sin forskning i Nature Electronics.

Innsensor-regning

Donhee Ham er Gordon McKay Professor of Electrical Engineering and Applied Physics ved SEAS og seniorforfatter av artikkelen.

“Vårt arbeid kan utnytte den etablerte halvleder-elektronikkindustrien for å raskt bringe innsensor-regning til en rekke virkelige anvendelser,” sa Ham.

Teamet utviklet en silisium-fotodiode-matrise, som også brukes i kommersielt tilgjengelige bilde-sensor-chip for å fange bilder. Men teamets fotodioder er elektrostatisk dopet, noe som betyr at sensitiviteten til enkeltfotodioder for innkommende lys kan justeres med spenninger.

Når en matrise kobler sammen flere spenning-justerbare fotodioder, kan den utføre en analog versjon av multiplikasjon og addisjonsoperasjoner som er viktige for bildebehandlings-pipelines. Dette hjelper med å trekke ut relevante visuelle informasjoner rett når bildet blir tatt.

Houk Jang er en postdoktorand ved SEAS og første forfatter av artikkelen.

“Disse dynamiske fotodiodene kan samtidig filtere bilder mens de blir tatt, og tillate at den første fasen av visuell prosessering blir flyttet fra mikroprosessor til sensoren selv,” sa Jang.

For å fjerne unødvendige detaljer eller støy for ulike anvendelser, blir silisium-fotodiode-matrisen programmert til å fungere som ulike bilde-filter. Når den brukes i et bilde-system i et selvstyrt kjøretøy, krever det en høy-pass filter som sporer kjørestriper.

Henry Hinton er en master-student ved SEAS og med-forfatter av artikkelen.

“Ser fremover, forutser vi at denne silisium-baserte innsensor-prosessor ikke bare vil bli brukt i maskin-visuelle anvendelser, men også i bio-inspirerte anvendelser, hvor tidlig informasjonsbehandling tillater at sensor og beregningsenheter blir plassert sammen, som i hjernen,” sa Hinton.

Teamet vil nå se på å øke tettheten av fotodioder og integrere dem med silisium-integerte kretser.

“Ved å erstatte de standard ikke-programmerbare pikslene i kommersielle silisium-bilde-sensorer med de programmerbare som er utviklet her, kan bilde-enheter inteligent kutte ut unødvendige data. Dette kan bli mer effektivt både i energi og båndbredde for å møte kravene for den neste generasjonen av sensor-anvendelser,” sa Jang.