Silisium-bilde sensor akselerer og forenkler bildebehandling for autonome kjøretøy

Et team av forskere ved Harvard John A. Paulson School of Engineering and Applied Sciences har utviklet den første innsensor-prosessor som kan integreres i kommersielle silisium-bilde sensor-chip. Disse sensorene er kjent som komplementær metal-oksidsemikonduktor (CMOS) bilde sensorer, og de brukes i en rekke kommersielle enheter som fanger visuell informasjon. 

Den nye enheten akselerer og forenkler prosessering for autonome kjøretøy og andre applikasjoner. 

Autonome kjøretøy og visuell prosessering

I autonome kjøretøy kan tiden mellom at et system tar et bilde og at dataene leveres til mikroprosessor for bildebehandling ha store konsekvenser. Det er en kritisk tidsperiode som kan bety forskjellen mellom å unngå et hinder eller å bli involvert i en ulykke. 

Visuell prosessering kan akselereres ved hjelp av innsensor-bildebehandling, som innebærer at viktige funksjoner trekkes ut fra rådata av bilde-sensoren selv, i stedet for en separat mikroprosessor. Med det sagt, har innsensor-prosessering vist seg å være begrenset til nye forskningsmaterialer, som er vanskelige å inkorporere i kommersielle systemer. 

Dette er hva som gjør den nye utviklingen så stor. 

Teamet publiserte sine resultater i Nature Electronics. 

Innsensor-regning

Donhee Ham er Gordon McKay Professor of Electrical Engineering and Applied Physics at SEAS og senior forfatter av artikkelen. 

“Vårt arbeid kan utnytte den etablerte halvleder-elektronikk-industrien for å raskt bringe innsensor-regning til en rekke virkelige applikasjoner,” sa Ham. 

Teamet utviklet en silisium-fotodiode-array, som også brukes i kommersielt tilgjengelige bilde-sensor-chip for å fange bilder. Men teamets fotodioder er elektrostatisk dopet, noe som betyr at sensitiviteten til enkelt-fotodioder for innkommende lys kan justeres med spenninger. 

Når en array kobler sammen flere spenning-justerbare fotodioder, kan den utføre en analog versjon av multiplikasjon og addisjonsoperasjoner som er viktige for bildebehandlings-pipelines. Dette hjelper med å trekke ut relevante visuelle informasjon rett når bildet tas. 

Houk Jang er en postdoktor-stipendiat ved SEAS og første forfatter av artikkelen. 

“Disse dynamiske fotodiodene kan samtidig filtere bilder mens de tas, og tillate at den første fasen av synsprosessering flyttes fra mikroprosessor til sensoren selv,” sa Jang. 

For å fjerne unødvendige detaljer eller støy for ulike applikasjoner, er silisium-fotodiode-arrayen programmert til å fungere som ulike bilde-filter. Når den brukes i et bilde-system i et selvstyrt kjøretøy, kreves det et høy-pass filter som sporer kjørefelt. 

Henry Hinton er en master-student ved SEAS og med-forfatter av artikkelen. 

“Vi ser for oss at denne silisium-baserte innsensor-prosessoren ikke bare brukes i maskin-syns-applikasjoner, men også i bio-inspirerte applikasjoner, hvor tidlig informasjonsprosessering tillater at sensor og regningsenheter plasseres sammen, som i hjernen,” sa Hinton. 

Teamet vil nå se på å øke tettheten av fotodioder og integrere dem med silisium-integerte kretser. 

“Ved å erstatte standard ikke-programmerbare piksler i kommersielle silisium-bilde sensorer med de programmerbare pikslene som er utviklet her, kan bilde-enheter inteligent kutte ut unødvendig data. Dette kan gjøres mer effektivt både i energi og båndbredde for å møte kravene for neste generasjons sensor-applikasjoner,” sa Jang.