Silikonbildsensor ökar hastigheten, förenklar bildbehandling för autonoma fordon

Ett team av forskare vid Harvard John A. Paulson School of Engineering and Applied Sciences har utvecklat den första in-sensorprocessorn som kan integreras i kommersiella silikonbildsensorchips. Dessa sensorer kallas komplementära metalloxidhalvledarsensorer (CMOS) och används i en mängd olika kommersiella enheter som fångar visuell information.

Den nya enheten ökar hastigheten och förenklar bearbetningen för autonoma fordon och andra tillämpningar.

Autonoma fordon och visuell bearbetning

I autonoma fordon kan tiden mellan att systemet tar en bild och att data levereras till mikroprocessorn för bildbehandling ha stora konsekvenser. Det är en kritisk tid som kan innebära skillnaden mellan att undvika ett hinder eller bli inblandad i en olycka.

Visuell bearbetning kan påskyndas genom in-sensorbildbehandling, som innebär att viktiga funktioner extraheras från rådata av bildsensorn själv, snarare än en separat mikroprocessor. Med det sagt har in-sensorbearbetning visat sig vara begränsad till nya forskningsmaterial, som är svåra att införa i kommersiella system.

Detta är vad som gör den nya utvecklingen så stor.

Forskarteamet publicerade sin forskning i Nature Electronics.

In-sensorberäkning

Donhee Ham är Gordon McKay-professorn i elektroteknik och tillämpad fysik vid SEAS och senior författare till artikeln.

“Vårt arbete kan utnyttja den etablerade halvledarindustrin för att snabbt införa in-sensorberäkning i en mängd olika verkliga tillämpningar”, sa Ham.

Forskarteamet utvecklade en silikonfotodiodmatris, som också används i kommersiellt tillgängliga bildsensorchips för att fånga bilder. Men teamets fotodioder är elektrostatiskt dopade, vilket innebär att känsligheten för enskilda fotodioder för infallande ljus kan styras av spänningar.

När en matris ansluter flera spänningstunerbara fotodioder tillsammans, kan den utföra en analog version av multiplikations- och additionsoperationer som är viktiga för bildbehandlingspipelinen. Detta hjälper till att extrahera relevant visuell information direkt när bilden tas.

Houk Jang är en postdoktorand vid SEAS och första författare till artikeln.

“Dessa dynamiska fotodioder kan samtidigt filtrera bilder när de tas, vilket möjliggör att den första etappen av synbehandling kan flyttas från mikroprocessorn till sensorn själv”, sa Jang.

För att ta bort onödiga detaljer eller brus för olika tillämpningar, programmeras silikonfotodiodmatrisen till olika bildfilter. När den används i ett bildsystem i ett självkörande fordon, krävs ett högpassfilter som spårar körfält.

Henry Hinton är en doktorand vid SEAS och medförfattare till artikeln.

“Om vi ser framåt, förutser vi att silikonbaserad in-sensorprocessor inte bara kommer att användas i maskinseendeapplikationer, utan också i bioinspirerade applikationer, där tidig informationsbehandling möjliggör samlokalisering av sensor och beräkningsenheter, som i hjärnan”, sa Hinton.

Forskarteamet kommer nu att öka densiteten hos fotodioderna och integrera dem med silikonintegrerade kretsar.

“Genom att ersätta standard icke-programmerbara pixlar i kommersiella silikonbildsensorer med de programmerbara som utvecklats här, kan bildenheter intelligent trimma bort onödig data. Detta kan göras mer effektivt i både energi och bandbredd för att möta kraven för nästa generation av sensorapplikationer”, sa Jang.