Silicon Image Sensor ökar hastigheten, förenklar bildbehandlingen för autonoma fordon

Ett team av forskare vid Harvard John A. Paulson School of Engineering and Applied Sciences har utvecklat den första in-sensor-processorn som skulle kunna integreras i kommersiella kiselavbildningssensorchips. Dessa sensorer är kända som komplementära metall-oxid-halvledare (CMOS) bildsensorer, och de används i ett brett utbud av kommersiella enheter som fångar visuell information. 

Den nya enheten snabbar upp och förenklar bearbetningen för autonoma fordon och andra applikationer. 

Autonoma fordon och visuell bearbetning

I autonoma fordon kan tiden mellan ett system som tar en bild och att data levereras till mikroprocessorn för bildbehandling få stora konsekvenser. Det är en avgörande tidsperiod som kan betyda skillnaden mellan att undvika ett hinder eller att bli inblandad i en olycka. 

Visuell bearbetning kan påskyndas genom bildbehandling i sensorn, vilket innebär att viktiga funktioner extraheras från rådata av bildsensorn själv, snarare än en separat mikroprocessor. Med det sagt har bearbetning av sensorer visat sig vara begränsad till framväxande forskningsmaterial, som är svåra att införliva i kommersiella system. 

Det är detta som gör den nya utvecklingen till en så stor sak. 

Teamet publicerade sin forskning i Naturelektronik. 

In-Sensor Computing

Donhee Ham är Gordon McKay-professor i elektroteknik och tillämpad fysik vid SEAS och seniorförfattare till artikeln. 

"Vårt arbete kan utnyttja den vanliga halvledarelektronikindustrin för att snabbt föra in-sensordatorer till ett brett utbud av verkliga tillämpningar," sa Ham. 

Teamet utvecklade en kiselfotodioduppsättning, som också används i kommersiellt tillgängliga bildavkänningschips för att ta bilder. Men lagets fotodioder är elektrostatiskt dopade, vilket innebär att individuella fotodioders känslighet för inkommande ljus kan justeras med spänningar. 

När en array kopplar samman flera spänningsavstämbara fotodioder kan den utföra en analog version av multiplikations- och additionsoperationer som är viktiga för bildbehandlingspipelines. Detta hjälper till att extrahera relevant visuell information direkt när bilden tas. 

Houk Jang är postdoktor vid SEAS och första författare till uppsatsen. 

"Dessa dynamiska fotodioder kan samtidigt filtrera bilder när de tas, vilket gör att det första steget av synbehandling kan flyttas från mikroprocessorn till själva sensorn," sa Jang. 

För att ta bort onödiga detaljer eller brus för olika applikationer är kiselfotodiodgruppen programmerad i olika bildfilter. När det används i ett bildsystem i ett självkörande fordon kräver det ett högpassfilter som spårar körfältsmarkering. 

Henry Hinton är doktorand vid SEAS och medförfattare till tidningen. 

"När vi blickar framåt förutser vi användningen av denna kiselbaserade sensorprocessor inte bara i maskinseendeapplikationer utan också i bioinspirerade applikationer, där tidig informationsbehandling möjliggör samlokalisering av sensor- och beräkningsenheter, som i hjärnan”, sa Hinton. 

Teamet kommer nu att försöka öka tätheten av fotodioder och integrera dem med integrerade kretsar av kisel. 

"Genom att ersätta de vanliga icke-programmerbara pixlarna i kommersiella kiselbildsensorer med de programmerbara som utvecklats här, kan bildenheter på ett intelligent sätt trimma ut onödiga data. Detta kan göras mer effektivt både vad gäller energi och bandbredd för att möta kraven på nästa generations sensoriska tillämpningar, säger Jang.