Siliciumbeeldsensor versnelt en vereenvoudigt beeldverwerking voor autonome voertuigen

Een team van onderzoekers aan de Harvard John A. Paulson School of Engineering and Applied Sciences heeft de eerste in-sensorprocessor ontwikkeld die geïntegreerd kan worden in commerciële siliciumbeeldsensoren. Deze sensoren worden ook wel complementaire metaal-oxide-halfgeleider (CMOS)-beeldsensoren genoemd en worden gebruikt in een breed scala aan commerciële apparaten die visuele informatie vastleggen.

Het nieuwe apparaat versnelt en vereenvoudigt de verwerking voor autonome voertuigen en andere toepassingen.

Autonome voertuigen en visuele verwerking

Bij autonome voertuigen kan de tijd tussen het nemen van een beeld en het leveren van die gegevens aan de microprocessor voor beeldverwerking grote gevolgen hebben. Het is een cruciale periode die het verschil kan maken tussen het vermijden van een obstakel of betrokken raken bij een ongeval.

Visuele verwerking kan worden versneld door in-sensorbeeldverwerking, waarbij belangrijke kenmerken worden geëxtraheerd uit ruwe gegevens door de beeldsensor zelf, in plaats van een aparte microprocessor. Echter, in-sensorverwerking heeft zich tot nu toe beperkt tot opkomende onderzoeksmaterialen, die moeilijk te integreren zijn in commerciële systemen.

Dit maakt de nieuwe ontwikkeling zo belangrijk.

Het team publiceerde hun onderzoek in Nature Electronics.

In-sensorcomputing

Donhee Ham is de Gordon McKay Professor of Electrical Engineering and Applied Physics aan SEAS en senior auteur van het artikel.

“Ons werk kan de mainstream halfgeleiderindustrie gebruiken om in-sensorcomputing snel naar een breed scala aan echte toepassingen te brengen,” zei Ham.

Het team ontwikkelde een siliciumfotodiode-array, die ook wordt gebruikt in commercieel beschikbare beeldsensoren om beelden vast te leggen. Echter, de fotodiodes van het team zijn electrostatisch gedoteerd, wat betekent dat de gevoeligheid van individuele fotodiodes voor binnenkomend licht kan worden aangepast met voltages.

Wanneer een array meerdere voltage-aanpasbare fotodiodes verbindt, kan het een analoge versie van vermenigvuldiging en optelling uitvoeren, die belangrijk zijn voor beeldverwerkingpijplijnen. Dit helpt bij het extraheren van relevante visuele informatie rechtstreeks wanneer het beeld wordt vastgelegd.

Houk Jang is een postdoctoraal onderzoeker aan SEAS en eerste auteur van het artikel.

“Deze dynamische fotodiodes kunnen gelijktijdig beelden filteren terwijl ze worden vastgelegd, waardoor de eerste fase van visuele verwerking kan worden overgebracht van de microprocessor naar de sensor zelf,” zei Jang.

Om onnodige details of ruis te verwijderen voor verschillende toepassingen, wordt de siliciumfotodiode-array geprogrammeerd in verschillende beeldfilters. Wanneer het wordt gebruikt in een beeldsysteem in een zelfrijdende auto, is een hoogdoorlaatfilter nodig dat de rijstrookmarkering volgt.

Henry Hinton is een graduate student aan SEAS en co-eerste auteur van het artikel.

“Als we vooruitkijken, voorzien we het gebruik van deze silicium-gebaseerde in-sensorprocessor niet alleen in machinevisietoepassingen, maar ook in bio-geïnspireerde toepassingen, waarbij vroegtijdige informatieverwerking de co-locatie van sensor- en compute-eenheden mogelijk maakt, zoals in de hersenen,” zei Hinton.

Het team zal nu proberen de dichtheid van fotodiodes te verhogen en ze te integreren met siliciumgeïntegreerde schakelingen.

“Door de standaard niet-programmeerbare pixels in commerciële siliciumbeeldsensoren te vervangen door de programmeerbare pixels die hier zijn ontwikkeld, kunnen beeldapparaten onnodige gegevens intelligent trimmen. Dit kan efficiënter worden gemaakt in zowel energie als bandbreedte om te voldoen aan de eisen voor de volgende generatie sensortoepassingen,” zei Jang.