Senzor obrazu z křemíku zrychluje a zjednodušuje zpracování obrazu pro autonomní vozidla

Tým výzkumníků na Harvard John A. Paulson School of Engineering and Applied Sciences vyvinul první procesor v senzoru, který by mohl být integrován do komerčních čipů křemíkových obrazových senzorů. Tyto senzory jsou známé jako komplementární metal-oxid-polovodičové (CMOS) obrazové senzory a používají se v širokém rozsahu komerčních zařízení, která zachycují vizuální informace. 

Nové zařízení zrychluje a zjednodušuje zpracování pro autonomní vozidla a další aplikace. 

Autonomní vozidla a vizuální zpracování

U autonomních vozidel může doba mezi pořízením snímku a dodáním dat do mikroprocesoru pro zpracování obrazu mít významné důsledky. Je to kritické období, které může znamenat rozdíl mezi vyhnutím se překážce nebo zapojením do nehody. 

Vizuální zpracování lze urychlit zpracováním obrazu v senzoru, které zahrnuje extrakci důležitých funkcí z raw dat samotným obrazovým senzorem, spíše než samostatným mikroprocesorem. S tím said, zpracování v senzoru se ukázalo jako omezené na vznikající výzkumné materiály, které jsou obtížně začlenitelné do komerčních systémů. 

To je to, co dělá nové vývoj tak velkou věcí. 

Tým zveřejnil svou práci v Nature Electronics. 

Zpracování v senzoru

Donhee Ham je Gordon McKay Professor of Electrical Engineering and Applied Physics at SEAS a senior autor článku. 

“Naše práce může využít mainstream polovodičové elektronické průmysl, aby rychle přinesl zpracování v senzoru do širokého spektra reálných aplikací,” řekl Ham. 

Tým vyvinul křemíkový fotodiodový pole, který se také používá v komerčně dostupných obrazových čipech pro zachycení obrazu. Ale týmové fotodiody jsou elektrostaticky dope, což znamená, že citlivost jednotlivých fotodiody na příchozí světlo lze nastavit napětím. 

Když je pole spojeno s více napěťově nastavitelnými fotodiodami, může provádět analogovou verzi násobení a přidávání operací, které jsou důležité pro zpracování obrazu. To pomáhá extrahovat relevantní vizuální informace hned při zachycení obrazu. 

Houk Jang je postdoktorandský výzkumník na SEAS a první autor článku. 

“Tyto dynamické fotodiody mohou současně filtrovat obrazy, zatímco jsou zachyceny, což umožňuje první fázi zpracování vidění být přesunuta z mikroprocesoru do senzoru samotného,” řekl Jang. 

Pro odstranění zbytečných detailů nebo šumu pro různé aplikace je křemíkový fotodiodový pole programován do různých obrazových filtrů. Když je použit v systému pro zobrazování obrazu v samořiditelném vozidle, je vyžadován vysokofrekvenční filtr, který sleduje označení jízdních pruhů. 

Henry Hinton je doktorand na SEAS a spoluautor článku. 

“Pohledem do budoucna, předvídáme použití tohoto křemíkového procesoru v senzoru nejen v aplikacích strojového vidění, ale také v bio-inspirovaných aplikacích, kde rané zpracování informací umožňuje současnou lokalizaci senzoru a výpočetních jednotek, jako v mozku,” řekl Hinton. 

Tým se nyní bude snažit zvýšit hustotu fotodiody a integrovat je s křemíkovými integrovanými obvody. 

“Nahrazením standardních neprogramovatelných pixelů v komerčních křemíkových obrazových senzorech programovatelnými pixely vyvinutými zde, mohou zobrazovací zařízení inteligentně odstranit zbytečná data. To by mohlo být provedeno efektivněji jak z hlediska energie, tak z hlediska šířky pásma, aby splnilo požadavky pro další generaci senzorických aplikací,” řekl Jang.