Křemíkový obrazový senzor zrychluje a zjednodušuje zpracování obrazu pro autonomní vozidla

Tým výzkumníků na Harvardově škole inženýrství a aplikovaných věd Johna A. Paulsona vytvořil první procesor v senzoru, který by mohl být integrován do komerčních křemíkových obrazových čipů. Tyto senzory jsou známé jako komplementární metal-oxidový polovodičový (CMOS) obrazový senzor a jsou používány v širokém spektru komerčních zařízení, která zachycují vizuální informace.

Nové zařízení zrychluje a zjednodušuje zpracování pro autonomní vozidla a další aplikace.

Autonomní vozidla a vizuální zpracování

U autonomních vozidel je čas mezi pořízením snímku a dodáním dat do mikroprocesoru pro zpracování obrazu velmi důležitý. Je to kritické období, které může znamenat rozdíl mezi vyhnutím se překážce a zapojením do nehody.

Vizuální zpracování lze urychlit pomocí zpracování obrazu v senzoru, které spočívá ve vytažení důležitých příznaků ze surových dat samotným obrazovým senzorem, spíše než samostatným mikroprocesorem. Přesto, zpracování v senzoru se prokázalo jako omezené na nově vznikající výzkumné materiály, které jsou obtížně použitelné v komerčních systémech.

To je to, co dělá tento nový vývoj tak významným.

Tým zveřejnil svou práci v Nature Electronics.

Zpracování v senzoru

Donhee Ham je držitelem profesury Gordona McKaye v elektrotechnice a aplikované fyzice na SEAS a seniorním autorem článku.

“Naše práce může využít zavedený polovodičový elektronický průmysl, aby rychle přinesla zpracování v senzoru do širokého spektra skutečných aplikací,” řekl Ham.

Tým vyvinul křemíkovou fotodiodovou matici, která je také používána v komerčně dostupných obrazových čipech pro zachycení snímků. Ale fotodiody týmu jsou elektrostaticky dopovány, což znamená, že citlivost jednotlivých fotodiod na příchozí světlo může být upravena napětím.

Když je matice spojena s více napěťově laditelnými fotodiodami, může provádět analogovou verzi násobení a přidání operací, které jsou důležité pro zpracování obrazu. To pomáhá vytažení relevantních vizuálních informací přímo při zachycení snímku.

Houk Jang je postdoktorandský výzkumný pracovník na SEAS a první autor článku.

“Tyto dynamické fotodiody mohou současně filtrovat snímky, zatímco jsou zachyceny, což umožňuje první fázi zpracování vidění být přesunuta z mikroprocesoru do senzoru samotného,” řekl Jang.

Pro odstranění zbytečných detailů nebo šumu pro různé aplikace je křemíková fotodiodová matice programována do různých obrazových filtrů. Když je použita v obrazovém systému v samořídícím vozidle, vyžaduje se hornopropustný filtr, který sleduje označení vozovky.

Henry Hinton je student postgraduálního studia na SEAS a spoluprvní autor článku.

“V budoucnu předvídíme použití tohoto křemíkového zpracování v senzoru nejen v aplikacích strojového vidění, ale také v bio-inspirovaných aplikacích, kde časné zpracování informací umožňuje umístit senzor a výpočetní jednotky společně, jako je v mozku,” řekl Hinton.

Tým se nyní bude snažit zvýšit hustotu fotodiod a integrovat je s křemíkovými integrovanými obvody.

“Nahrazením standardních neprogramovatelných pixelů v komerčních křemíkových obrazových senzorech programovatelnými pixely vyvinutými zde, mohou obrazové zařízení inteligentně odstranit zbytečná data. To by mohlo být provedeno efektivněji jak z hlediska energie, tak z hlediska šířky pásma, aby se splnily požadavky pro další generaci senzorických aplikací,” řekl Jang.