Senzorul de imagine cu siliciu accelerează și simplifică procesarea imaginilor pentru vehicule autonome

O echipă de cercetători de la Școala de Inginerie și Științe Aplicate Harvard John A. Paulson a dezvoltat primul procesor în-senzor care poate fi integrat în cipuri de senzori de imagine cu siliciu comerciale. Acești senzori sunt cunoscuți sub numele de senzori de imagine cu metal-oxid-semiconductor complementar (CMOS) și sunt utilizați într-o gamă largă de dispozitive comerciale care captează informații vizuale.

Noul dispozitiv accelerează și simplifică procesarea pentru vehicule autonome și alte aplicații.

Vehicule autonome și procesare vizuală

În vehiculele autonome, timpul dintre momentul în care un sistem capturează o imagine și momentul în care datele sunt livrate microprocesorului pentru procesare poate avea implicații majore. Este o perioadă de timp critică care poate face diferența dintre evitarea unui obstacol și implicarea într-un accident.

Procesarea vizuală poate fi accelerată prin procesarea în-senzor a imaginilor, care implică extragerea caracteristicilor importante din datele brute de către senzorul de imagine însuși, și nu de către un microprocesor separat. Cu toate acestea, procesarea în-senzor s-a dovedit a fi limitată la materiale de cercetare emergente, care sunt dificil de integrat în sisteme comerciale.

Acesta este motivul pentru care noua dezvoltare este atât de importantă.

Echipa și-a publicat cercetarea în Nature Electronics.

Calcul în-senzor

Donhee Ham este profesor de inginerie electrică și fizică aplicată la SEAS și autor senior al articolului.

„Lucrarea noastră poate să valorifice industria electronică a semiconductoarelor pentru a aduce calculul în-senzor rapid într-o varietate de aplicații din lumea reală”, a spus Ham.

Echipa a dezvoltat o matrice de fotodioade cu siliciu, care este utilizată și în cipurile de senzori de imagine comerciale pentru a capta imagini. Cu toate acestea, fotodiodele echipei sunt dopate electrostatic, ceea ce înseamnă că sensibilitatea individuală a fotodiodelor la lumina incidentă poate fi reglată prin tensiuni.

Când o matrice conectează multiple fotodioade reglabile la tensiune, poate efectua o versiune analogică a operațiunilor de înmulțire și adunare care sunt importante pentru fluxurile de procesare a imaginilor. Acest lucru ajută la extragerea informațiilor vizuale relevante chiar în momentul în care imaginea este capturată.

Houk Jang este un bursier postdoctoral la SEAS și autor principal al articolului.

„Aceste fotodioade dinamice pot să filtreze imagini concomitent cu capturarea lor, permițând ca prima etapă a procesării vizuale să fie mutată de la microprocesor la senzorul însuși”, a spus Jang.

Pentru a elimina detalii sau zgomote inutile pentru diverse aplicații, matricea de fotodioade cu siliciu este programată în filtre de imagine diferite. Când este utilizată într-un sistem de imagine dintr-un vehicul autonom, necesită un filtru de trecere înaltă care urmărește marcajul benzii.

Henry Hinton este un student absolvent la SEAS și co-autor principal al articolului.

„Privind spre viitor, anticipăm utilizarea acestui procesor în-senzor cu siliciu nu numai în aplicații de vedere mașinilor, ci și în aplicații bio-inspirate, în care procesarea informațiilor la început permite co-locarea unităților de senzor și calcul, precum în creier”, a spus Hinton.

Echipa va căuta acum să crească densitatea fotodiodelor și să le integreze cu circuitele integrate cu siliciu.

„Prin înlocuirea pixelilor standard non-programabili din senzorii de imagine cu siliciu comerciali cu cei programabili dezvoltați aici, dispozitivele de imagine pot să elimine inteligent datele inutile. Acest lucru poate fi făcut mai eficient atât în ceea ce privește energia, cât și lățimea de bandă, pentru a răspunde cerințelor pentru următoarea generație de aplicații senzoriale”, a spus Jang.