Senzorul de imagine cu siliciu accelerează și simplifică procesarea imaginilor pentru vehicule autonome

O echipă de cercetători de la Școala de Inginerie și Științe Aplicate John A. Paulson de la Harvard a dezvoltat primul procesor în senzor care poate fi integrat în cipuri comerciale de senzori de imagine cu siliciu. Acești senzori sunt cunoscuți sub numele de senzori de imagine CMOS (complementary metal-oxide-semiconductor) și sunt utilizați într-o gamă largă de dispozitive comerciale care captează informații vizuale. 

Noul dispozitiv accelerează și simplifică procesarea pentru vehicule autonome și alte aplicații. 

Vehicule autonome și procesare vizuală

În vehiculele autonome, timpul dintre momentul în care un sistem capturează o imagine și momentul în care datele sunt livrate microprocesorului pentru procesarea imaginii poate avea implicații majore. Este o perioadă de timp crucială care poate face diferența dintre evitarea unui obstacol și implicarea într-un accident. 

Procesarea vizuală poate fi accelerată prin procesarea în senzor a imaginii, care implică extragerea caracteristicilor importante din datele brute de către senzorul de imagine însuși, și nu de un microprocesor separat. Cu toate acestea, procesarea în senzor s-a dovedit a fi limitată la materiale de cercetare emergente, care sunt greu de integrat în sisteme comerciale. 

Acesta este motivul pentru care noua dezvoltare este atât de importantă. 

Echipa și-a publicat cercetarea în Nature Electronics. 

Calcul în senzor

Donhee Ham este profesorul Gordon McKay de inginerie electrică și fizică aplicată la SEAS și autorul principal al articolului. 

“Lucrarea noastră poate valorifica industria electronică semiconductoare mainstream pentru a aduce rapid calculul în senzor într-o varietate de aplicații din lumea reală”, a spus Ham. 

Echipa a dezvoltat o matrice de fotodioade cu siliciu, care este utilizată și în cipuri comerciale de senzori de imagine pentru a captura imagini. Dar fotodiodele echipei sunt dopate electrostatic, ceea ce înseamnă că sensibilitatea individuală a fotodiodelor la lumina incidentă poate fi reglată prin tensiuni. 

Când o matrice conectează multiple fotodioade reglabile la tensiune, poate efectua o versiune analogică a operațiunilor de înmulțire și adunare importante pentru fluxurile de procesare a imaginilor. Acest lucru ajută la extragerea informațiilor vizuale relevante chiar în momentul în care imaginea este capturată. 

Houk Jang este un bursier postdoctoral la SEAS și autorul principal al articolului. 

“Aceste fotodioade dinamice pot filtra imagini în timp ce sunt capturate, permițând ca prima etapă a procesării vizuale să fie mutată de la microprocesor la senzorul însuși”, a spus Jang. 

Pentru a elimina detalii sau zgomote inutile pentru diverse aplicații, matricea de fotodioade cu siliciu este programată în filtre de imagine diferite. Când este utilizată într-un sistem de imagine dintr-un vehicul cu conducere autonomă, este necesar un filtru de trecere înaltă care urmărește marcajele de pe carosabil. 

Henry Hinton este un student absolvent la SEAS și co-autorul principal al articolului. 

“Privind înainte, anticipăm utilizarea acestui procesor în senzor cu siliciu nu numai în aplicații de viziune mașinilor, ci și în aplicații inspirate de biologie, în care procesarea informațiilor timpurii permite co-locarea unităților de senzor și calcul, precum în creier”, a spus Hinton. 

Echipa va căuta acum să crească densitatea fotodiodelor și să le integreze cu circuite integrate cu siliciu. 

“Prin înlocuirea pixelilor standard neprogramabili din senzorii de imagine cu siliciu comerciali cu cei programabili dezvoltați aici, dispozitivele de imagine pot tăia inteligent datele inutile. Acest lucru poate fi făcut mai eficient atât în ceea ce privește energia, cât și lățimea de bandă, pentru a răspunde cerințelor pentru următoarea generație de aplicații senzoriale”, a spus Jang.