Sensore di immagine al silicio velocizza e semplifica l’elaborazione delle immagini per veicoli autonomi

Un team di ricercatori alla Harvard John A. Paulson School of Engineering and Applied Sciences ha sviluppato il primo processore in-sensore che potrebbe essere integrato in chip di sensori di immagine al silicio commerciali. Questi sensori sono noti come sensori di immagine a metallo-ossido-semiconduttore complementare (CMOS) e vengono utilizzati in una vasta gamma di dispositivi commerciali che catturano informazioni visive.

Il nuovo dispositivo velocizza e semplifica l’elaborazione per veicoli autonomi e altre applicazioni.

Veicoli autonomi e elaborazione visiva

Nei veicoli autonomi, il tempo tra la cattura di un’immagine e la consegna dei dati al microprocessore per l’elaborazione dell’immagine può avere implicazioni importanti. È un periodo di tempo cruciale che può fare la differenza tra l’evitare un ostacolo o essere coinvolti in un incidente.

L’elaborazione visiva può essere velocizzata attraverso l’elaborazione dell’immagine in-sensore, che prevede l’estrazione di caratteristiche importanti dai dati grezzi da parte del sensore di immagine stesso, anziché da un microprocessore separato. Tuttavia, l’elaborazione in-sensore si è rivelata limitata a materiali di ricerca emergenti, che sono difficili da incorporare in sistemi commerciali.

Questo è ciò che rende lo sviluppo nuovo così importante.

Il team ha pubblicato la loro ricerca su Nature Electronics.

Calcolo in-sensore

Donhee Ham è il Gordon McKay Professor of Electrical Engineering and Applied Physics presso SEAS e autore senior del paper.

“Il nostro lavoro può sfruttare l’industria elettronica semiconduttore mainstream per portare rapidamente il calcolo in-sensore a una vasta gamma di applicazioni del mondo reale”, ha detto Ham.

Il team ha sviluppato una matrice di fotodiodi al silicio, che viene utilizzata anche nei chip di sensore di immagine commerciali per catturare immagini. Tuttavia, i fotodiodi del team sono dopati elettrostaticamente, il che significa che la sensibilità dei singoli fotodiodi alla luce in entrata può essere regolata da tensioni.

Quando una matrice collega più fotodiodi regolabili in tensione, può eseguire una versione analogica di operazioni di moltiplicazione e addizione importanti per le pipeline di elaborazione delle immagini. Ciò aiuta a estrarre le informazioni visive rilevanti proprio quando l’immagine viene catturata.

Houk Jang è un fellow postdottorale presso SEAS e autore principale del paper.

“Questi fotodiodi dinamici possono filtrare contemporaneamente le immagini mentre vengono catturate, consentendo di spostare il primo stadio dell’elaborazione della visione dal microprocessore al sensore stesso”, ha detto Jang.

Per rimuovere dettagli o rumori non necessari per varie applicazioni, la matrice di fotodiodi al silicio viene programmata in diversi filtri di immagine. Quando viene utilizzato in un sistema di imaging in un veicolo a guida autonoma, richiede un filtro passa-alto che traccia i segnali stradali.

Henry Hinton è uno studente di dottorato presso SEAS e co-autore principale del paper.

“Guardando avanti, prevediamo l’utilizzo di questo processore in-sensore al silicio non solo in applicazioni di visione macchina, ma anche in applicazioni bio-ispirate, in cui l’elaborazione delle informazioni precoci consente la co-locazione di unità di sensore e calcolo, come nel cervello”, ha detto Hinton.

Il team cercherà ora di aumentare la densità dei fotodiodi e di integrarli con circuiti integrati al silicio.

“Sostituendo i pixel non programmabili standard nei sensori di immagine al silicio commerciali con quelli programmabili sviluppati qui, i dispositivi di imaging possono tagliare intelligentemente i dati non necessari. Ciò potrebbe essere reso più efficiente in termini di energia e larghezza di banda per soddisfare le richieste per la prossima generazione di applicazioni sensoriali”, ha detto Jang.