Sensore di immagine al silicio accelera e semplifica l’elaborazione delle immagini per veicoli autonomi

Un team di ricercatori della Harvard John A. Paulson School of Engineering and Applied Sciences ha sviluppato il primo processore in-sensore che potrebbe essere integrato in chip di sensori di immagine al silicio commerciali. Questi sensori sono noti come sensori di immagine a metallo-ossido-semiconduttore (CMOS) e sono utilizzati in una vasta gamma di dispositivi commerciali che catturano informazioni visive.

Il nuovo dispositivo accelera e semplifica l’elaborazione per veicoli autonomi e altre applicazioni.

Veicoli autonomi e elaborazione visiva

Nei veicoli autonomi, il tempo tra la cattura di un’immagine e la consegna dei dati al microprocessore per l’elaborazione dell’immagine può avere implicazioni importanti. È un periodo di tempo cruciale che può fare la differenza tra l’evitare un ostacolo o essere coinvolti in un incidente.

L’elaborazione visiva può essere accelerata dall’elaborazione dell’immagine in-sensore, che prevede l’estrazione di caratteristiche importanti dai dati grezzi da parte del sensore di immagine stesso, piuttosto che da un microprocessore separato. Tuttavia, l’elaborazione in-sensore si è rivelata limitata a materiali di ricerca emergenti, che sono difficili da incorporare in sistemi commerciali.

Questo è ciò che rende lo sviluppo così importante.

Il team ha pubblicato la loro ricerca su Nature Electronics.

Calcolo in-sensore

Donhee Ham è il professore di ingegneria elettrica e fisica applicata alla SEAS e autore senior del documento.

“Il nostro lavoro può sfruttare l’industria elettronica semiconduttore mainstream per portare rapidamente il calcolo in-sensore a una vasta gamma di applicazioni reali”, ha detto Ham.

Il team ha sviluppato una matrice di fotodiodi al silicio, che viene utilizzata anche in chip di sensori di immagine commerciali per catturare immagini. Tuttavia, i fotodiodi del team sono dopati elettrostaticamente, il che significa che la sensibilità di singoli fotodiodi alla luce in entrata può essere regolata da tensioni.

Quando una matrice collega più fotodiodi regolabili in tensione, può eseguire una versione analogica di operazioni di moltiplicazione e addizione importanti per le pipeline di elaborazione delle immagini. Ciò aiuta a estrarre informazioni visive rilevanti proprio quando l’immagine viene catturata.

Houk Jang è un ricercatore post-dottorato alla SEAS e autore principale del documento.

“Questi fotodiodi dinamici possono filtrare contemporaneamente le immagini mentre vengono catturate, consentendo di spostare il primo stadio dell’elaborazione della visione dal microprocessore al sensore stesso”, ha detto Jang.

Per rimuovere dettagli o rumori non necessari per varie applicazioni, la matrice di fotodiodi al silicio viene programmata in diversi filtri di immagine. Quando utilizzato in un sistema di immagine di un veicolo autonomo, richiede un filtro passa-alto che traccia la segnaletica stradale.

Henry Hinton è uno studente di dottorato alla SEAS e co-autore principale del documento.

“Guardando avanti, prevediamo l’utilizzo di questo processore in-sensore al silicio non solo in applicazioni di visione macchina, ma anche in applicazioni bio-ispirate, in cui l’elaborazione delle informazioni precoce consente la co-locazione di unità di sensore e calcolo, come nel cervello”, ha detto Hinton.

Il team cercherà ora di aumentare la densità dei fotodiodi e di integrarli con circuiti integrati al silicio.

“Sostituendo i pixel non programmabili standard nei sensori di immagine al silicio commerciali con quelli programmabili sviluppati qui, i dispositivi di immagine possono tagliare intelligentemente i dati non necessari. Ciò potrebbe essere reso più efficiente in termini di energia e larghezza di banda per affrontare le richieste della prossima generazione di applicazioni sensoriali”, ha detto Jang.