Αισθητήρας εικόνας πυριτίου επιταχύνει και απλοποιεί την επεξεργασία εικόνας για αυτόνομα οχήματα

Μια ομάδα ερευνητών στο Σχολή Μηχανικής και Εφαρμοσμένων Επιστημών John A. Paulson του Χάρβαρντ έχει αναπτύξει τον πρώτο επεξεργαστή εντός αισθητήρα που μπορεί να ενσωματωθεί σε εμπορικά τσιπ αισθητήρων εικόνας πυριτίου. Αυτοί οι αισθητήρες είναι γνωστοί ως αισθητήρες εικόνας συμπληρωματικού μετάλλου-οξειδίου-ημιαγωγού (CMOS) και χρησιμοποιούνται σε μια ευρεία γκάμα εμπορικών συσκευών που καταγράφουν οπτικές πληροφορίες.

Η νέα συσκευή επιταχύνει και απλοποιεί την επεξεργασία για αυτόνομα οχήματα και άλλες εφαρμογές.

Αυτόνομα Οχήματα και Οπτική Επεξεργασία

Στα αυτόνομα οχήματα, ο χρόνος μεταξύ της λήψης μιας εικόνας και της παράδοσης των δεδομένων σε έναν μικροεπεξεργαστή για επεξεργασία εικόνας μπορεί να έχει σημαντικές επιπτώσεις. Είναι ένας κρίσιμος χρόνος που μπορεί να σημαίνει τη διαφορά μεταξύ της αποφυγής ενός εμποδίου ή της συμμετοχής σε έναν ατύχημα.

Η οπτική επεξεργασία μπορεί να επιταχυνθεί με την επεξεργασία εικόνας εντός αισθητήρα, η οποία περιλαμβάνει την εξαγωγή σημαντικών χαρακτηριστικών από τα αρχικά δεδομένα από τον ίδιο τον αισθητήρα εικόνας, αντί για έναν ξεχωριστό μικροεπεξεργαστή. Ωστόσο, η επεξεργασία εντός αισθητήρα έχει αποδειχθεί περιορισμένη σε υλικά έρευνας, τα οποία είναι δύσκολο να ενσωματωθούν σε εμπορικά συστήματα.

Αυτό είναι που κάνει την νέα ανάπτυξη τόσο σημαντική.

Η ομάδα δημοσίευσε την έρευνά της στο Nature Electronics.

Επεξεργασία Εντός Αισθητήρα

Ο Donhee Ham είναι ο κάτοχος της έδρας Gordon McKay Ηλεκτρολογικής Μηχανικής και Εφαρμοσμένης Φυσικής στο SEAS και ανώτερος συγγραφέας του εγγράφου.

“Το έργο μας μπορεί να αξιοποιήσει τη βιομηχανία ημιαγωγών για να φέρει την επεξεργασία εντός αισθητήρα σε μια ευρεία γκάμα πραγματικών εφαρμογών”, είπε ο Ham.

Η ομάδα ανέπτυξε έναν πίνακα φωτοδιόδων από πυρίτιο, ο οποίος χρησιμοποιείται επίσης σε εμπορικά διαθέσιμους αισθητήρες εικόνας για την καταγραφή εικόνων. Ωστόσο, οι φωτοδίοδοι της ομάδας είναι ηλεκτροστατικά εμπλουτισμένες, πράγμα που σημαίνει ότι η ευαισθησία των μεμονωμένων φωτοδιόδων στην προσπίπτον φως μπορεί να ρυθμιστεί από τάσεις.

Όταν ένας πίνακας συνδέει πολλές φωτοδίοδοι με ρυθμιζόμενη τάση, μπορεί να εκτελέσει μια αναλογική έκδοση των πράξεων πολλαπλασιασμού και πρόσθεσης που είναι σημαντικές για τις διαδικασίες επεξεργασίας εικόνας. Αυτό βοηθά στην εξαγωγή σχετικών οπτικών πληροφοριών ακριβώς όταν η εικόνα καταγράφεται.

Ο Houk Jang είναι ένας μεταδιδακτορικός ερευνητής στο SEAS και πρώτος συγγραφέας του εγγράφου.

“Αυτές οι δυναμικές φωτοδίοδοι μπορούν να φιλτράρουν ταυτόχρονα εικόνες καθώς καταγράφονται, επιτρέποντας στην πρώτη φάση της οπτικής επεξεργασίας να μεταφερθεί από τον μικροεπεξεργαστή στον ίδιο τον αισθητήρα”, είπε ο Jang.

Για να αφαιρέσετε άσχετες λεπτομέρειες ή θόρυβο για διάφορες εφαρμογές, ο πίνακας φωτοδιόδων από πυρίτιο προγραμματίζεται σε διαφορετικά φίλτρα εικόνας. Όταν χρησιμοποιείται σε ένα σύστημα εικόνας σε ένα αυτόνομο όχημα, απαιτεί ένα φίλτρο υψηλής διέλευσης που παρακολουθεί τις διαγραμμίσεις των λωρίδων.

Ο Henry Hinton είναι ένας μεταπτυχιακός φοιτητής στο SEAS και συν-πρώτος συγγραφέας του εγγράφου.

“Προβλέποντας τον μελλοντικό μας στόχο, προβλέπουμε τη χρήση αυτού του πυριτίου-βασισμένου επεξεργαστή εντός αισθητήρα όχι μόνο σε εφαρμογές μηχανικής όρασης, αλλά και σε βιοεμπνευσμένες εφαρμογές, όπου η πρώιμη επεξεργασία πληροφοριών επιτρέπει τη συντοποθέτηση του αισθητήρα και των μονάδων υπολογισμού, όπως στον εγκέφαλο”, είπε ο Hinton.

Η ομάδα θα προσπαθήσει να αυξήσει την πυκνότητα των φωτοδιόδων και να τις ενσωματώσει με ολοκληρωμένα κυκλώματα πυριτίου.

“Αντικαθιστώντας τους τυποποιημένους μη-προγραμματιζόμενους pixel σε εμπορικούς αισθητήρες εικόνας πυριτίου με τους προγραμματιζόμενους που αναπτύχθηκαν εδώ, οι συσκευές εικόνας μπορούν να αφαιρέσουν έξυπνα άσχετα δεδομένα. Αυτό θα μπορούσε να γίνει πιο αποτελεσματικό σε ενέργεια και εύρος ζώνης για να αντιμετωπίσουν τις απαιτήσεις της επόμενης γενιάς εφαρμογών αισθητήρων”, είπε ο Jang.