Piipohjainen kuva-anturi nopeuttaa ja yksinkertaistaa itseohjautuvien ajoneuvojen kuvankäsittelyä

Harvardin yliopiston John A. Paulsonin insinööritieteellisessä ja soveltavassa tieteellisessä tiedekunnassa työskentelevä tutkijaryhmä on kehittänyt ensimmäisen sisäänrakennetun prosessorin, joka voidaan integroida kaupallisiin piipohjaisiin kuva-anturipiireihin. Nämä anturit tunnetaan komplementaarisina metallioksidipuolijohdekuva-antureina (CMOS), ja niitä käytetään laajasti kaupallisissa laitteissa, jotka keräävät visuaalista tietoa.

Uusi laite nopeuttaa ja yksinkertaa kuvan käsittelyä itseohjautuvissa ajoneuvoissa ja muissa sovelluksissa.

Itseohjautuvat Ajoneuvot ja Visuaalinen Käsittely

Itseohjautuvissa ajoneuvoissa on tärkeää, kuinka kauan kuvan ottamisen ja sen tietojen mikroprosessorille kuvankäsittelyä varten toimittamisen välillä kuluu. Tämä voi olla ratkaiseva tekijä, joka voi merkitä eroa esteen välttämisessä tai onnettomuuden sattuessa.

Visuaalista käsittelyä voidaan nopeuttaa kuva-anturin sisäisellä kuvan käsittelyllä, jossa kuva-anturi itsessään poimii tärkeät piirteet raakadatasta, sen sijaan, että erillinen mikroprosessori tekisi tämän. Anturin sisäinen käsittely on kuitenkin aiemmin rajoittunut uusiin tutkimusmateriaaleihin, joita on vaikea yhdistää kaupallisiin järjestelmiin.

Tämä on juuri se, mikä tekee tästä uudesta kehityksestä suuren asian.

Tutkijaryhmä julkaisi tutkimuksensa Nature Electronics-lehdessä.

Anturin sisäinen laskenta

Donhee Ham on Gordon McKay -professuuriin nimitetty sähkötekniikan ja soveltavan fysiikan professori SEAS:ssa ja tutkimuksen seniorkirjoittaja.

“Työmme voi hyödyntää valtavirtaista puolijohdeteollisuutta nopeuttaakseen anturin sisäisen laskennan moniin eri käytännön sovelluksiin”, Ham sanoi.

Tutkijaryhmä kehitti piifotodiodi-matriisin, jota käytetään myös kaupallisesti saatavissa olevissa kuva-antureissa kuvien tallentamiseen. Tutkijaryhmän fotodiodit ovat kuitenkin elektrostaattisesti seostettuja, mikä tarkoittaa, että yksittäisten fotodiodien herkkyyttä tulevalle valolle voidaan säätää jännitteillä.

Kun useita jännitteellä säädettäviä fotodioodeja yhdistetään toisiinsa, ne voivat suorittaa analogisen version kertolasku- ja yhteenlaskuoperaatioita, jotka ovat tärkeitä kuvankäsittelyketjuille. Tämä auttaa poimimaan oleellisen visuaalisen tiedon heti kuvaa otettaessa.

Houk Jang on postdoc-tutkija SEAS:ssa ja tutkimuksen ensisijainen kirjoittaja.

“Nämä dynaamiset fotodiodit voivat suodattaa kuvia samalla, kun ne otetaan, mikä mahdollistaa ensimmäisen vaiheen visuaalisen käsittelyn siirtämisen mikroprosessorilta itse kuva-anturille”, Jang sanoi.

Eri sovellusten tarpeisiin, kuten tarpeettoman yksityiskohtien tai melun poistamiseen, piifotodiodi-matriisia voidaan ohjelmoida eri kuvansuodattimiksi. Kun sitä käytetään itseohjautuvan ajoneuvon kuva-anturissa, se vaatii kaistamerkintöjä seuraavan ylipäästösuodattimen.

Henry Hinton on SEAS:n jatko-opiskelija ja yksi tutkimuksen jaetuista ensimmäisistä kirjoittajista.

“Tulevaisuudessa me näemme tämän piipohjaisen anturin sisäisen prosessorin käytön konevisiosovelluksissa, mutta myös bio-inspiroiduissa sovelluksissa, joissa varhainen tietojen käsittely mahdollistaa anturin ja laskennan yksiköiden sijoittamisen yhteen, kuten aivoissa”, Hinton sanoi.

Tutkijaryhmä aikoo nyt lisätä fotodiodien tiheyttä ja yhdistää ne piipohjaisiin integroituihin piireihin.

“Korvaamalla kaupallisten piikuva-anturien perinteiset ohjelmoimattomat pikselit kehittämällämme ohjelmoitavilla pikseleillä, kuva-anturit voivat älykkäästi poistaa tarpeettoman datan. Tämä voisi tehdä energian ja kaistanleveyden käytön tehokkaammaksi seuraavien sukupolven aisti-sovellusten vaatimusten täyttämiseksi”, Jang sanoi.