Piilokuvan Vastaanottimen Nopeutus ja Yksinkertaisuus Kuvan Käsittelyssä Itseohjautuvissa Ajoneuvoissa

Harvardin John A. Paulsonin insinööritieteiden ja soveltavien tieteiden korkeakoulun tutkijaryhmä on kehittänyt ensimmäisen sisäänrakennetun prosessorin, joka voidaan integroida kaupallisiin piilokuvanvastaanottimisiiloihin. Nämä anturit tunnetaan komplementaarisen metalli-oksidiaction (CMOS) kuvanvastaanottimina, ja niitä käytetään laajasti kaupallisissa laitteissa, jotka keräävät visuaalista tietoa. 

Uusi laite nopeuttaa ja yksinkertaistaa prosessointia itseohjautuvissa ajoneuvoissa ja muissa sovelluksissa. 

Itseohjautuvat Ajoneuvot ja Visuaalinen Käsittely

Itseohjautuvissa ajoneuvoissa on tärkeää, kuinka nopeasti järjestelmä ottaa kuvan ja toimittaa tiedon mikroprosessorille kuvan käsittelyyn. Tämä voi olla ratkaiseva tekijä, joka voi merkitä eroa esteen välttämisessä tai onnettomuuden sattuessa. 

Visuaalista käsittelyä voidaan nopeuttaa sisäänrakennetulla kuvan käsittelyllä, jossa tärkeät ominaisuudet poimitaan raakadatalta itse kuvanvastaanottimelta, sen sijaan, että ne poimitaan erillisestä mikroprosessorista. Kuitenkin sisäänrakennettu käsittely on osoittautunut rajoitetuksi uusille tutkimusmateriaaleille, jotka ovat vaikeasti integroitavissa kaupallisiin järjestelmiin. 

Tämä tekee uudesta kehityksestä suuren asian. 

Tutkijaryhmä julkaisi tutkimuksensa Nature Electronics-julkaisussa. 

Sisäänrakennettu Laskenta

Donhee Ham on Gordon McKayn sähkötekniikan ja soveltavan fysiikan professori SEAS:ssa ja tutkimuksen vanhempi tekijä. 

“Työmme voi hyödyntää valtavirtaista puolijohteiden sähkötekniikkaa nopeasti tuomaan sisäänrakennetun laskennan laajasti erilaisiin käytännön sovelluksiin,” Ham sanoi. 

Tutkijaryhmä kehitti piilokuvanvastaanottimen, jota käytetään kaupallisesti saatavilla olevissa kuvanvastaanottimissa kuvien tallentamiseen. Mutta tutkijaryhmän valokuvakennoissa on käytetty elektrostaattista dopingia, jolloin yksittäisten valokuvakennojen herkkyyttä saadaan säätää jännitteellä. 

Kun useita jännitteellä säädettäviä valokuvakennoja yhdistetään toisiinsa, ne voivat suorittaa analogisen version kertolasku- ja yhteenlaskuoperaatioita, jotka ovat tärkeitä kuvan käsittelyprosesseissa. Tämä auttaa poistamaan relevantin visuaalisen tiedon heti kuvan otettaessa. 

Houk Jang on post doc -tutkija SEAS:ssa ja tutkimuksen ensisijainen tekijä. 

“Nämä dynaamiset valokuvakennot voivat suodattaa kuvia samalla, kun ne otetaan, mikä mahdollistaa ensimmäisen vaiheen visuaalisen käsittelyn siirtämisen mikroprosessorilta itse anturille,” Jang sanoi. 

Eri sovellusten tarpeisiin, jotta poistettaisiin tarpeettomat yksityiskohdat tai melu, piilokuvanvastaanottimen valokuvakenno-ryhmä ohjelmoidaan erilaisiin kuvan suodattimiin. Kun sitä käytetään itseohjautuvan ajoneuvon kuvanottolaitteessa, se vaatii suodattimen, joka seuraa kaistamerkintöjä. 

Henry Hinton on SEAS:n jatko-opiskelija ja tutkimuksen toissijainen tekijä. 

“Tulevaisuudessa me näemme tämän piilokuvanvastaanottimen käytön ei ainoastaan koneen näkösovelluksissa, vaan myös bio-inspiroiduissa sovelluksissa, joissa varhainen tietojen käsittely sallii anturin ja laskennan yksiköiden sijoittamisen yhteen, kuten aivoissa,” Hinton sanoi. 

Tutkijaryhmä aikoo nyt lisätä valokuvakennojen tiheyttä ja integroida ne piilokuvanvastaanottimiin. 

“Korvaamalla kaupallisten piilokuvanvastaanottimien standardit ehdottomat pikselit ohjelmoitavilla pikseleillä, joita kehitettiin tässä, kuvanottolaitteet voivat älykkäästi poistaa tarpeettoman datan. Tämä voi tehdä prosessoinnin sekä energian että kaistan osalta tehokkaammaksi, jotta se voisi vastata seuraavan sukupolven aistisovellusten vaatimuksia,” Jang sanoi.