Kamerajärjestelmä jäljittelee ihmisen silmää parantamaan robottien näkemistä

Marylandin yliopiston tietojenkäsittelytieteilijät ovat kehittäneet innovatiivisen kamerajärjestelmän, joka voi vallankumouksellisesti muuttaa sitä, miten robotit havaitsevat ja vuorovaikuttavat ympäristönsä kanssa. Tämä teknologia, joka on saanut vaikutteita ihmisen silmän tahattomista liikkeistä, pyrkii parantamaan robottien näkemisen selkeyttä ja vakautta.

Tutkimusryhmä, jota johti PhD-opiskelija Botao He, esitteli löydöksensä tutkimuspaperissa, joka julkaistiin Science Robotics -lehdessä. Heidän keksintönsä, Artificial Microsaccade-Enhanced Event Camera (AMI-EV), ratkaisee kriittisen haasteen robottien näkemisessä ja autonomisissa järjestelmissä.

Ongelma nykyisissä tapahtumakameroissa

Tapahtumakamerat, jotka ovat suhteellisen uusi teknologia robottiikan alalla, ovat erittäin hyviä seuraamaan liikkuvia objekteja verrattuna perinteisiin kameroihin. Niillä on kuitenkin merkittäviä rajoituksia saadakseen selkeät, epätarkat kuvat korkean liikkeen tilanteissa.

Tämä puute aiheuttaa merkittävän ongelman robooteille, itseajaville autoille ja muille teknologioille, jotka riippuvat tarkin ja ajantasaisin visuaalisista tiedoista navigoidakseen ja reagoimalla ympäristöönsä. Kyky ylläpitää fokusta liikkuvissa objekteissa ja kerätä tarkkaa visuaalista dataa on olennaisen tärkeää näiden järjestelmien turvallisen ja tehokkaan toiminnan kannalta.

Inspiratio luonnosta

Ratkaistakseen tämän haasteen tutkimusryhmä kääntyi luonnon puoleen etsimään inspiraatiota, erityisesti ihmisen silmästä. He keskittyivät mikrosakkadeihin, jotka ovat pieniä, tahattomia silmänliikkeitä, jotka tapahtuvat, kun henkilö yrittää kohdistaa näkemistään.

Nämä pienet mutta jatkuvat liikkeet mahdollistavat ihmisen silmälle ylläpitää fokusta objekteissa ja havaita niiden visuaaliset tekstuuri tarkasti, kuten väri, syvyys ja varjostus, ajan myötä. Jäljittelemällä tätä biologista prosessia tiimi pyrki luomaan kamerajärjestelmän, joka voisi saavuttaa samanlaisen vakauden ja selkeyden robottien näkemisessä.

UMIACS Computer Vision Laboratory

Artificial Microsaccade-Enhanced Event Camera (AMI-EV)

AMI-EV:n ydininnovointi on sen kyky replikoida mikrosakkadet mekaanisesti. Tiimi sisällytti kameran sisään pyörivän prisman, joka ohjaa valonsäteitä, jotka kameran linssi havaitsee. Tämä jatkuva pyörimisliike simuloi ihmisen silmän luonnollisia liikkeitä, mahdollistaen kameran stabiloida objektiensa tekstuureja tavalla, joka muistuttaa ihmisen näkemistä.

Lisäksi tiimi kehitti erityistä ohjelmistoa, joka korjaa prismaliikkeen sisällä AMI-EV:ssä. Tämä ohjelmisto konsolidoi muuttuvat valokuviot stabiileiksi kuviksi, toimien samalla tavalla kuin aivojen kyky prosessoida ja tulkita visuaalista tietoa silmän jatkuvista mikroliikkeistä.

Tämä yhdistelmä laitteiston ja ohjelmiston edistysaskelia mahdollistaa AMI-EV:lle ottamaan selkeät ja tarkat kuvat jopa tilanteissa, joissa on merkittävää liikettä, ratkaisemalla yhden tärkeimmistä rajoituksista nykyisissä tapahtumakameroissa.

Potentiaaliset sovellukset

AMI-EV:n innovatiivinen lähestymistapa kuvan ottamiseen avaa laajan valikoiman potentiaalisia sovelluksia eri aloilla:

• Robotiikka ja autonomiset ajoneuvot: Kameran kyky ottaa selkeät, liikkeen stabiilit kuvat voisi parantaa merkittävästi robottien ja itseajavien autojen havainto- ja päätöksentekokykyjä. Tämä parannettu näkeminen voisi johtaa turvallisempiin ja tehokkaampiin autonomisiin järjestelmiin, jotka pystyvät paremmin tunnistamaan ja reagoimaan ympäristöönsä reaaliajassa.
• Virtual- ja lisätty todellisuus: Immersiivisissä teknologioissa AMI-EV:n matala viive ja erinomainen suorituskyky äärimmäisissä valaistusolosuhteissa tekee siitä ihanteellisen virtuaali- ja lisättyyn todellisuuteen soveltuvan kameran. Kamera voisi mahdollistaa sulavammat ja realistisemmat kokemukset nopeasti laskemalla pään ja kehon liikkeitä, vähentämällä liikuntaikäyntiä ja parantamalla käyttäjäkokemusta.
• Turva ja valvonta: Kameran edistyneet ominaisuudet liikkeen havainnissa ja kuvan stabiloinnissa voivat vallankumouksellisesti muuttaa turva- ja valvontajärjestelmiä. Korkeammat kehysnopeudet ja selkeämmät kuvat eri valaistusolosuhteissa voivat johtaa tarkempaan uhkaiden havaitsemiseen ja parantaa turvallisuuden valvontaa.
• Astronomia ja avaruuskuvat: AMI-EV:n kyky ottaa nopean liikkeen kuvat poikkeuksellisen selkeästi voi olla erittäin arvokasta astronomisissa havainnoissa. Tämä teknologia voisi auttaa astronomeja ottamaan tarkempia kuvia taivaankappaleista ja tapahtumista, mikä voi johtaa uusiin löytöihin avaruuden tutkimisessa.

Suorituskyky ja etuja

Yksi AMI-EV:n vaikuttavimmista ominaisuuksista on sen kyky ottaa liikettä kymmenissä tuhansissa kehysnopeuksissa. Tämä ylittää selvästi useimpien kaupallisesti saatavilla olevien kameroiden suorituskyvyn, jotka yleensä ottavat kuvia 30-1000 kehysnopeudella.

AMI-EV:n suorituskyky ylittää tavallisten kameroiden suorituskyvyn sekä kehysnopeuden että kuvan selkeyden aikana nopeaa liikettä. Tämä voi johtaa sileämpiin ja realistisempiin liikkeen esityksiin eri sovelluksissa.

Toisin kuin perinteiset kamerat, AMI-EV osoittaa erinomaista suorituskykyä haastavissa valaistusolosuhteissa. Tämä etu tekee siitä erityisen hyödyllisen sovelluksissa, joissa valaistusolosuhteet ovat muuttuvia tai epävarmoja, kuten ulkoisissa autonomisissa ajoneuvoissa tai avaruuskuvauksessa.

Tulevaisuuden implikaatiot

AMI-EV:n kehitys voi muuttaa useita teollisuusaloja robottiikan ja autonomisten järjestelmien ulkopuolella. Sen sovellukset voivat ulottua aloille kuten terveydenhuolto, jossa se voisi auttaa tarkemmissa diagnooseissa, tai valmistuksessa, jossa se voisi parantaa laadunvalvontaprosesseja.

Kun tämä teknologia jatkaa kehittymistään, se voi mahdollisesti avata tien vielä edistyneemmille ja kykyisemmille järjestelmille. Tulevaisuuden versiot voivat potentiaalisesti integroida koneoppimisalgoritmeja edelleen parantaakseen kuvan prosessointia ja objektienvälistä tunnistamista. Lisäksi teknologian pieneneminen voisi johtaa siihen, että sitä voidaan sisällyttää pienempiin laitteisiin, laajentaen sen sovellusmahdollisuuksia entisestään.