Kamerajärjestelmä jäljittelee ihmisen silmää parantamaan robottiennustetta

Marylandin yliopiston tietokoneiden tutkijat ovat kehittäneet innovatiivisen kamerajärjestelmän, joka voi vallankumouksellisesti muuttaa sitä, miten robotit havaitsevat ja vuorovaikuttavat ympäristönsä kanssa. Tämä teknologia, joka on saanut vaikutteita ihmisen silmän tahattomista liikkeistä, pyrkii parantamaan robottiennusteen selkeyttä ja vakautta.

Tutkimusryhmä, jota johti PhD-opiskelija Botao He, esitteli tutkimustuloksensa tiedelehdessä Science Robotics. Heidän keksintönsä, Artificial Microsaccade-Enhanced Event Camera (AMI-EV), ratkaisee kriittisen haasteen robottiennusteen ja autonomisten järjestelmien alalla.

Tapa, jolla nykyiset tapahtumakamerat toimivat

Tapahtumakamerat, jotka ovat suhteellisen uusi teknologia robotiikan alalla, ovat erittäin hyviä seuraamaan liikkuvia objekteja perinteisten kameroiden sijaan. Niillä on kuitenkin merkittäviä rajoituksia, kun on kyse siitä, miten ne voivat ottaa selkeitä, epätarkkoja kuvia tilanteissa, joissa on paljon liikettä.

Tämä puute on suuri ongelma robotteja, itseohjautuvia autoja ja muita teknologioita, jotka riippuvat tarkin ja ajantasaisin visuaalisista tiedoista, jotta ne voivat navigoida ja reagoida ympäristöönsä. Kyky pitää fokus liikkuvaan objektiin ja ottaa tarkkaa visuaalista tietoa on olennainen näille järjestelmille, jotta ne voivat toimia turvallisesti ja tehokkaasti.

Inspiratio ihmisen biologiasta

Ratkaistakseen tämän haasteen tutkimusryhmä käänsi katseensa luontoon, erityisesti ihmisen silmään. He keskittyivät mikrosakkadeihin, jotka ovat pieniä, tahattomia silmänliikkeitä, jotka tapahtuvat, kun henkilö yrittää kohdistaa katseensa.

Nämä pienet, jatkuvat liikkeet mahdollistavat ihmisen silmälle pitää fokus objektiin ja havaita sen visuaalisten tekstuurien, kuten värin, syvyyden ja varjostuksen, tarkasti ajan kuluessa. Jäljittelemällä tätä biologista prosessia tiimi pyrki luomaan kamerajärjestelmän, joka voisi saavuttaa samanlaisen vakauden ja selkeyden robottiennusteen alalla.

UMIACS Computer Vision Laboratory

Artificial Microsaccade-Enhanced Event Camera (AMI-EV)

AMI-EV:n ydininnovointi on sen kyky jäljitellä mikrosakkadeja mekaanisesti. Tiimi lisäsi kameran sisään pyörivän prisman, joka ohjaa valon säteitä, jotka kameran linssi ottaa vastaan. Tämä jatkuva pyörimisliike simuloi ihmisen silmän luonnollisia liikkeitä, mahdollistaen kameran stabiloida tallennettujen objektiiden tekstuurit tavalla, joka on samanlainen kuin ihmisen näkö.

Lisäksi tiimi kehitti erityisen ohjelmiston, joka korjaa prismassa tapahtuvan liikkeen. Tämä ohjelmisto konsolidoi muuttuvat valon kuviot vakaiksi kuviksi, jäljitellen aivasten kykyä prosessoida ja tulkita visuaalista tietoa silmän jatkuvista mikroliikkeistä.

Tämä yhdistelmä laitteistojen ja ohjelmistojen edistymistä mahdollistaa AMI-EV:lle ottamaan selkeitä, tarkkoja kuvia tilanteissa, joissa on merkittävää liikettä, ratkaisemalla yhden tärkeän rajoituksen nykyisessä tapahtumakamerateknologiassa.

Potential Applications

AMI-EV:n innovatiivinen lähestymistapa kuvan ottamiseen avaa monia mahdollisia sovelluksia eri aloilla:

• Robotics and Autonomous Vehicles: Kameran kyky ottaa selkeitä, liikkeen stabiileja kuvia voisi parantaa merkittävästi robotien ja itseohjautuvien autojen havainto- ja päätöksentekokykyä. Tämä parannettu näkemys voisi johtaa turvallisempiin ja tehokkaampiin autonomisiin järjestelmiin, jotka pystyvät paremmin tunnistamaan ja reagoimaan ympäristöönsä reaaliajassa.
• Virtual and Augmented Reality: Immersiivisissä teknologioissa AMI-EV:n matala viive ja erinomainen suorituskyky äärimmäisissä valaistusolosuhteissa tekevät siitä ihanteellisen virtuaali- ja lisätty-todellisuuden sovelluksille. Kamera voisi mahdollistaa vielä sulavammat ja realistisemmat kokemukset nopeasti laskemalla pään ja kehon liikkeitä, vähentämällä liikuntasairautta ja parantamalla käyttäjäkokemusta.
• Security and Surveillance: Kameran edistyneet ominaisuudet liikkeen havainnissa ja kuvan stabiloinnissa voivat vallankumouksellisesti muuttaa turvallisuus- ja valvontajärjestelmiä. Korkeammat ruudun taajuudet ja selkeämmät kuvat eri valaistusolosuhteissa voivat johtaa tarkempiin uhkaiden tunnistamisiin ja parantaa yleistä turvallisuuden valvontaa.
• Astronomy and Space Imaging: AMI-EV:n kyky ottaa nopean liikkeen erinomaisella selkeydellä voisi olla erittäin arvokasta astronomisissa havainnoissa. Tämä teknologia voisi auttaa tutkijoita ottamaan tarkempia kuvia taivaankappaleista ja tapahtumista, mikä voisi johtaa uusiin löytöihin avaruuden tutkimisessa.

Suorituskyky ja etuja

Yksi AMI-EV:n vaikuttavimmista ominaisuuksista on sen kyky ottaa liikettä kymmenissä tuhansissa ruuduissa sekunnissa. Tämä ylittää selvästi useimpien kaupallisesti saatavilla olevien kameroiden suorituskyvyn, jotka ottavat yleensä 30-1000 ruutua sekunnissa.

AMI-EV:n suorituskyky ylittää perinteisten kameroiden suorituskyvyn sekä ruudun taajuuden että kuvan selkeyden osalta nopeassa liikkeessä. Tämä voisi johtaa sileämpiin ja realistisempiin liikkeen esityksiin eri sovelluksissa.

Toisin kuin perinteiset kamerat, AMI-EV osoittaa erinomaista suorituskykyä haastavissa valaistusolosuhteissa. Tämä etu tekee siitä erityisen hyödyllisen sovelluksissa, joissa valaistusolosuhteet ovat muuttuvia tai epävarmoja, kuten ulkoisissa itseohjautuvissa ajoneuvoissa tai avaruuskuvauksessa.

Tulevaisuuden vaikutukset

AMI-EV:n kehitys voi muuttaa useita aloja robottiennusteen ja autonomisten järjestelmien ulkopuolella. Sen sovellukset voivat ulottua aloille kuten terveydenhuolto, jossa se voisi auttaa tarkemmissa diagnooseissa, tai valmistuksessa, jossa se voisi parantaa laadunvalvontaprosesseja.

Kun tämä teknologia jatkaa kehittymistään, se voi mahdollisesti avata tien vielä edistyneimmille ja kykyisemmille järjestelmille. Tulevat iteroinnit voivat potentiaalisesti integroida koneoppimisalgoritmeja edelleen parantaakseen kuvankäsittely- ja objektitunnistusominaisuuksia. Lisäksi teknologian miniaturisointi voisi johtaa siihen, että se voidaan sisällyttää pienempiin laitteisiin, laajentaen sen potentiaalisia sovelluksia entisestään.