KameraSystem Mimikerer Menneskeøye for Forbedret RoboterSyn

Datavitenskapsfolk ved University of Maryland har utviklet et innovativt kamerystem som kan revolusjonere hvordan roboter oppfatter og samhandler med omgivelsene. Denne teknologien, inspirert av menneskeøyet’s ufrivillige bevegelser, har som mål å forbedre klareheten og stabiliteten i roboters syn.

Forskningsgruppen, ledet av PhD-student Botao He, har presentert sine funn i en artikkel publisert i tidsskriftet Science Robotics. Deres oppfinnelse, den kunstige mikrosakadeforbedrede hendelseskameraet (AMI-EV), løser en kritisk utfordring i roboters syn og autonome systemer.

Problemet med nåværende hendelseskameraer

Hendelseskameraer, en relativt ny teknologi i robotikkfeltet, er bedre til å spore bevegelser enn tradisjonelle kameraer. Likevel har de betydelige begrensninger når det gjelder å fange klare, uskarpe bilder i høyhastighets-scenarier.

Dette problemet utgjør en vesentlig utfordring for roboter, selvkjørende biler og andre teknologier som avhenger av nøyaktig og rettidig visuell informasjon for å navigere og reagere på omgivelsene. Evnen til å holde fokus på bevegelser og fange nøyaktig visuell data er avgjørende for at disse systemene skal fungere trygt og effektivt.

Inspirasjon fra menneskebiologi

For å løse denne utfordringen, vendte forskningsgruppen seg til naturen for inspirasjon, spesielt menneskeøyet. De konsentrerte seg om mikrosakader, som er små, ufrivillige øyebevegelser som skjer når en person prøver å fokusere synet.

Disse minuscule, men kontinuerlige bevegelsene, gjør at menneskeøyet kan holde fokus på et objekt og nøyaktig oppfatte visuelle teksturer, som farge, dybde og skygging, over tid. Ved å mime denne biologiske prosessen, hadde teamet som mål å skape et kamerystem som kunne oppnå lignende stabilitet og klarehet i roboters syn.

UMIACS Computer Vision Laboratory

Det kunstige mikrosakadeforbedrede hendelseskameraet (AMI-EV)

AMI-EV’s kjerneinnovasjon ligger i dens evne til å replikere mikrosakader mekanisk. Teamet har inkorporert en roterende prisme inni kameraet for å omdirigere lysstråler fanget av linser. Denne kontinuerlige rotasjonsbevegelsen simulerer de naturlige bevegelsene til menneskeøyet, og gjør det mulig for kameraet å stabilisere teksturene til fangete objekter på en måte som ligner menneskesynet.

For å komplementere denne maskinelle innovasjonen, har teamet utviklet spesialisert programvare for å kompensere for prismens bevegelse inni AMI-EV. Denne programvaren konsoliderer de skiftende lysmønstrene til stabile bilder, og effektivt mimiker hjernens evne til å prosessere og tolke visuell informasjon fra øyets konstante mikro-bevegelser.

Denne kombinasjonen av maskinell og programvaremessig innovasjon gjør at AMI-EV kan fange klare, nøyaktige bilder selv i scenarier med betydelig bevegelse, og løser en kritisk begrensning i nåværende hendelseskamerateknologi.

Potensielle anvendelser

AMI-EV’s innovative tilnærming til bildeopptak åpner opp for en rekke potensielle anvendelser over ulike fagfelt:

• Robotikk og autonome kjøretøy: Kameraets evne til å fange klare, bevegelsesstabile bilder kunne betydelig forbedre persepsjonen og beslutningsevnen til roboter og selvkjørende biler. Dette forbedrede synet kunne føre til tryggere og mer effektive autonome systemer, i stand til bedre å identifisere og reagere på omgivelsene i sanntid.
• Virtual og augmented reality: I området for immersiv teknologi, gjør AMI-EV’s lav latency og overlegen ytelse i ekstreme lysforhold den ideell for virtual og augmented reality-applikasjoner. Kameraet kunne muliggjøre mer sammenhengende og realistiske opplevelser ved å raskt beregne hode- og kroppbevegelser, redusere bevegelsessykdom og forbedre brukeropplevelsen.
• Sikkerhet og overvåking: Kameraets avanserte egenskaper i bevegelsesdeteksjon og bildestabilisering kunne revolusjonere sikkerhets- og overvåkingssystemer. Høyere rater og klarere bilder i ulike lysforhold kunne føre til mer nøyaktig trusseldeteksjon og forbedret overvåking.
• Astronomi og romavbildning: AMI-EV’s evne til å fange rask bevegelse med utenforliggende klarehet kunne være uvurderlig i astronomiske observasjoner. Denne teknologien kunne hjelpe astronomer med å fange mer detaljerte bilder av himmellegemer og hendelser, potensielt ledende til nye oppdagelser i romutforskning.

Ytelse og fordeler

En av de mest imponerende egenskapene til AMI-EV er dens evne til å fange bevegelse i titusener av bilder per sekund. Dette overgår kapasiteten til de fleste kommersielt tilgjengelige kameraer, som vanligvis fanger mellom 30 og 1 000 bilder per sekund.

AMI-EV’s ytelse overgår ikke bare vanlige kommersielle kameraer i forhold til billedrate, men også i dens evne til å holde bildeklarhet under rask bevegelse. Dette kunne føre til mer sammenhengende og realistiske fremstillinger av bevegelse i ulike applikasjoner.

I motsetning til tradisjonelle kameraer, viser AMI-EV overlegen ytelse i utfordrende lysforhold. Denne fordelen gjør den spesielt nyttig i applikasjoner hvor lysforholdene er variable eller uforutsigbare, som i utendørs autonome kjøretøy eller romavbildning.

Fremtidige implikasjoner

Utviklingen av AMI-EV har potensialet til å transformere flere industrier utenfor robotikk og autonome systemer. Dens anvendelser kunne utvides til fagfelt som helse, hvor den kunne assisterer i mer nøyaktige diagnostiske, eller i produksjon, hvor den kunne forbedre kvalitetskontrollprosesser.

Ettersom denne teknologien fortsetter å utvikle seg, kunne den åpne veien for enda mer avanserte og kapable systemer. Fremtidige iterasjoner kunne potensielt integrere maskinlæringsalgoritmer for å ytterligere forbedre bildebehandling og gjenkjenning av objekter. I tillegg kunne miniaturisering av teknologien føre til at den inkorporeres i mindre enheter, og utvide dens potensielle anvendelser enda mer.