Kamera-system som etterligner det menneskelige øyet for å forbedre robotvisjon

Universitetet i Maryland har utviklet et innovativt kamera-system som kan revolusjonere hvordan roboter oppfatter og interagerer med sin omgivelse. Denne teknologien, inspirert av det menneskelige øyets ufrivillige bevegelser, har som mål å forbedre klarheten og stabiliteten i robotvisjonen.

Forskningsgruppen, ledet av PhD-student Botao He, har presentert sine funn i en artikkel i tidsskriftet Science Robotics. Deres oppfinnelse, det kunstige mikrosakade-forbedrede hendelseskameraet (AMI-EV), løser en kritisk utfordring i robotvisjon og autonome systemer.

Problemet med nåværende hendelseskameraer

Hendelseskameraer, en relativt ny teknologi i robotikkfeltet, er bedre til å spore bevegelser enn tradisjonelle kameraer. Likevel har de betydelige begrensninger når det gjelder å fange klare, uskarpe bilder i høyhastighets-scenarier.

Dette problemet utgjør en betydelig utfordring for roboter, selvkjørende biler og andre teknologier som avhenger av nøyaktig og punktlig visuell informasjon for å navigere og reagere på sin omgivelse. Evnen til å holde fokus på bevegelser og fange nøyaktig visuell data er avgjørende for at disse systemene skal fungere trygt og effektivt.

Inspirasjon fra menneskebiologi

For å løse denne utfordringen, vendte forskningsgruppen seg til naturen for inspirasjon, spesielt det menneskelige øyet. De fokuserte på mikrosakader, som er små, ufrivillige øyebewegelser som skjer når en person prøver å fokusere sin visjon.

Disse minuscule, men kontinuerlige bevegelser, gjør det mulig for det menneskelige øyet å holde fokus på et objekt og nøyaktig oppfatte dets visuelle teksturer, som farge, dybde og skygging, over tid. Ved å etterligne denne biologiske prosessen, hadde gruppen som mål å skape et kamera-system som kunne oppnå lignende stabilitet og klarhet i robotvisjon.

UMIACS Computer Vision Laboratory

Det kunstige mikrosakade-forbedrede hendelseskameraet (AMI-EV)

AMI-EV’s kjerneinnovasjon ligger i dens evne til å replikere mikrosakader mekanisk. Gruppen innførte en roterende prisme inni kameraet for å omdirigere lysstråler fanget av linser. Denne kontinuerlige roterende bevegelsen simulerer de naturlige bevegelser i det menneskelige øyet, og gjør det mulig for kameraet å stabilisere teksturene på fangete objekter på en måte som ligner menneskevisjon.

For å komplementere denne hardware-innovasjonen, utviklet gruppen spesialisert programvare for å kompensere for prismens bevegelse inni AMI-EV. Denne programvaren konsoliderer de skiftende lysmønstrene til stabile bilder, og etterligner på denne måten hjernens evne til å prosessere og tolke visuell informasjon fra øyets konstante mikro-bevegelser.

Denne kombinasjonen av hardware- og programvare-fremsteg gjør det mulig for AMI-EV å fange klare, nøyaktige bilder selv i scenarier med betydelig bevegelse, og løser en kritisk begrensning i nåværende hendelseskamerateknologi.

Potensielle anvendelser

AMI-EV’s innovative tilnærming til bildeopptak åpner opp for en rekke potensielle anvendelser over flere felt:

• Robotikk og autonome kjøretøy: Kameraets evne til å fange klare, bevegelses-stabile bilder kunne betydelig forbedre persepsjonen og beslutningsevnen til roboter og selvkjørende biler. Dette kunne føre til tryggere og mer effektive autonome systemer, som er bedre i stand til å identifisere og reagere på sin omgivelse i sanntid.
• Virtual og augmented reality: I området for immersive teknologier, gjør AMI-EV’s lave forsinkelse og overlegen ytelse i ekstreme lysforhold den til en ideal kandidat for virtual og augmented reality-applikasjoner. Kameraet kunne muliggjøre mer sammenhengende og realistiske opplevelser ved å raskt beregne hode- og kroppbevegelser, redusere bevegelsessykdom og forbedre den totale brukeropplevelsen.
• Sikkerhet og overvåking: Kameraets avanserte egenskaper i bevegelsesdeteksjon og bildestabilisering kunne revolusjonere sikkerhets- og overvåkingssystemer. Høyere bildehastigheter og klarere bilder i ulike lysforhold kunne føre til mer nøyaktig trussel-deteksjon og forbedret overvåking.
• Astronomi og rom-bilde: AMI-EV’s evne til å fange rask bevegelse med uforlignelig klarhet kunne være uvurderlig i astronomiske observasjoner. Denne teknologien kunne hjelpe astronomer med å fange mer detaljerte bilder av himmellegemer og hendelser, og potensielt føre til nye oppdagelser i rom-utforskning.

Ytelse og fordeler

En av de mest imponerende egenskapene til AMI-EV er dens evne til å fange bevegelse i titusener av bilder per sekund. Dette overgår langt kapasiteten til de fleste kommersielt tilgjengelige kameraer, som vanligvis fanger mellom 30 og 1 000 bilder per sekund.

AMI-EV’s ytelse overgår ikke bare vanlige kommersielle kameraer i bildehastighet, men også i dens evne til å holde bildeklarhet under rask bevegelse. Dette kunne føre til mer sammenhengende og realistiske fremstillinger av bevegelse i ulike applikasjoner.

I motsetning til tradisjonelle kameraer, viser AMI-EV overlegen ytelse i utfordrende lys-scenarier. Denne fordelen gjør den spesielt nyttig i applikasjoner hvor lysforholdene er variable eller uforutsigbare, som i utendørs autonome kjøretøy eller rom-bilde.

Fremtidige implikasjoner

Utviklingen av AMI-EV har potensialet til å transformere flere industrier utenfor robotikk og autonome systemer. Dens anvendelser kunne utvides til felt som helse, hvor den kunne hjelpe med mer nøyaktige diagnostiske metoder, eller i produksjon, hvor den kunne forbedre kvalitetskontroll-prosesser.

Så lenge denne teknologien fortsetter å utvikles, kunne den åpne veien for enda mer avanserte og kapable systemer. Fremtidige iterasjoner kunne potensielt integrere maskinlæringsalgoritmer for å ytterligere forbedre bildebehandling og objektgjenkjenningsevner. I tillegg kunne miniaturisering av teknologien føre til at den blir inkorporert i mindre enheter, og utvider dermed dens potensielle anvendelser enda mer.