Camera-systeem imiteert menselijk oog voor verbeterde robotvisie

Computerwetenschappers van de University of Maryland hebben een innovatief camerasysteem ontwikkeld dat de manier waarop robots hun omgeving waarnemen en ermee interacteren mogelijk kan revolutioneren. Deze technologie, geïnspireerd door de onvrijwillige bewegingen van het menselijk oog, heeft als doel de helderheid en stabiliteit van robotvisie te verbeteren.

Het onderzoeksteam, onder leiding van PhD-student Botao He, heeft hun bevindingen gepubliceerd in een paper in het tijdschrift Science Robotics. Hun uitvinding, de Artificial Microsaccade-Enhanced Event Camera (AMI-EV), lost een kritische uitdaging op in robotvisie en autonome systemen.

Het probleem met huidige evenementcamera’s

Evenementcamera’s, een relatief nieuwe technologie in het veld van robotica, zijn goed in het volgen van bewegende objecten in vergelijking met traditionele camera’s. Echter, ze hebben moeite met het maken van heldere, vage-vrije beelden in scenario’s met hoge beweging.

Dit gebrek is een aanzienlijk probleem voor robots, zelfrijdende auto’s en andere technologieën die afhankelijk zijn van nauwkeurige en tijdige visuele informatie om hun omgeving te navigeren en te reageren. De mogelijkheid om focus te houden op bewegende objecten en nauwkeurige visuele gegevens te verzamelen is cruciaal voor deze systemen om veilig en effectief te functioneren.

Inspiratie uit humane biologie

Om deze uitdaging aan te pakken, keek het onderzoeksteam naar de natuur voor inspiratie, met name naar het menselijk oog. Ze richtten zich op microsaccades, die kleine, onvrijwillige oogbewegingen zijn die optreden wanneer iemand probeert zijn visie te focussen.

Deze kleine maar voortdurende bewegingen stellen het menselijk oog in staat om focus te houden op een object en de visuele texturen ervan, zoals kleur, diepte en schaduwing, nauwkeurig waar te nemen over tijd. Door dit biologische proces na te bootsen, wilde het team een camerasysteem creëren dat soortgelijke stabiliteit en helderheid in robotvisie kon bereiken.

UMIACS Computer Vision Laboratory

De Artificial Microsaccade-Enhanced Event Camera (AMI-EV)

De AMI-EV’s kerninnovatie ligt in zijn vermogen om microsaccades mechanisch na te bootsen. Het team heeft een roterend prisma in de camera geïntegreerd om lichtstralen die door de lens worden opgevangen, om te leiden. Deze voortdurende rotatiebeweging simuleert de natuurlijke bewegingen van het menselijk oog, waardoor de camera de texturen van opgenomen objecten kan stabiliseren op een manier die vergelijkbaar is met menselijke visie.

Om de hardware-innovatie aan te vullen, ontwikkelde het team gespecialiseerde software om de beweging van het prisma binnen de AMI-EV te compenseren. Deze software consolideert de verschuivende lichtpatronen in stabiele beelden, waardoor het de mogelijkheid van de hersenen om visuele informatie van de ogen te verwerken en te interpreteren wordt nagebootst.

Deze combinatie van hardware- en software-innovaties stelt de AMI-EV in staat om heldere, nauwkeurige beelden te maken, zelfs in scenario’s met aanzienlijke beweging, waardoor een belangrijke beperking van de huidige evenementcamera-technologie wordt aangepakt.

Mogelijke toepassingen

De AMI-EV’s innovatieve aanpak voor beeldvorming opent een breed scala aan mogelijke toepassingen in verschillende gebieden:

• Robotica en autonome voertuigen: De camera’s vermogen om heldere, bewegingsstabiele beelden te maken, kan de perceptie- en beslissingsvermogens van robots en zelfrijdende auto’s aanzienlijk verbeteren. Deze verbeterde visie kan leiden tot veiligere en efficiëntere autonome systemen die beter in staat zijn om hun omgeving te identificeren en te reageren in real-time.
• Virtuele en verbeterde realiteit: In het domein van immersieve technologieën maken de AMI-EV’s lage latentie en superieure prestaties in extreme lichtomstandigheden het ideaal voor virtuele en verbeterde realiteit-toepassingen. De camera kan meer naadloze en realistische ervaringen mogelijk maken door snel hoofd- en lichaamsbewegingen te berekenen, waardoor bewegingsziekte wordt verminderd en de algehele gebruikerservaring wordt verbeterd.
• Beveiliging en toezicht: De camera’s geavanceerde mogelijkheden voor bewegingsdetectie en beeldstabilisatie kunnen de beveiligings- en toezichtsystemen revolutioneren. Hogere frame-rates en heldere beelden in verschillende lichtomstandigheden kunnen leiden tot meer accurate dreigingsdetectie en verbeterde algehele beveiligingsmonitoring.
• Astronomie en ruimtebeeldvorming: De AMI-EV’s vermogen om snelle beweging met ongekende helderheid te maken, kan waardevol zijn bij astronomische observaties. Deze technologie kan astronomen helpen om meer gedetailleerde beelden van hemellichamen en gebeurtenissen te maken, wat mogelijk tot nieuwe ontdekkingen in de ruimteverkenningssector kan leiden.

Prestaties en voordelen

Een van de meest indrukwekkende functies van de AMI-EV is zijn vermogen om beweging op te nemen met tienduizenden frames per seconde. Dit overtreft de mogelijkheden van de meeste commercieel beschikbare camera’s, die typisch tussen 30 en 1.000 frames per seconde opnemen.

De AMI-EV’s prestaties overtreffen die van traditionele camera’s niet alleen in termen van frame-rate, maar ook in hun vermogen om beeldhelderheid te behouden tijdens snelle beweging. Dit kan leiden tot soepelere en meer realistische weergaven van beweging in verschillende toepassingen.

In tegenstelling tot traditionele camera’s, toont de AMI-EV superieure prestaties in uitdagende lichtscenario’s. Dit voordeel maakt het bijzonder nuttig in toepassingen waarin lichtomstandigheden variabel of onvoorspelbaar zijn, zoals in outdoor autonome voertuigen of ruimtebeeldvorming.

Toekomstige implicaties

De ontwikkeling van de AMI-EV heeft het potentieel om meerdere industrieën te transformeren, verdergaand dan robotica en autonome systemen. De toepassingen kunnen zich uitstrekken tot gebieden zoals de gezondheidszorg, waar het kan helpen bij meer accurate diagnoses, of in de fabricage, waar het kwaliteitscontroleprocessen kan verbeteren.

Naarmate deze technologie verder ontwikkeld wordt, kan het de weg vrijmaken voor nog geavanceerdere en capabele systemen. Toekomstige iteraties kunnen mogelijk machine learning-algoritmes integreren om beeldverwerking en objectherkenningsmogelijkheden verder te verbeteren. Bovendien kan de miniaturisatie van de technologie leiden tot de integratie in kleinere apparaten, waardoor de potentiële toepassingen nog verder worden uitgebreid.