Kamerasystem efterliknar det mänskliga ögat för förbättrat robotsyn

Dataforskare vid University of Maryland har utvecklat ett innovativt kamerasystem som kan revolutionera hur robotar uppfattar och interagerar med sin omgivning. Denna teknik, inspirerad av det mänskliga ögats ofrivilliga rörelser, syftar till att förbättra klarheten och stabiliteten hos robotsyn.

Forskargruppen, ledd av doktoranden Botao He, redogjorde för sina resultat i en artikel publicerad i tidskriften Science Robotics. Deras uppfinning, den artificiella mikrosaccadeförbättrade händelsekameran (AMI-EV), tar itu med en kritisk utmaning inom robotsyn och autonoma system.

Problemet med aktuella händelsekameror

Händelsekameror, en relativt ny teknik inom robotteknik, utmärker sig på att spåra rörliga föremål jämfört med traditionella kameror. De möter dock betydande begränsningar när de tar tydliga, oskärpa bilder i scenarier med hög rörelse.

Denna brist utgör ett stort problem för robotar, självkörande bilar och andra tekniker som förlitar sig på korrekt och aktuell visuell information för att navigera och reagera på sin miljö. Förmågan att behålla fokus på rörliga objekt och fånga exakta visuella data är avgörande för att dessa system ska fungera säkert och effektivt.

Inspiration från Human Biology

För att tackla denna utmaning vände sig forskargruppen till naturen för inspiration, särskilt det mänskliga ögat. De fokuserade på mikrosackader, som är små, ofrivilliga ögonrörelser som uppstår när en person försöker fokusera sin syn.

Dessa små men kontinuerliga rörelser gör att det mänskliga ögat kan behålla fokus på ett objekt och exakt uppfatta dess visuella strukturer, såsom färg, djup och skuggning, över tiden. Genom att efterlikna denna biologiska process, försökte teamet skapa ett kamerasystem som kunde uppnå liknande stabilitet och klarhet i robotsyn.

UMIACS Computer Vision Laboratory

Den artificiella mikrosackadförbättrade händelsekameran (AMI-EV)

AMI-EV:s kärninnovation ligger i dess förmåga att replikera mikrosackader mekaniskt. Teamet inkorporerade ett roterande prisma inuti kameran för att omdirigera ljusstrålar som fångas av linsen. Denna kontinuerliga rotationsrörelse simulerar det mänskliga ögats naturliga rörelser, vilket gör det möjligt för kameran att stabilisera texturerna för inspelade objekt på ett sätt som liknar mänskligt syn.

För att komplettera hårdvaruinnovationen utvecklade teamet specialiserad mjukvara för att kompensera för prismats rörelse inom AMI-EV. Denna programvara konsoliderar de skiftande ljusmönstren till stabila bilder, och efterliknar effektivt hjärnans förmåga att bearbeta och tolka visuell information från ögats ständiga mikrorörelser.

Denna kombination av hård- och mjukvaruframsteg gör att AMI-EV kan fånga tydliga, exakta bilder även i scenarier som involverar betydande rörelser, vilket tar itu med en viktig begränsning av aktuell kamerateknik.

Potentiella tillämpningar

AMI-EV:s innovativa tillvägagångssätt för bildtagning öppnar upp ett brett utbud av potentiella tillämpningar inom olika områden:

• Robotik och autonoma fordon: Kamerans förmåga att fånga tydliga, rörelsestabila bilder kan avsevärt förbättra uppfattningen och beslutsfattandet hos robotar och självkörande bilar. Denna förbättrade vision kan leda till säkrare och effektivare autonoma system, som bättre kan identifiera och reagera på sin miljö i realtid.
• Virtual och Augmented Reality: I sfären av uppslukande teknologier gör AMI-EV:s låga latens och överlägsna prestanda under extrema ljusförhållanden den idealisk för virtuella och augmented reality-applikationer. Kameran kan möjliggöra mer sömlösa och realistiska upplevelser genom att snabbt beräkna huvud- och kroppsrörelser, minska åksjuka och förbättra den övergripande användarupplevelsen.
• Säkerhet och övervakning: Kamerans avancerade funktioner inom rörelsedetektering och bildstabilisering kan revolutionera säkerhets- och övervakningssystem. Högre bildfrekvens och tydligare bilder i olika ljusförhållanden kan leda till mer exakt hotupptäckt och förbättrad övergripande säkerhetsövervakning.
• Astronomi och rymdavbildning: AMI-EV:s förmåga att fånga snabba rörelser med oöverträffad tydlighet kan visa sig vara ovärderlig i astronomiska observationer. Den här tekniken kan hjälpa astronomer att ta mer detaljerade bilder av himlakroppar och händelser, vilket kan leda till nya upptäckter inom rymdutforskning.

Prestanda och fördelar

En av de mest imponerande egenskaperna hos AMI-EV är dess förmåga att fånga rörelse med tiotusentals bilder per sekund. Detta överträffar vida kapaciteten hos de flesta kommersiellt tillgängliga kameror, som vanligtvis fångar mellan 30 och 1,000 XNUMX bilder per sekund.

AMI-EV:s prestanda överstiger inte bara den för vanliga kommersiella kameror när det gäller bildhastighet utan också i dess förmåga att bibehålla bildens klarhet under snabba rörelser. Detta kan leda till jämnare och mer realistiska beskrivningar av rörelse i olika applikationer.

Till skillnad från traditionella kameror visar AMI-EV överlägsen prestanda i utmanande ljusscenarier. Denna fördel gör den särskilt användbar i applikationer där ljusförhållandena är varierande eller oförutsägbara, såsom i autonoma utomhusfordon eller rymdavbildning.

Framtida konsekvenser

Utvecklingen av AMI-EV har potential att förändra flera industrier bortom robotteknik och autonoma system. Dess applikationer kan sträcka sig till områden som sjukvård, där det kan hjälpa till med mer exakt diagnostik, eller inom tillverkning, där det kan förbättra kvalitetskontrollprocesser.

När denna teknik fortsätter att utvecklas kan den bana väg för ännu mer avancerade och kapabla system. Framtida iterationer skulle potentiellt kunna integrera maskininlärningsalgoritmer för att ytterligare förbättra bildbehandling och objektigenkänning. Dessutom kan miniatyrisering av tekniken leda till att den integreras i mindre enheter, vilket utökar dess potentiella tillämpningar ytterligare.