Kamera-system som imiterar mänskligt öga för förbättrad robot-vision

University of Maryland-datorvetare har utvecklat ett banbrytande kamera-system som kan revolutionera hur robotar uppfattar och interagerar med sin omgivning. Denna teknik, inspirerad av de omedvetna rörelserna i det mänskliga ögat, syftar till att förbättra tydligheten och stabiliteten i robot-vision.

Forsknings-teamet, lett av PhD-studenten Botao He, presenterade sina resultat i en artikel publicerad i tidskriften Science Robotics. Deras uppfinning, den artificiella mikro-sakkad-förbättrade händelse-kameran (AMI-EV), åtgärdar en kritisk utmaning inom robot-vision och autonoma system.

Problemet med nuvarande händelse-kameror

Händelse-kameror, en relativt ny teknik inom robotiken, excellerar i att spåra rörliga objekt jämfört med traditionella kameror. Men de står inför betydande begränsningar när det gäller att fånga tydliga, suddiga bilder i höghastighets-scenarier.

Denna brist utgör ett betydande problem för robotar, självkörande bilar och andra teknologier som förlitar sig på exakt och tidig visuell information för att navigera och svara på sin omgivning. Förmågan att upprätthålla fokus på rörliga objekt och fånga precisa visuella data är avgörande för att dessa system ska fungera säkert och effektivt.

Inspiration från mänsklig biologi

För att tackla denna utmaning vände sig forskarteamet till naturen för inspiration, specifikt det mänskliga ögat. De fokuserade på mikro-sakkader, som är små, omedvetna ögonrörelser som sker när en person försöker fokusera sin syn.

De här minuta men kontinuerliga rörelserna tillåter det mänskliga ögat att upprätthålla fokus på ett objekt och exakt uppfatta dess visuella texturer, såsom färg, djup och skuggning, över tid. Genom att imitera denna biologiska process syftade teamet till att skapa ett kamera-system som kunde uppnå liknande stabilitet och tydlighet i robot-vision.

UMIACS Computer Vision Laboratory

Den artificiella mikro-sakkad-förbättrade händelse-kameran (AMI-EV)

AMI-EV:s kärn-innovation ligger i dess förmåga att replikera mikro-sakkader mekaniskt. Teamet införde en roterande prism i kameran för att omdirigera ljusstrålar som fångats av linserna. Denna kontinuerliga rotationsrörelse simulerar de naturliga rörelserna i det mänskliga ögat, vilket möjliggör för kameran att stabilisera texturerna på inspelade objekt på ett sätt som liknar mänsklig syn.

För att komplettera den hårdvaru-innovationen utvecklade teamet specialiserad programvara för att kompensera för prismans rörelse inom AMI-EV. Denna programvara konsoliderar de skiftande ljusmönstren till stabila bilder, effektivt imiterande hjärnans förmåga att bearbeta och tolka visuell information från ögats konstanta mikro-rörelser.

Denna kombination av hårdvaru- och programvaru-innovationer tillåter AMI-EV att fånga tydliga, precisa bilder även i scenarier med betydande rörelse, vilket åtgärdar en nyckelbegränsning i nuvarande händelse-kamerateknik.

Potentiella tillämpningar

AMI-EV:s innovativa tillvägagångssätt för bild-fångst öppnar upp en bred spektrum av potentiella tillämpningar inom olika områden:

• Robotik och autonoma fordon: Kamerans förmåga att fånga tydliga, rörelse-stabila bilder kunde avsevärt förbättra perceptionen och beslutsfattandet hos robotar och självkörande bilar. Denna förbättrade syn kunde leda till säkrare och mer effektiva autonoma system, kapabla att bättre identifiera och svara på sin omgivning i realtid.
• Virtual och förstärkt verklighet: Inom området immersiva teknologier gör AMI-EV:s låga latens och överlägsna prestanda i extrema ljusförhållanden den idealisk för virtual och förstärkt verklighet-tillämpningar. Kameran kunde möjliggöra mer sömlösa och realistiska upplevelser genom att snabbt beräkna huvud- och kroppsrörelser, minska rörelse-sjuka och förbättra den övergripande användar-upplevelsen.
• Säkerhet och övervakning: Kamerans avancerade förmågor i rörelse-detektion och bild-stabilisering kunde revolutionera säkerhets- och övervakningssystem. Högre bildfrekvenser och tydligare bilder i olika ljusförhållanden kunde leda till mer exakt hot-detektion och förbättrad övervakning.
• Astronomi och rymd-avbildning: AMI-EV:s förmåga att fånga snabb rörelse med utanför jämförelse tydlighet kunde visa sig ovärderlig i astronomiska observationer. Denna teknik kunde hjälpa astronomer att fånga mer detaljerade bilder av himla-kroppar och händelser, potentiellt ledande till nya upptäckter inom rymd-exploration.

Prestanda och fördelar

En av de mest imponerande funktionerna hos AMI-EV är dess förmåga att fånga rörelse i tiotusentals bilder per sekund. Detta vida överträffar förmågan hos de flesta kommersiellt tillgängliga kameror, som vanligtvis fångar mellan 30 och 1 000 bilder per sekund.

AMI-EV:s prestanda överträffar inte bara vanliga kommersiella kameror i termer av bildfrekvens, utan också i dess förmåga att upprätthålla bild-tydlighet under snabb rörelse. Detta kunde leda till mjukare och mer realistiska avbildningar av rörelse i olika tillämpningar.

Till skillnad från traditionella kameror visar AMI-EV överlägsen prestanda i utmanande ljus-scenarier. Denna fördel gör den särskilt användbar i tillämpningar där ljusförhållanden är variabla eller oförutsägbara, såsom i utomhus-autonoma fordon eller rymd-avbildning.

Framtida implikationer

Utvecklingen av AMI-EV har potentialen att transformera flera industrier bortom robotik och autonoma system. Dess tillämpningar kunde sträcka sig till områden som hälsovård, där den kunde assistera i mer exakta diagnostiseringar, eller tillverkning, där den kunde förbättra kvalitetskontroll-processer.

Såsom denna teknik fortsätter att utvecklas, kan den bana väg för ännu mer avancerade och kapabla system. Framtida iterationer kunde potentiellt integrera maskin-inlärnings-algoritmer för att ytterligare förbättra bild-behandling och objekt-igenkänning-förmågor. Dessutom kunde miniaturiseringen av tekniken leda till dess inkorporering i mindre enheter, utvidgande dess potentiella tillämpningar ännu längre.