A kamerarendszer az emberi szemet utánozza a jobb robotlátás érdekében

A Marylandi Egyetem informatikusai olyan innovatív kamerarendszert fejlesztettek ki, amely forradalmasíthatja a robotok környezetük érzékelését és interakcióját. Ez a technológia, amelyet az emberi szem önkéntelen mozgása ihletett, célja a robotlátás tisztaságának és stabilitásának javítása.

A Botao He doktorandusz által vezetett kutatócsoport a folyóiratban megjelent cikkben részletezte eredményeiket Tudományos robotika. Találmányuk, az Artificial Microsaccade-Enhanced Event Camera (AMI-EV) a robotlátás és az autonóm rendszerek kritikus kihívására ad választ.

Probléma az aktuális esemény kameráival

Az eseménykamerák, egy viszonylag új technológia a robotika területén, a hagyományos kamerákhoz képest kiválóak a mozgó objektumok követésében. Azonban jelentős korlátokkal szembesülnek, amikor tiszta, elmosódásmentes képeket készítenek nagy mozgású forgatókönyvekben.

Ez a hiányosság jelentős problémát jelent a robotok, önvezető autók és más technológiák számára, amelyek pontos és időszerű vizuális információkra támaszkodnak a környezetükben való navigáláshoz és reagáláshoz. A mozgó objektumokra való összpontosítás és a pontos vizuális adatok rögzítésének képessége alapvető fontosságú ezeknek a rendszereknek a biztonságos és hatékony működéséhez.

Inspiráció a humánbiológiából

Ennek a kihívásnak a leküzdése érdekében a kutatócsoport a természethez fordult inspirációért, különösen az emberi szemhez. A mikroszakkádokra összpontosítottak, amelyek apró, önkéntelen szemmozgások, amelyek akkor fordulnak elő, amikor egy személy megpróbálja fókuszálni a látását.

Ezek a parányi, de folyamatos mozgások lehetővé teszik az emberi szem számára, hogy fenntartsa a fókuszt egy tárgyra, és az idő múlásával pontosan érzékelje annak vizuális textúráit, például a színt, a mélységet és az árnyékolást. Ezt a biológiai folyamatot utánozva a csapat egy olyan kamerarendszer létrehozását tűzte ki célul, amely hasonló stabilitást és tisztaságot tud elérni a robotok látásában.

UMIACS Computer Vision Laboratory

Az Artificial Microsaccade-Enhanced Event Camera (AMI-EV)

Az AMI-EV alapvető innovációja abban rejlik, hogy képes mechanikusan megismételni a mikroszakadásokat. A csapat egy forgó prizmát épített be a kamerába, hogy átirányítsa az objektív által rögzített fénysugarakat. Ez a folyamatos forgó mozgás az emberi szem természetes mozgásait szimulálja, lehetővé téve a kamera számára, hogy az emberi látáshoz hasonló módon stabilizálja a rögzített tárgyak textúráit.

A hardveres innováció kiegészítéseként a csapat speciális szoftvert fejlesztett ki, amely kompenzálja a prizma mozgását az AMI-EV-n belül. Ez a szoftver a változó fénymintázatokat stabil képekké konszolidálja, hatékonyan utánozva az agy azon képességét, hogy feldolgozza és értelmezze a szem állandó mikromozgásaiból származó vizuális információt.

A hardveres és szoftveres fejlesztéseknek ez a kombinációja lehetővé teszi az AMI-EV számára, hogy tiszta, pontos képeket készítsen még jelentős mozgással járó forgatókönyvek esetén is, ezzel orvosolva a jelenlegi események kameratechnológiájának egyik kulcsfontosságú korlátját.

Potenciális alkalmazások

Az AMI-EV innovatív megközelítése a képrögzítés terén a lehetséges alkalmazások széles skáláját nyitja meg a különböző területeken:

• Robotika és autonóm járművek: A kamera tiszta, mozgásstabil képeket rögzítő képessége jelentősen javíthatja a robotok és az önvezető autók érzékelését és döntéshozatali képességeit. Ez a jobb látásmód biztonságosabb és hatékonyabb autonóm rendszerekhez vezethet, amelyek képesek jobban azonosítani környezetüket, és valós időben reagálni rá.
• Virtuális és kiterjesztett valóság: A magával ragadó technológiák terén az AMI-EV alacsony késleltetése és extrém fényviszonyok melletti kiváló teljesítménye ideálissá teszi a virtuális és kiterjesztett valóság alkalmazásokhoz. A kamera zökkenőmentes és valósághűbb élményt tesz lehetővé a fej- és testmozgások gyors kiszámításával, csökkenti a mozgási betegséget és javítja az általános felhasználói élményt.
• Biztonság és megfigyelés: A kamera fejlett mozgásérzékelési és képstabilizáló képességei forradalmasíthatják a biztonsági és felügyeleti rendszereket. A magasabb képkockasebesség és a tisztább képek különféle fényviszonyok mellett pontosabb fenyegetésészlelést és jobb általános biztonsági megfigyelést eredményezhetnek.
• Csillagászat és űrkutatás: Az AMI-EV azon képessége, hogy soha nem látott tisztasággal rögzítse a gyors mozgást, felbecsülhetetlen értékűnek bizonyulhat a csillagászati ​​megfigyelések során. Ez a technológia segítheti a csillagászokat abban, hogy részletesebb képeket készítsenek égitestekről és eseményekről, ami potenciálisan új felfedezésekhez vezethet az űrkutatásban.

Teljesítmény és előnyök

Az AMI-EV egyik leglenyűgözőbb tulajdonsága, hogy másodpercenként több tízezer képkockával rögzíti a mozgást. Ez messze felülmúlja a legtöbb kereskedelmi forgalomban kapható fényképezőgép képességeit, amelyek jellemzően 30 és 1,000 képkocka/másodperc közötti sebességet rögzítenek.

Az AMI-EV teljesítménye nem csak a képkockasebesség tekintetében haladja meg a tipikus kereskedelmi kamerákét, hanem abban is, hogy gyors mozgás közben is képes megőrizni a kép tisztaságát. Ez a mozgás simább és valósághűbb ábrázolásához vezethet a különböző alkalmazásokban.

A hagyományos kamerákkal ellentétben az AMI-EV kiváló teljesítményt nyújt kihívásokkal teli világítási forgatókönyvekben. Ez az előny különösen hasznossá teszi olyan alkalmazásokban, ahol a fényviszonyok változóak vagy kiszámíthatatlanok, például kültéri autonóm járművekben vagy űrképalkotásban.

Jövőbeli következmények

Az AMI-EV fejlesztése számos iparágat képes átalakítani a robotikán és az autonóm rendszereken túl. Alkalmazása kiterjedhet olyan területekre, mint az egészségügy, ahol pontosabb diagnosztikát nyújthat, vagy a gyártás, ahol javíthatja a minőség-ellenőrzési folyamatokat.

Ahogy ez a technológia tovább fejlődik, még fejlettebb és képességesebb rendszerek előtt nyithatja meg az utat. A jövőbeli iterációk potenciálisan integrálhatják a gépi tanulási algoritmusokat a képfeldolgozási és objektumfelismerési képességek továbbfejlesztése érdekében. Ezen túlmenően a technológia miniatürizálása kisebb eszközökbe való beépítéséhez vezethet, ami még tovább bővíti potenciális alkalmazási lehetőségeit.