Kamerový systém napodobuje lidské oko pro zlepšení robotického vidění

Počítačoví vědci z University of Maryland vyvinuli inovativní kamerový systém, který by mohl revolucionalizovat způsob, jakým roboti vnímají a interagují se svým okolím. Tato technologie, inspirovaná nechtěnými pohyby lidského oka, má za cíl zlepšit jasnost a stabilitu robotického vidění.

Výzkumný tým, vedený doktorandem Botao He, zveřejnil své výsledky v článku publikovaném v časopise Science Robotics. Jejich vynález, umělé mikrosakádové kamerové zařízení (AMI-EV), řeší kritickou výzvu v robotickém vidění a autonomních systémech.

Problém se současnými kamerami událostí

Kamery událostí, relativně nová technologie v oblasti robotiky, excelují v sledování pohybujících se objektů ve srovnání s tradičními kamerami. Nicméně, tyto kamery čelí významným omezením při zachycení jasných, neostrých obrazů v scénářích s vysokým pohybem.

Tato výzva představuje podstatný problém pro roboty, samořídící auta a další technologie, které se spoléhají na přesné a včasné vizuální informace, aby se navigovaly a reagovaly na své okolí. Schopnost udržet se na pohyblivých objektech a zachytit přesné vizuální údaje je zásadní pro tyto systémy, aby fungovaly bezpečně a efektivně.

Inspirace z lidské biologie

Aby řešili tuto výzvu, výzkumný tým se obrátil k přírodě pro inspiraci, konkrétně k lidskému oku. Zaměřili se na mikrosakády, které jsou malé, nechtěné pohyby oka, které se vyskytují, když se člověk snaží soustředit své vidění.

Tyto miniaturní, ale kontinuální pohyby umožňují lidskému oku udržet se na objektu a přesně vnímat jeho vizuální textury, jako je barva, hloubka a stínování, v průběhu času. Napodobením tohoto biologického procesu se tým snažil vytvořit kamerový systém, který by mohl dosáhnout podobné stability a jasnosti v robotickém vidění.

UMIACS Computer Vision Laboratory

Umělé mikrosakádové kamerové zařízení (AMI-EV)

Jádro inovace AMI-EV spočívá v jeho schopnosti replikovat mikrosakády mechanicky. Tým integroval rotující prizma uvnitř kamery, aby přesměroval světelné paprsky zachycené objektivem. Tento kontinuální rotační pohyb simuluje přirozené pohyby lidského oka, umožňující kameře stabilizovat textury zaznamenaných objektů způsobem podobným lidskému vidění.

K doplnění hardwarové inovace vyvinul tým specializovaný software, který kompenzuje pohyb prizmy uvnitř AMI-EV. Tento software konsoliduje měnící se světelné vzory do stabilních obrazů, efektivní napodobení schopnosti mozku zpracovat a interpretovat vizuální informace z neustálých mikro-pohybů oka.

Tato kombinace hardwarové a softwarové inovace umožňuje AMI-EV zachytit jasné, přesné obrazy, dokonce i ve scénářích s významným pohybem, a řeší tak klíčové omezení současné technologie kamer událostí.

Potenciální aplikace

Inovativní přístup AMI-EV k zachycení obrazu otevírá širokou škálu potenciálních aplikací v různých oblastech:

• Robotika a autonomní vozidla: Schopnost kamery zachytit jasné, stabilní obrazy by mohla výrazně zlepšit vnímání a rozhodování robotů a samořídících aut. Toto zlepšené vidění by mohlo vést k bezpečnějším a efektivnějším autonomním systémům, schopným lépe identifikovat a reagovat na své okolí v reálném čase.
• Virtuální a rozšířená realita: V oblasti imerzivních technologií je nízká latence a vynikající výkon AMI-EV v extrémních světelných podmínkách ideální pro virtuální a rozšířenou realitu. Kamera by mohla umožnit více plynulé a realistické zkušenosti, rychleji počítající pohyby hlavy a těla, snižující tak pohybovou nemoc a zlepšující celkovou uživatelskou zkušenost.
• Bezpečnost a dohled: Pokročilé schopnosti kamery v detekci pohybu a stabilizaci obrazu by mohly revolucionalizovat bezpečnostní a dohledové systémy. Vyšší snímkovací frekvence a jasnější obrazy ve různých světelných podmínkách by mohly vést k přesnější detekci hrozeb a zlepšenému bezpečnostnímu monitorování.
• Astronomie a kosmické zobrazování: Schopnost AMI-EV zachytit rychlý pohyb s bezprecedentní jasností by mohla být neocenitelná při astronomických pozorováních. Tato technologie by mohla pomoci astronomům zachytit více podrobné obrazy nebeských těles a událostí, potenciálně vedoucí k novým objevům ve vesmírném výzkumu.

Prostředí a výhody

Jednou z nejpozoruhodnějších funkcí AMI-EV je jeho schopnost zachytit pohyb v desítkách tisíc snímků za sekundu. To výrazně překonává možnosti většiny komerčně dostupných kamer, které obvykle zachycují mezi 30 a 1 000 snímky za sekundu.

Prostředí AMI-EV nejen překonává běžné komerční kamery ve snímkovací frekvenci, ale také v jeho schopnosti udržet jasný obraz během rychlého pohybu. To by mohlo vést k plynulejším a realističtějším znázorněním pohybu v různých aplikacích.

Na rozdíl od tradičních kamer prokázala AMI-EV lepší výkon v náročných světelných scénářích. Tato výhoda z ní činí besonders užitečnou v aplikacích, kde jsou světelné podmínky proměnlivé nebo nepředvídatelné, jako je tomu u venkovních autonomních vozidel nebo kosmického zobrazování.

Budoucí implikace

Vývoj AMI-EV má potenciál transformovat několik odvětví beyond robotiky a autonomních systémů. Jeho aplikace by mohly rozšířit se do oblastí, jako je zdravotnictví, kde by mohla pomoci při přesnějších diagnózách, nebo do výroby, kde by mohla zlepšit procesy kontroly kvality.

Jak se tato technologie bude dále vyvíjet, může otevřít cestu pro ještě pokročilejší a schopnější systémy. Budoucí iterace by mohly potenciálně integrovat algoritmy strojového učení, aby dále vylepšily zpracování obrazu a rozpoznávání objektů. Kromě toho by miniaturizace technologie mohla vést k jejímu začlenění do menších zařízení, čímž by se dále rozšířily její potenciální aplikace.