Systém kamery, který napodobuje lidské oko pro vylepšenou robotickou vidění

Počítačoví vědci z University of Maryland vyvinuli inovativní systém kamery, který by mohl revolucionizovat způsob, jakým roboti vnímají a interagují se svým okolím. Tato technologie, inspirovaná nechtěnými pohyby lidského oka, má za cíl zlepšit jasnost a stabilitu robotického vidění.

Výzkumný tým, vedený doktorandem Botao He, zveřejnil své výsledky v článku publikovaném v časopise Science Robotics. Jejich vynález, Artificial Microsaccade-Enhanced Event Camera (AMI-EV), řeší kritickou výzvu v robotickém vidění a autonomních systémech.

Problém s aktuálními kamerami

Kamerové systémy, relativně nová technologie v oblasti robotiky, vynikají ve sledování pohyblivých objektů ve srovnání s tradičními kamerami. Nicméně, tyto systémy čelí významným omezením při zachycení jasných, neostrých obrazů v scénářích s vysokým pohybem.

Tento nedostatek představuje podstatný problém pro roboty, autonomní vozidla a další technologie, které se spoléhají na přesné a včasné vizuální informace, aby se mohly pohybovat a reagovat na své okolí. Schopnost udržet se na pohyblivých objektech a zachytit přesné vizuální údaje je zásadní pro tyto systémy, aby fungovaly bezpečně a efektivně.

Inspirace z lidské biologie

Aby řešili tuto výzvu, výzkumný tým se obrátil k přírodě pro inspiraci, konkrétně k lidskému oku. Zaměřili se na mikrosakády, které jsou malé, nechtěné pohyby očí, ke kterým dochází, když se člověk snaží soustředit své vidění.

Tyto miniaturní, ale kontinuální pohyby umožňují lidskému oku udržet se na objektu a přesně vnímat jeho vizuální textury, jako je barva, hloubka a stínování, po určitou dobu. Napodobením tohoto biologického procesu, tým cílil na vytvoření kamerového systému, který by mohl dosáhnout podobné stability a jasnosti v robotickém vidění.

UMIACS Computer Vision Laboratory

Artificial Microsaccade-Enhanced Event Camera (AMI-EV)

Jádro inovace AMI-EV spočívá v jeho schopnosti replikovat mikrosakády mechanicky. Tým integroval rotující prizma uvnitř kamery, aby přesměroval světelné paprsky zachycené objektivem. Tento kontinuální rotační pohyb simuluje přirozené pohyby lidského oka, umožňující kameře stabilizovat textury zaznamenaných objektů způsobem podobným lidskému vidění.

Aby doplnil hardwarovou inovaci, tým vyvinul specializovaný software, který kompenzuje pohyb prizmatu uvnitř AMI-EV. Tento software konsoliduje posunuté světelné vzory do stabilních obrazů, efektivní napodobení mozkové schopnosti zpracovat a interpretovat vizuální informace z očí neustálých mikro-pohybů.

Toto spojení hardwarových a softwarových inovací umožňuje AMI-EV zachytit jasné, přesné obrazy, dokonce i ve scénářích s významným pohybem, řeší kritické omezení současné technologie kamer.

Potenciální aplikace

Inovativní přístup AMI-EV k zachycení obrazu otevírá širokou škálu potenciálních aplikací v různých oblastech:

• Robotika a autonomní vozidla: Schopnost kamery zachytit jasné, pohybově stabilní obrazy by mohla výrazně zlepšit vnímání a rozhodování robotů a autonomních vozidel. Toto vylepšené vidění by mohlo vést k bezpečnějším a efektivnějším autonomním systémům, schopným lépe identifikovat a reagovat na své okolí v reálném čase.
• Virtualní a rozšířená realita: V oblasti imerzivních technologií, nízká latence a vynikající výkon AMI-EV v extrémních světelných podmínkách ho činí ideálním pro virtualní a rozšířenou realitu. Kamera by mohla umožnit více bezproblémové a realistické zkušenosti, rychleji počítající pohyby hlavy a těla, snižující pohybovou nemoc a zlepšující celkovou uživatelskou zkušenost.
• Bezpečnost a dohled: Pokročilé schopnosti kamery v detekci pohybu a stabilizaci obrazu by mohly revolucionizovat bezpečnostní a dohledové systémy. Vyšší snímkovací frekvence a jasnější obrazy ve různých světelných podmínkách by mohly vést k přesnější detekci hrozeb a zlepšení celkového bezpečnostního dohledu.
• Astronomie a kosmické zobrazování: Schopnost AMI-EV zachytit rychlý pohyb s bezprecedentní jasností by mohla být neocenitelná v astronomických pozorováních. Tato technologie by mohla pomoci astronomům zachytit více podrobné obrazy nebeských těles a událostí, potenciálně vedoucí k novým objevům ve vesmírném výzkumu.

Provedení a výhody

Jedním z nejpozoruhodnějších rysů AMI-EV je jeho schopnost zachytit pohyb v desítkách tisíc snímků za sekundu. To daleko přesahuje schopnosti většiny komerčně dostupných kamer, které obvykle zachycují mezi 30 a 1 000 snímky za sekundu.

Provedení AMI-EV nejen překonává běžné komerční kamery ve snímkovací frekvenci, ale také ve schopnosti udržet jasný obraz během rychlého pohybu. To by mohlo vést k plynulejším a realističtějším zobrazením pohybu v různých aplikacích.

Na rozdíl od tradičních kamer, AMI-EV prokazuje lepší výkon v náročných světelných scénářích. Tato výhoda z něj činí zvláště užitečnou aplikaci v situacích, kde jsou světelné podmínky proměnlivé nebo nepředvídatelné, jako je tomu u autonomních vozidel nebo kosmického zobrazování.

Budoucí implikace

Vývoj AMI-EV má potenciál transformovat několik odvětví za hranicemi robotiky a autonomních systémů. Jeho aplikace by se mohly rozšířit do oblastí, jako je zdravotnictví, kde by mohla pomoci při přesnějších diagnózách, nebo do výroby, kde by mohla zlepšit procesy kontroly kvality.

Jakmile se tato technologie bude dále vyvíjet, může otevřít cestu pro ještě pokročilejší a schopnější systémy. Budoucí iterace by mohly potenciálně integrovat algoritmy strojového učení, aby dále vylepšily zpracování obrazu a rozpoznávání objektů. Kromě toho, miniaturizace technologie by mohla vést k jejímu začlenění do menších zařízení, rozšiřující její potenciální aplikace ještě dále.