Štěnice s vybavením pro vyhledávání a záchranu s umělou inteligencí

Mezinárodní výzkumníci v oblasti robotiky vyvinuli systém Urban Search And Rescue (USAR), který využívá “řízenou” živou štěnici k přepravě miniaturizovaného systému pro detekci přeživších s využitím strojového učení a infračerveného záření v případech, kdy je jinak obtížné nebo nemožné se dostat do místa katastrofy.

Systém je výsledkem spolupráce výzkumných ústavů v Singapuru, Číně, Německu a Velké Británii. Používá štěnici z Madagaskaru jako vozidlo a má dostatek energie na to, aby fungoval několik hodin.

Zdroj: https://arxiv.org/abs/2105.10869

Hybridní záchranný systém obsahuje model strojového učení pro rozpoznání lidí, který byl vyškoleno na infračervených (IR) obrazech, a napájí mobilní IR detekční systém, který může fungovat autonomně podle potřeby a hlásit nalezené přeživší zpět na řídící stanici.

Omezené místní zdroje

Rámec strojového učení musí fungovat s mimořádně omezenými zdroji: pouze 191,8kB statické RAM a 1988kB Flash paměti jsou k dispozici pro systém z obecných energetických požadavků zařízení, které musí také poskytovat elektrický stimul pro hmyz.

Tři funkční bloky batohu štěnice, zobrazené výše, zahrnují bezdrátovou stimulaci, primární řídící jednotku a periferní komponenty, s IR odvozeným systémem strojového učení a navigační funkcionalitou integrovanou do primární řídící jednotky. Obvod zařízení byl rozdělen do několika komponent, aby lépe vyhovoval geometrii štěnice.

Štěnice z Madagaskaru (mezi největšími druhy na světě, s maximální nosností 15g) je řízena malými elektrickými šoky, které ji směrují jedním nebo druhým směrem, provedenými čtyřmi elektrodami implantovanými do antén (cerci) a do břicha. Elektrody jsou zajištěny pomocí včelího vosku.

Přidání AI do vyhledávání a záchrany hmyzu

Nová iniciativa rozvíjí předchozí práci z UC Berkeley a Singapurské Nanyang Technological University, která poprvé navrhla použití řiditelných brouků ve scénářích USAR.

2016 výzkum ovládání letu brouka. Zdroj: https://www.youtube.com/watch?v=iljHXpE4LG8

Přestože brouci mají schopnost letu, jejich nosnost je snížena, což snižuje potenciální schopnosti palubních technologií, a zvyšuje požadavky na spotřebu energie, zejména v případech, kdy je nutné spustit algoritmus strojového učení.

Systém autonomního rozpoznání lidí na palubě používá model klasifikace obrazu s využitím support vector machine (SVM) a Histogram of Oriented Gradients.

Pohyb štěnice je směrován integrovaným navigačním systémem a směruje “biobot” do předem stanoveného cíle bez znalosti zásahů. Většinou štěnice sama o sobě řeší většinu problémů při dosažení jinak nedosažitelného místa.

Zdroj: https://arxiv.org/abs/2105.10869

Palubní infračervený systém zachycuje obrazy s frekvencí 1 Hz, funguje úspěšně v tmavých oblastech a bezdrátově hlásí nalezené přeživší zpět na řídící stanici v reálném čase. Pro úsporu energie systém analýzy obrazu začíná fungovat pouze tehdy, je-li spuštěn pozitivním infračerveným čtením.

Model zabírá pouhých 18,3kB Flash paměti a 52,2kB statické RAM, dosahuje výpočetního času 95 milisekund. Přiměřený výpočetní čas je nezbytný ve scénářích USAR, protože vzdálené infračervené signály by jinak mohly být ztraceny během intervalu zpracování, zatímco se štěnice mění směr a prochází terénem.

Systém také obsahuje senzory pro monitorování teploty, vlhkosti a CO2, aby mohly být hlášeny místní podmínky pro možný záchranný zásah a aby řídící stanice mohla směrovat zvíře pryč od situací, které by ho ohrozily.

Testování v simulovaných terénech

Systém byl testován v simulovaném scénáři katastrofy (obrázek výše), s účinným vyrovnáním překážek, kromě určitých besonders náročných konfigurací s strmými výškovými stoupáními, protože štěnice je ve hmotnostní nevýhodě kvůli připojenému zařízení.

Navigační architektura měla původně tendenci uvíznout u překážek, jako jsou situace, ve kterých ani štěnice nemohla pokračovat, a výzkumníci následně vyvinuli prediktivní zpětnou navigační soustavu pro zlepšení výkonu v případě vysokých překážek. Systém dosáhl 100% úspěšnosti v prostředích s žádnými nebo nízkými překážkami a vyšší úspěšnosti s vysokými překážkami.

Kde došlo k selhání, výzkumníci uzavírají, že by to mohlo být zmírněno prodloužením trvání experimentu, i když to logicky má důsledky v časově kritickém scénáři USAR.

Infračervený pohled

Palubní infračervená kamera má skromné parametry, funguje na 32×32 pixelech s úhlem pohledu 90 stupňů. Obrazy, když jsou spuštěny, jsou předány přes median filter pro odstranění šumu.

Systém dosahuje 87% úspěšnosti při rozlišení lidských subjektů od jiných typů tepelných signatur, stoupající na 90%, když je v poloměru 0,5 m a 1,5 m.

Vzhledem k omezením energie a velikosti čipu počáteční studie nezahrnuje palubní lokalizační systém, a proto není možné sledovat polohu štěnice v reálném čase. Výzkumníci navrhují, že by mohla být implementována metoda odhadu polohy jako energeticky úsporné řešení, s nízkoenergetickými lokalizačními signály přenášenými zpět na řídící stanici, v budoucích implementacích.

Hmyz jako operátoři vyhledávání a záchrany

Posledních deset let přineslo řadu výzkumných projektů, které se snaží využít odolnost a navigační sílu hmyzu k vytvoření hybridních nebo čistě robotických systémů pro scénáře vyhledávání a záchrany. Kromě práce z roku 2016 související s brouky, která předcházela této poslední iniciativě, došlo k několika pokusům o rekreaci hmyzích schopností v čistě robotické formě.

Ty zahrnují projekt výzkumu z roku 2019 z UoC, který nabídl ergonomicky jednoduchého robota založeného na principech štěnice, jeden z prvních projektů svého druhu, který řešil extrémní křehkost robotických hmyzích systémů.