En kackerlacka med AI-aktiverad sök- och räddningsutrustning

Internationella robotforskare har utvecklat ett system för urban sökning och räddning (USAR) som använder en “styrbar” levande kackerlacka för att transportera ett miniaturiserat maskinlärningsaktiverat infrarödt system för överlevnadsdetektering genom katastrofscenarier som annars vore oframkomliga.

Systemet är ett samarbete mellan forskningsavdelningar i Singapore, Kina, Tyskland och Storbritannien. Det använder kackerlackan från Madagaskar som fordon och har tillräckligt med kraft för att köra i flera timmar.

Källa: https://arxiv.org/abs/2105.10869

Det hybridräddningssystemet har en maskinlärningsmodell för människodetektering som tränats på infraröda bilder och driver det mobila infraröda detekteringssystemet, som kan fungera autonomt vid behov och rapportera funna överlevande tillbaka till en basstation.

Begränsade lokala resurser

Maskinlärningsramverket kräver att det fungerar på extremt smala resurser: endast 191,8 kB statisk RAM och 1988 kB Flash-minne finns kvar för systemet från de allmänna effektkraven för enheten, som också måste ge den elektriska stimulansen för insekten.

De tre funktionella blocken i kackerlackans ryggsäck, som visas ovan, inkluderar trådlös stimulering, en primär kontrollenhet och perifera komponenter, med det infraröda maskinlärningssystemet och navigationsfunktionen inbäddat i den primära kontrollenheten. Kretsen har delats upp i flera komponenter för att bättre passa kackerlackans geometri.

Kackerlackan från Madagaskar (bland de största arterna i världen, med en maximal lastkapacitet på 15 g) styrs av små elektriska stötar som styr den i en riktning eller en annan, genomförda av fyra elektroder som implanterats i insektens antenner (cerci) och i dess buk. Elektroderna är säkrade med bivax.

Tillägg av AI till insekt-sökning och räddning

Det nya initiativet bygger på tidigare arbete från UC Berkeley och Singapores Nanyang Technological University, som först kommit med idén att använda styrbara skalbaggar i USAR-scenarier.

2016 års forskning om att kontrollera en skalbagges flygbanor. Källa: https://www.youtube.com/watch?v=iljHXpE4LG8

Även om skalbaggar har förmågan att flyga, är deras lastkapacitet lägre, vilket minskar potentialen för ombordsteknologier och gör energiförbrukningen kritisk, särskilt i fall där det är nödvändigt att köra en maskinlärningsalgoritm.

Det ombordautonoma systemet för människodetektering i det nya initiativet använder en bildklassificeringsmodell som använder stödvectorsmaskiner (SVM) och histogram av orienterade gradienter.

Kackerlackans rörelse styrs av det integrerade navigeringssystemet och leder “bioboten” till en förutbestämd destination utan kunskap om de ingreppande hindren. För det mesta löser kackerlackans egna imponerande navigationsförmågor de flesta problemen med att nå en annars oframkomlig plats.

Källa: https://arxiv.org/abs/2105.10869

Det ombordinfraröda systemet fångar bilder med en frekvens på 1 Hz, fungerar framgångsrikt i mörka områden och rapporterar trådlöst funna överlevande till en kommandocentral i realtid. För att spara energi börjar bildanalysystemet endast fungera om det utlöses av en positiv infrarödavläsning.

Modellen upptar endast 18,3 kB Flash-minne och 52,2 kB statisk RAM, och uppnår en beräkningstid på 95 millisekunder. Rimlig bearbetningstid är avgörande i en USAR-scenario, eftersom avlägsna infraröda signaturer annars kan missas under bearbetningsintervallet när kackerlackan ändrar riktning och korsar terräng.

Systemet har också sensorer för att övervaka temperatur, fuktighet och CO2, för att rapportera lokala förhållanden för en möjlig räddningsinsats och för att tillåta kontrollstationen att styra insekten bort från situationer som skulle kunna äventyra den.

Testning i simulerad terräng

Systemet testades i en simulerad katastrofscenario (bild ovan), med effektivt hinderhantering, utom i vissa särskilt utmanande konfigurationer som inbegrep branta klättringar, eftersom kackerlackan var i en viktmissfördel på grund av den fästa utrustningen.

Navigeringsarkitekturen hade initialt en tendens att fastna vid överväldigande hinder, såsom situationer där även kackerlackan inte kunde fortsätta, och forskarna utvecklade därefter ett prediktivt återkopplingsnavigeringssystem för att förbättra prestandan i ansiktet av höga hinder. Systemet kunde uppnå en 100% framgångsgrad i miljöer med inga eller låga hinder och en högre framgångsgrad med höga hinder.

Där misslyckande inträffade drog forskarna slutsatsen att detta kunde åtgärdas genom att öka experimentets varaktighet, även om detta logiskt sett har konsekvenser i en tidkritisk USAR-scenario.

Infraröd vy

Det ombordinfraröda kameran har blygsamma specifikationer, med en upplösning på 32×32 pixlar och en synvinkel på 90 grader. Bilderna, när de utlöses, skickas genom en medianbrusreduceringsfilter.

Systemet uppnår en 87% framgångsgrad i att skilja mellan mänskliga föremål och andra typer av termiska signaturer, och stiger till 90% när den är inom en proximitetsradie på 0,5 m och 1,5 m.

På grund av energi- och chip-storleksbegränsningar innehåller den ursprungliga studien inte ett ombordlokaliseringssystem, och det är därför inte möjligt att spåra kackerlackans position i realtid. Forskarna föreslår att död räkning kan implementeras som en energibesparande lösning, med lågenergilokaliseringsignal som sänds tillbaka till kontrollstationen i framtida implementationer.

Insekter som sök- och räddningsoperatörer

De senaste tio åren har sett en mängd forskningsprojekt som syftar till att utnyttja insekters motståndskraft och navigationsförmåga för att skapa hybrid- eller rent robotiska system för sök- och räddningsscenarier. Utöver det 2016-relaterade skalbaggsarbetet som föregår detta senaste initiativ, har det funnits ett antal försök att återskapa insektliknande förmågor i rent robotisk form.

Detta inkluderar ett 2019 forskningsprojekt från UoC som erbjöd en ergonomiskt enkel robot baserad på principerna för en kackerlacka, ett av de första projekten av sitt slag som adresserar den extrema skörheten hos robotinsekter.