En kakerlakk med AI-aktivert søke- og redningsutstyr

Internasjonale robotikkforskere har utviklet et Urban Search And Rescue-system (USAR) som bruker en "styrbar" levende kakerlakk til å transportere et miniatyrisert maskinlæringsaktivert infrarødt overlevelsesdeteksjonssystem gjennom ellers ikke-navigerbare katastrofescenarier.

De system er et samarbeid mellom forskningsavdelinger i Singapore, Kina, Tyskland og Storbritannia. Den bruker Madagaskar kakerlakk som kjøretøy, og har nok kraft til å kjøre i flere timer.

Kilde: https://arxiv.org/abs/2105.10869

Hybridredningssystemet har en maskinlæringsmodell for menneskelig deteksjon som ble trent på infrarøde (IR) bilder, og driver det mobile IR-deteksjonssystemet, som kan operere autonomt etter behov, og rapporterer funnet overlevende tilbake til en baseoperativstasjon.

Begrensede lokale ressurser

Maskinlæringsrammeverket kreves for å operere på usedvanlig slanke ressurser: bare 191.8 kB statisk RAM og 1988 kB Flash-minne er igjen for systemet fra de generelle strømkravene til enheten, som også må gi den elektriske stimulansen til insektet.

De tre funksjonelle blokkene til kakerlakkens ryggsekk, avbildet ovenfor, inkluderer trådløs stimulering, en primær kontrollerenhet og perifere komponenter, med det IR-avledede maskinlæringssystemet og navigasjonsfunksjonaliteten innebygd i den primære kontrollerenheten. Riggens krets er delt opp i flere komponenter for å passe bedre til kakerlakkens geometri.

Madagaskar-kakerlakken (blant største arten i verden, med en maksimal lastekapasitet på 15g) kontrolleres av små elektriske støt som styrer den i en eller annen retning, implementert av fire elektroder implantert i skapningens antenner (se etter), og inn i magen. Elektrodene er festet med bivoks.

Legger til AI til insektsøk og redning

Det nye initiativet utvikler tidligere arbeid fra UC Berkeley og Singapores Nanyang Technological University, som først unnfanget ved bruk av styrbare biller i USAR-scenarier.

2016 forskning på å kontrollere flyveien til en bille. Kilde: https://www.youtube.com/watch?v=iljHXpE4LG8

Selv om biller har den ekstra evnen til å fly, reduseres lastekapasiteten deres senere, noe som reduserer de potensielle egenskapene til teknologier ombord, og bringer kraftforbrukskravene til et kritisk nivå, spesielt i tilfeller der det er nødvendig å kjøre en maskinlæringsalgoritme.

Det ombord autonome menneskelige gjenkjenningssystemet i det nye initiativet bruker en bildeklassifiseringsmodell som benytter støttevektormaskin (SVM) og Histogram over orienterte gradienter.

Kakerlakkens bevegelse styres av det integrerte navigasjonssystemet, og guider 'bioboten' til en forhåndsbestemt destinasjon uten kunnskap om de mellomliggende hindringene. For det meste løser kakerlakkens egne formidable navigasjonsferdigheter de fleste problemene med å komme til et ellers uoppnåelig sted.

Kilde: https://arxiv.org/abs/2105.10869

Det innebygde infrarøde systemet tar bilder med 1 Hz, fungerer vellykket i mørke områder, og rapporterer trådløst alle overlevende til et kommandosenter i sanntid. For å spare energi begynner bildeanalysesystemet bare å fungere hvis det utløses av en positiv infrarød avlesning.

Modellen opptar bare 18.3 kB Flash-minne og 52.2 kB statisk RAM, og oppnår en beregningstid på 95 millisekunder. Rimelig behandlingstid er avgjørende i et USAR-scenario, siden fjerntliggende infrarøde signaturer ellers kan gå glipp av i behandlingsintervallet når kakerlakken endrer retning og krysser terreng.

Systemet har også sensorer for å overvåke temperatur, fuktighet og CO2, for å rapportere lokale forhold for et mulig redningsforsøk, og for å la kontrollsenteret styre skapningen vekk fra enhver situasjon som kan sette den i fare.

Testing i simulerte terreng

Systemet ble testet i et simulert katastrofescenario (bilde over), med effektiv hindringsforhandling, bortsett fra i visse spesielt utfordrende konfigurasjoner som involverer svimlende stigninger, siden kakerlakken har en vektulemper på grunn av det tilknyttede utstyret.

Navigasjonsarkitekturen hadde i utgangspunktet en tendens til å sette seg fast ved overveldende hindringer, for eksempel situasjoner der selv kakerlakken ikke kunne gå videre, og forskerne utviklet deretter et prediktivt tilbakemeldingsnavigasjonssystem for å forbedre ytelsen i møte med høye hindringer. Systemet var i stand til å oppnå 100 % suksessrate i miljøer med ingen eller lave hindringer, og en høyere suksessrate med høye hindringer.

Der feil oppstod, konkluderer forskerne med at dette kan utbedres ved å øke varigheten av eksperimentet, selv om dette logisk sett har implikasjoner i et tidskritisk USAR-scenario.

Infrarød visning

Det innebygde infrarøde kameraet har beskjedne spesifikasjoner, som opererer på 32×32 piksler med et 90-graders synsfelt. Bildene, når de utløses, sendes gjennom et median-denoising-filter.

Systemet oppnår en suksessrate på 87 % i å skille menneskelige individer fra andre typer termisk signatur, og øker til 90 % når det er i en nærhetsradius på 0.5 m og 1.5 m.

På grunn av energi- og chipstørrelsesbegrensninger har den første studien ikke et lokaliseringssystem ombord, og det er derfor ikke mulig å spore kakerlakkens posisjon i sanntid. Forskerne foreslår at dødregning kan implementeres som en strømbesparende løsning, med lavenergi-lokaliseringssignaler videresendt tilbake til kontrollsenteret, i fremtidige implementeringer.

Insekter som lete- og redningsoperatører

De siste ti årene har brakt en rekke forskningsprosjekter som søker å utnytte motstandskraften og navigasjonskraften til insekter for å lage hybride eller rene robotsystemer for søk og redningsscenarier. I tillegg til det billerelaterte arbeidet fra 2016 som går foran dette siste initiativet, har det vært en rekke forsøk på å gjenskape insektoide evner i ren robotform.

Disse inkluderer en 2019 forskningsprosjekt fra UoC som tilbød en ergonomisk enkel robot basert på prinsippene til en kakerlakk, et av de første prosjektene i sitt slag for å adressere den ekstreme skjørheten til robotinsekter.