En kakerlakk med AI-aktiveret søk og redningsteknologi

Internasjonale robotforskeresearchere har utviklet et Urban Search And Rescue (USAR)-system som bruker en “styrbare” levende kakerlakk til å transportere et miniaturisert maskinlæring-aktivert infrarødt overlevendeoppdaggelsessystem gjennom ulykkes-scenarier som ellers ville være umulige å navigere.

Systemet er et samarbeid mellom forskningsavdelinger i Singapore, Kina, Tyskland og Storbritannia. Det bruker kakerlakken fra Madagaskar som kjøretøy og har nok strøm til å kjøre i flere timer.

Kilde: https://arxiv.org/abs/2105.10869

Det hybride redningssystemet har en maskinlæringmodell for menneskegjenkjenning som er trent på infrarøde bilder, og driver det mobile infrarøde oppdaggelsessystemet, som kan operere autonomt når det er nødvendig, og rapporterer funnet overlevende tilbake til en baseoperasjonsstasjon.

Begrensede lokale ressurser

Maskinlæringrammeverket må operere på ekstremt magre ressurser: bare 191,8 kB statisk RAM og 1988 kB Flash-minne er igjen for systemet fra de generelle kraftkravene for enheten, som også må levere den elektriske stimulansen for insekten.

De tre funksjonelle blokkene i kakerlakkens ryggsekk, vist ovenfor, inkluderer trådløs stimulering, en primær kontrollerenhet og perifere komponenter, med IR-avledede maskinlæringssystem og navigasjonsfunksjonalitet innbygget i den primære kontrollerenheten. Riggens krets er delt inn i flere komponenter for å bedre tilpasse geometrien til kakerlakken.

Kakerlakken fra Madagaskar (blant de største artene i verden, med en maksimal lastekapasitet på 15 g) styres av små elektriske sjokk som styre den i en eller annen retning, implementert av fire elektroder innoperert i dyrets antenner (cerci) og i buken. Elektrodene er sikret med bivoks.

Tillegg av AI til insekt-søk og redning

Det nye initiativet bygger på tidligere arbeid fra UC Berkeley og Singapores Nanyang Technological University, som først konseptualiserte bruk av styrbare biller i USAR-scenarier.

2016-forskning på kontroll av billens flyvebane. Kilde: https://www.youtube.com/watch?v=iljHXpE4LG8

Selv om biller har den ekstra evnen til å fly, er deres lastekapasitet redusert, noe som senker de potensielle evnene til ombordteknologier, og bringer kraftforbruk til et kritisk nivå, spesielt i en situasjon der det er nødvendig å kjøre en maskinlæringalgoritme.

Det ombordautonome menneskegjenkjennelsessystemet i det nye initiativet bruker en bildeklassifiseringsmodell som utnytter støttevektor-maskin (SVM) og Histogram of Oriented Gradients.

Bevegelsen til kakerlakken styres av det integrerte navigasjonssystemet, og leder “bioboten” til et forhåndsbestemt mål uten noen kunnskap om hindringene i mellom. For det meste løser kakerlakkens egne formidable navigasjonsevner de fleste problemene med å nå et ellers utilgjengelig sted.

Kilde: https://arxiv.org/abs/2105.10869

Det ombordinfrarøde systemet fanger bilder med en hastighet på 1 Hz, og fungerer suksessfullt i mørke områder, og rapporterer trådløst funnet overlevende til en kommandosentral i sanntid. For å spare energi, begynner bildanalyse-systemet bare å fungere hvis det utløses av en positiv infrarødlesing.

Modellen opptar bare 18,3 kB Flash-minne og 52,2 kB statisk RAM, og oppnår en beregnings tid på 95 millisekunder. Rimelig beregnings tid er essensiell i en USAR-situasjon, siden fjerne infrarød-signaturer ellers kunne bli mistet i beregningsintervallet mens kakerlakken endrer retning og krysser terreng.

Systemet har også sensorer for å overvåke temperatur, fuktighet og CO2, for å rapportere lokale forhold for en mulig redningsaksjon, og for å tillate kontrollsentralen å styre dyret vekk fra noen situasjon som ville utgjøre en fare for det.

Testing i simulerter terreng

Systemet ble testet i en simulerter ulykkes-situasjon (bilde ovenfor), med effektiv hindringsforhandling, bortsett fra i visse spesielt utfordrende konfigurasjoner som innebar bratte klatre, da kakerlakken var i en vekt-ulemplighet på grunn av det festede utstyret.

Navigasjonsarkitekturen hadde først en tendens til å bli fast i overveldende hindringer, som situasjoner der selv kakerlakken ikke kunne gå videre, og forskerne utviklet deretter et prediktivt tilbakemelding-navigasjonssystem for å forbedre ytelsen i møte med høye hindringer. Systemet kunne oppnå en 100% suksessrate i miljøer med ingen eller lave hindringer, og en høyere suksessrate med høye hindringer.

Hvor feil skjedde, konkluderer forskerne at dette kunne være rettet ved å øke varigheten av eksperimentet, selv om dette logisk har implikasjoner i en tid-kritisk USAR-situasjon.

Infrarød utsikt

Det ombordinfrarøde kameraet har beskjedne spesifikasjoner, og opererer ved 32×32 piksler med en 90-graders synsfelt. Bildene, når de utløses, sendes gjennom en median-støynsdempningsfilter.

Systemet oppnår en 87% suksessrate i å skille menneskelige subjekter fra andre typer termiske signaturer, og øker til 90% når den er innenfor en radius på 0,5 m og 1,5 m.

På grunn av energi- og chip-størrelsesbegrensninger, har den innledende studien ikke en ombord-lokaliseringsenhet, og det er derfor ikke mulig å spore kakerlakkens posisjon i sanntid. Forskerne foreslår at dødt rekning kunne implementeres som en strømsparende løsning, med lav-energi-lokasjons-signaler sendt tilbake til kontrollsentralen, i fremtidige implementeringer.

Insekter som søk- og redningsoperatører

De siste ti årene har ført til en rekke forskningsprosjekter som søker å utnytte insektenes motstandskraft og navigasjonskraft til å skape hybride eller rene robotiske systemer for søk og redning. Foruten det i 2016 relaterte arbeidet med biller, som forgjenger til dette siste initiativet, har det vært en rekke forsøk på å gjenskape insekt-liknende evner i ren robotform.

Dette inkluderer et 2019-forskningsprosjekt fra UoC som tilbød et ergonomisk enkelt robot basert på prinsippene til en kakerlakk, ett av de første prosjektene av denne typen til å adresse den ekstreme skjørbarenheten til robot-insekter.