En kakerlak med AI-aktiveret søgning og redningudstyr

Internationale robotforskeres har udviklet et Urban Search And Rescue (USAR)-system, der bruger en ‘styrbar’ levende kakerlak til at transportere et miniaturiseret maskinelæring-aktiveret infrarødt overlevende-detectionsystem gennem ulykkes-scenarier, der ellers ville være umulige at navigere i.

Systemet er et samarbejde mellem forskningsafdelinger i Singapore, Kina, Tyskland og Storbritannien. Det bruger den madagassiske kakerlak som køretøj og har nok strøm til at køre i flere timer.

Kilde: https://arxiv.org/abs/2105.10869

Det hybride redningssystem har en maskinelæring-model til menneskegenkendelse, der er trænet på infrarøde billeder, og driver det mobile infrarøde detectionsystem, der kan fungere autonomt efter behov, og rapporterer fundne overlevende tilbage til en base-opereringsstation.

Begrænsede lokale ressourcer

Maskinelæring-rammen kræver at fungere på ekstraordinært tynde ressourcer: kun 191,8kB af statisk RAM og 1988kB af Flash-hukommelse er til rådighed for systemet fra de generelle strømkrav til enheden, der også skal give det elektriske stimulus til insekten.

De tre funktionelle blokke i kakerlakkens rygsæk, vist ovenfor, omfatter trådløs stimulation, en primær controller-enhed og perifere komponenter, med det infrarødt-afledte maskinelæringssystem og navigationsfunktionen integreret i den primære controller-enhed. Riggets kredsløb er blevet opdelt i flere komponenter for bedre at tilpasse kakerlakkens geometri.

Den madagassiske kakerlak (iblandt de største arter i verden, med en maksimal lastkapacitet på 15g) styres af små elektriske chok, der styre den i en eller anden retning, implementeret af fire elektroder, der er indopereret i dyrets antenner (cerci) og i dens mave. Elektroderne er sikret med bivoks.

Tilføje AI til insekt-søgning og redning

Den nye initiativ udvikler tidligere arbejde fra UC Berkeley og Singapores Nanyang Teknologiske Universitet, der først konceptualiserede brug af styrbar biller i USAR-scenarier.

2016-forskning i at styre flyveretningen af en bille. Kilde: https://www.youtube.com/watch?v=iljHXpE4LG8

Selvom biller har den ekstra evne til at flyve, er deres lastkapacitet herefter reduceret, hvilket sænker de potentielle muligheder for om bord-teknologier, og bringer strømforbruget til et kritisk niveau, især i tilfælde, hvor det er nødvendigt at køre en maskinelæring-algoritme.

Det om bord-autonome menneskegenkendelsessystem i den nye initiativ bruger en billedklassifikationsmodel, der anvender support vector machine (SVM) og Histogram of Oriented Gradients.

Kakerlakkens bevægelse styres af det integrerede navigationsystem og guider ‘biobot’en til en forudbestemt destination uden nogen viden om de indgående hindringer. For det meste løser kakerlakkens egen formidabe navigationsfærdigheder de fleste problemer i at nå en ellers utilgængelig lokalitet.

Kilde: https://arxiv.org/abs/2105.10869

Det om bord-infrarøde system optager billeder med en frekvens på 1hz, og fungerer succesfuldt i mørke områder, og rapporterer trådløst eventuelle fundne overlevende til en kommandocentral i realtid. For at spare energi, begynder billedanalyse-systemet kun at fungere, hvis det udløses af en positiv infrarød-læsning.

Modellen optager kun 18,3kB af Flash-hukommelse og 52,2kB af statisk RAM, og opnår en beregnings tid på 95 millisekunder. En rimelig beregnings tid er essentiel i en USAR-scenario, da fjerne infrarøde signaturer ellers kunne blive overset i beregningsintervallet, mens kakerlaken skifter retning og bevæger sig gennem terrænet.

Systemet har også sensorer til at overvåge temperatur, fugtighed og CO2, for at rapportere lokale forhold for en mulig redningsforsøg, og for at tillade kommandocentralen at styre dyret væk fra enhver situation, der ville kunne true det.

Test i simulerede terræner

Systemet blev testet i en simuleret ulykkes-scenario (billede ovenfor), med effektivt hindrings-negotation, bortset fra i visse særligt udfordrende konfigurationer, der involverer stejle klatringer, da kakerlaken er i en vægt-nakdel på grund af det påmonterede udstyr.

Navigations-arkitekturen havde initialt en tendens til at blive fast i overvældende hindringer, såsom situationer, hvor selv kakerlaken ikke kunne fortsætte, og forskerne udviklede herefter et predictivt feedback-navigations-system for at forbedre præstationen over for høje hindringer. Systemet opnåede en 100% succesrate i miljøer med ingen eller lavt hindringer, og en højere succesrate med høje hindringer.

Hvor fejl dog opstod, konkluderer forskerne, at dette kunne afhjælpes ved at øge varigheden af eksperimentet, selvom dette logisk har implikationer i en tid-kritisk USAR-scenario.

Infrarødt overblik

Det om bord-infrarøde kamera har beskedne specifikationer, og fungerer ved 32×32 pixels med en 90-graders synsfelt. Billederne, når de udløses, passerer gennem en median-dønfiltrering.

Systemet opnår en 87% succesrate i at skelne mellem menneskelige subjekter og andre typer termiske signaturer, og stiger til 90%, når den er inden for en radius på 0,5m og 1,5m.

På grund af energi- og chip-størrelses-begrænsninger, har den initielle studie ikke en om bord-lokaliserings-system, og det er derfor ikke muligt at spore kakerlakkens position i realtid. Forskerne foreslår, at dødt pejling kunne implementeres som en strømsparende løsning, med lav-energi-positions-signaler, der sendes tilbage til kommandocentralen, i fremtidige implementeringer.

Insekter som søgning- og rednings-operatører

De sidste ti år har bragt en række forskningsprojekter, der søger at udnytte insekters robusthed og navigationskraft til at skabe hybride eller rene robot-systemer til søgning- og redningsscenarioer. Ud over det i 2016 relaterede arbejde, der fører til dette seneste initiativ, har der været en række forsøg på at genskabe insekt-lignende evner i rent robot-form.

Disse omfatter et 2019-forskningsprojekt fra UoC, der tilbød en ergonomisk enkel robot baseret på principperne for en kakerlak, et af de første projekter af denne art, der adresserer den ekstreme sårbarhed af robot-insekter.