Een kakkerlak met AI-geactiveerde zoek- en reddingsapparatuur

Internationale onderzoekers op het gebied van robotica hebben een Urban Search And Rescue (USAR)-systeem ontwikkeld dat gebruik maakt van een ‘bestuurbaar’ levende kakkerlak om een geminimaliseerd machine learning-geactiveerd infrarood overlevingssysteem te vervoeren door rampscenario’s die anders niet te navigeren zijn.

Het systeem is een samenwerking tussen onderzoeksafdelingen in Singapore, China, Duitsland en het VK. Het gebruikt de Madagaskar-kakkerlak als voertuig en heeft voldoende kracht om enkele uren te draaien.

Bron: https://arxiv.org/abs/2105.10869

Het hybride reddingssysteem heeft een machine learning-model voor menselijke detectie dat is getraind op infraroodbeelden (IR) en de mobiele IR-detectiesysteem aandrijft, die autonoom kan werken als dat nodig is, en gevonden overlevenden terug rapporteert aan een basisbedieningsstation.

Beperkte lokale middelen

Het machine learning-kader moet werken met uitzonderlijk schamele middelen: slechts 191,8kB aan statische RAM en 1988kB aan Flash-geheugen zijn over voor het systeem van de algemene stroomvereisten voor het apparaat, dat ook de elektrische stimulus voor de insect moet leveren.

De drie functionele blokken van de rugzak van de kakkerlak, hierboven afgebeeld, omvatten draadloze stimulatie, een primaire controller-eenheid en perifere componenten, met het IR-gebaseerde machine learning-systeem en de navigatiefunctie ingebed in de primaire controller-eenheid. Het circuit van de rig is opgesplitst in verschillende componenten om beter te passen bij de geometrie van de kakkerlak.

De Madagaskar-kakkerlak (onder de grootste soorten ter wereld, met een maximale laadcapaciteit van 15g) wordt bestuurd door kleine elektrische schokken die het in een bepaalde richting sturen, geïmplementeerd door vier elektroden die in de antennes (cerci) en in de buik van de insect zijn geïmplanteerd. De elektroden zijn bevestigd met bijenwas.

AI toevoegen aan insecten voor zoek- en reddingsoperaties

Het nieuwe initiatief bouwt voort op eerder werk van UC Berkeley en de Nanyang Technological University in Singapore, dat voor het eerst het gebruik van bestuurbaar kevers in USAR-scenario’s heeft onderzocht.

2016 onderzoek naar het besturen van de vluchtroute van een kever. Bron: https://www.youtube.com/watch?v=iljHXpE4LG8

Hoewel kevers de mogelijkheid hebben om te vliegen, is hun laadcapaciteit daardoor verlaagd, waardoor de potentie van onboard-technologieën wordt verlaagd, en de energievraag wordt kritisch, vooral in een situatie waarin het nodig is om een machine learning-algoritme uit te voeren.

Het onboard autonome mensherkenningsysteem in het nieuwe initiatief gebruikt een beeldclassificatiemodel met support vector machine (SVM) en Histogram of Oriented Gradients.

De beweging van de kakkerlak wordt gericht door het geïntegreerde navigatiesysteem en leidt de ‘biobot’ naar een vooraf bepaalde bestemming zonder enige kennis van de tussenliggende obstakels. Voor het grootste deel lost de eigen formidabele navigatievaardigheden van de kakkerlak de meeste problemen op bij het bereiken van een anders onbereikbare locatie.

Bron: https://arxiv.org/abs/2105.10869

Het onboard infraroodsysteem maakt beelden met een frequentie van 1 Hz, werkt succesvol in donkere gebieden en rapporteert draadloos alle gevonden overlevenden in real-time aan een commandocentrum. Om energie te besparen, begint het beeldanalysesysteem alleen te werken als het wordt geactiveerd door een positieve infraroodmeting.

Het model neemt slechts 18,3kB aan Flash-geheugen en 52,2kB aan statische RAM in beslag, en bereikt een berekeningsduur van 95 milliseconden. Een redelijke verwerkingstijd is essentieel in een USAR-scenario, omdat verre infraroodsignalen anders kunnen worden gemist in de verwerkingstijd terwijl de kakkerlak van richting verandert en terrein aflegt.

Het systeem heeft ook sensoren om temperatuur, luchtvochtigheid en CO2 te meten, om lokale omstandigheden voor een mogelijke reddingspoging te melden en om het commandocentrum in staat te stellen de insect weg te sturen van elke situatie die het in gevaar zou brengen.

Testen in gesimuleerde terreinen

Het systeem is getest in een gesimuleerd rampscenario (afbeelding hierboven), met effectieve obstakelonderhandeling, behalve in bepaalde bijzonder uitdagende configuraties met steile klimmen, aangezien de kakkerlak door het aangehechte apparaat een gewichtsnadeel heeft.

Het navigatie-architectuur had aanvankelijk de neiging om vast te lopen bij overweldigende obstakels, zoals situaties waarin zelfs de kakkerlak niet verder kon gaan, en de onderzoekers ontwikkelden vervolgens een predictief feedbacknavigatiesysteem om de prestaties te verbeteren bij het omgaan met hoge obstakels. Het systeem kon een succespercentage van 100% bereiken in omgevingen met geen of weinig obstakels, en een hoger succespercentage met hoge obstakels.

Waar mislukking optreedt, concluderen de onderzoekers dat dit kan worden verholpen door de duur van het experiment te verlengen, hoewel dit logischerwijs gevolgen heeft voor een tijdgevoelig USAR-scenario.

Infraroodbeeld

De onboard infraroodcamera heeft bescheiden specificaties, werkt bij 32×32 pixels met een gezichtsveld van 90 graden. De beelden, wanneer geactiveerd, worden doorgegeven aan een median denoising-filter.

Het systeem bereikt een succespercentage van 87% bij het onderscheiden van menselijke onderwerpen van andere soorten thermische signalen, stijgend tot 90% wanneer binnen een straal van 0,5 m en 1,5 m.

Door energiële en chipgroottebeperkingen, bevat de initiële studie geen onboard lokaliseringsysteem, en is het dus niet mogelijk om de positie van de kakkerlak in real-time te volgen. De onderzoekers suggereren dat dead reckoning kan worden geïmplementeerd als een energiebesparende oplossing, met laagenergie-locatiesignalen die terug naar het commandocentrum worden gestuurd, in toekomstige implementaties.

Insecten als zoek- en reddingsoperatoren

De afgelopen tien jaar hebben een reeks onderzoeksprojecten gezien die proberen de veerkracht en navigatiekracht van insecten te gebruiken om hybride of puur robotische systemen voor zoek- en reddingsoperaties te creëren. Behalve het in 2016 uitgevoerde kevergerelateerde onderzoek dat aan dit laatste initiatief voorafging, zijn er verschillende pogingen gedaan om insectachtige capaciteiten in zuivere robotvorm te recreëren.

Deze omvatten een 2019 onderzoeksproject van UoC dat een eenvoudig robotisch apparaat op basis van de principes van een kakkerlak aanbood, een van de eerste projecten van dit type om de extreme kwetsbaarheid van robotinsecten aan te pakken.