Karaluch z wyposażeniem do poszukiwania i ratownictwa z użyciem sztucznej inteligencji

Miedzynarodowy zespół badaczy z dziedziny robotyki opracował system poszukiwania i ratownictwa (USAR), który wykorzystuje “sterowalnego” żywego karalucha do transportu miniaturyzowanego systemu wykrywania ocalałych za pomocą sztucznej inteligencji i podczerwieni w sytuacjach katastrof, które są trudne do przebycia.

System jest wynikiem współpracy pomiędzy departamentami badawczymi w Singapurze, Chinach, Niemczech i Wielkiej Brytanii. Wykorzystuje karalucha z Madagaskaru jako pojazd i ma wystarczającą ilość energii, aby działać przez kilka godzin.

Źródło: https://arxiv.org/abs/2105.10869

Hybrydowy system ratowniczy wyposażony jest w model sztucznej inteligencji do rozpoznawania ludzi, który został opracowany na podstawie obrazów podczerwieni, oraz napędza mobilny system wykrywania podczerwieni, który może działać autonomicznie, jeśli jest to konieczne, i przekazuje informacje o znalezionych ocalałych do stacji bazowej.

Ograniczone lokalne zasoby

Ramowy model sztucznej inteligencji musi działać na niezwykle ograniczonych zasobach: tylko 191,8 kB pamięci RAM i 1988 kB pamięci Flash pozostaje dla systemu z ogólnych wymagań energetycznych urządzenia, które również musi dostarczać bodźce elektryczne dla owada.

Trzy funkcjonalne bloki plecaka karalucha, przedstawione powyżej, obejmują bezprzewodową stymulację, jednostkę kontrolną i komponenty peryferyjne, z systemem sztucznej inteligencji wykorzystującym podczerwień i funkcjonalnością nawigacji wbudowaną w jednostkę kontrolną. Obwód urządzenia został podzielony na kilka komponentów, aby lepiej dopasować się do geometrii karalucha.

Karaluch z Madagaskaru (jeden z największych gatunków na świecie, z maksymalnym udźwigiem 15 g) jest sterowany przez małe szoki elektryczne, które kierują go w jednym lub drugim kierunku, wprowadzane przez cztery elektrody wszczepione w czułki (cerci) i brzuch. Elektrody są zabezpieczone woskiem pszczelim.

Dodanie sztucznej inteligencji do poszukiwania i ratownictwa owadów

Nowa inicjatywa rozwija wcześniejsze prace z UC Berkeley i Nanyang Technological University w Singapurze, które po raz pierwszy opracowały sterylne owady w scenariuszach poszukiwania i ratownictwa.

Badania z 2016 roku dotyczące sterowania lotem chrabąszcza. Źródło: https://www.youtube.com/watch?v=iljHXpE4LG8

Chociaż chrabąszcze mają dodatkową zdolność latania, ich udźwig jest odpowiednio zmniejszony, co obniża potencjalne możliwości technologii na pokładzie, oraz zwiększa zapotrzebowanie na energię, szczególnie w przypadku, gdy konieczne jest uruchomienie algorytmu sztucznej inteligencji.

Wbudowany autonomiczny system rozpoznawania ludzi wykorzystuje model klasyfikacji obrazów wykorzystujący wektory wspierające (SVM) i histogramy skierowanych gradientów.

Ruch karalucha jest kierowany przez zintegrowany system nawigacji i prowadzi “biobot” do wcześniej ustalonego celu bez znajomości przeszkód po drodze. W większości przypadków własne zdolności nawigacyjne karalucha rozwiązują większość problemów związanych z dotarciem do miejsca, które byłoby w przeciwnym razie niedostępne.

Źródło: https://arxiv.org/abs/2105.10869

Wbudowany system podczerwieni rejestruje obrazy z częstotliwością 1 Hz, działa skutecznie w ciemnych obszarach i bezprzewodowo przekazuje informacje o znalezionych ocalałych do centrum dowodzenia w czasie rzeczywistym. Aby zaoszczędzić energię, system analizy obrazu rozpoczyna działanie tylko wtedy, gdy jest wyzwalany przez pozytywny odczyt podczerwieni.

Model zajmuje zaledwie 18,3 kB pamięci Flash i 52,2 kB pamięci RAM, osiągając czas obliczeń 95 milisekund. Rozsądnym czasem przetwarzania jest niezwykle istotny w scenariuszu poszukiwania i ratownictwa, ponieważ odległe sygnały podczerwieni mogą być przegapione w czasie przetwarzania, gdy karaluch zmienia kierunek i pokonuje teren.

System posiada również czujniki do monitorowania temperatury, wilgotności i stężenia CO2, w celu raportowania lokalnych warunków dla możliwej akcji ratowniczej oraz umożliwienia centrum dowodzenia skierowania owada z dala od sytuacji, które mogą mu zagrozić.

Testowanie w symulowanych terenach

System został przetestowany w symulowanym scenariuszu katastrofy (obraz powyżej), z efektywnym negocjowaniem przeszkód, z wyjątkiem pewnych szczególnie wymagających konfiguracji, w tym stromych wzniesień, ponieważ karaluch jest w niekorzystnej sytuacji ze względu na wagę urządzenia.

Architektura nawigacji początkowo miała tendencję do zakleszczania się w przypadku przeszkód, takich jak sytuacje, w których nawet karaluch nie mógł się posunąć dalej, a badacze opracowali następnie system nawigacji z wyprzedzeniem, aby poprawić wydajność w przypadku wysokich przeszkód. System osiągnął 100% wskaźnik sukcesu w środowiskach z brakiem lub niskimi przeszkodami i wyższy wskaźnik sukcesu z wysokimi przeszkodami.

Gdzie wystąpiła niepowodzenie, badacze stwierdzają, że mogłoby to być złagodzone przez zwiększenie czasu trwania eksperymentu, choć ma to konsekwencje w czasowo krytycznym scenariuszu poszukiwania i ratownictwa.

Widok podczerwieni

Wbudowana kamera podczerwieni ma skromne parametry, działa w rozdzielczości 32×32 pikseli z polem widzenia 90 stopni. Obrazy, gdy są wyzwalane, są przekazywane przez filtr mediany.

System osiąga 87% wskaźnik sukcesu w rozróżnianiu ludzi od innych typów sygnatur termicznych, wzrastając do 90%, gdy znajduje się w promieniu 0,5 m i 1,5 m.

Ze względu na ograniczenia energetyczne i wielkości chipów, początkowe badanie nie obejmuje systemu lokalizacji na pokładzie, a zatem nie jest możliwe śledzenie położenia karalucha w czasie rzeczywistym. Badacze sugerują, że mogliby wykorzystać system “ślepej nawigacji” jako rozwiązanie oszczędzające energię, z niskimi sygnałami lokalizacji przekazywanymi z powrotem do centrum dowodzenia, w przyszłych wdrożeniach.

Owady jako operatorzy poszukiwania i ratownictwa

Ostatnie dziesięć lat przyniosło szereg projektów badawczych, które mają na celu wykorzystanie wytrzymałości i mocy nawigacyjnej owadów do tworzenia hybrydowych lub czysto robotycznych systemów poszukiwania i ratownictwa. Poza pracą z 2016 roku dotyczącą chrabąszczy, która poprzedza tę najnowszą inicjatywę, było wiele prób odtworzenia możliwości owadów w postaci czysto robotycznej.

Obejmują one projekt badawczy z 2019 roku z UoC, który zaproponował proste roboty inspirowane zasadami karalucha, jeden z pierwszych projektów, które zajmowały się ekstremalną kruchłością owadów robotycznych.