Naukowcy nadają robotom ekstremalną wrażliwość na czubku palców

Zespół naukowców z Max Planck Institute for Intelligent Systems (MPI-IS) wprowadził wytrzymały miękki czujnik haptyczny, który wykorzystuje widzenie komputerowe i głęboką sieć neuronową do oszacowania, gdzie obiekty mają kontakt z czujnikiem. Może również oszacować, jak duże są zastosowane siły.

Nowe badania, które zostały opublikowane w Nature Machine Intelligence, pomogą robotom wyczuwać ich środowisko tak dokładnie, jak ludzie i zwierzęta.

Czujnik w kształcie kciuka z szkieletem

Czujnik ma kształt kciuka i jest wykonany z miękkiej skorupy zbudowanej wokół lekkiego szkieleta. Szkielec działa tak samo jak kości, aby stabilizować miękką tkankę palca, i składa się z elastomeru zmieszanego z refleksyjnymi płatkami aluminium. Tworzy to szaro-niebieskawy kolor, który zapobiega przedostawaniu się światła zewnętrznego. Wewnątrz palca znajduje się kamera o szerokim kącie widzenia, która rejestruje kolorowe obrazy oświetlone diodami LED.

Wygląd wzoru kolorystycznego wewnątrz czujników zmienia się w zależności od obiektu, który dotyka skorupy czujnika, a kamera szybko rejestruje obrazy i dostarcza dane sieci neuronowej.

Każda mała zmiana światła w każdym pikselu jest wykrywana przez algorytm, a w ciągu ułamka sekundy model uczenia maszynowego tworzy mapę, gdzie palec ma kontakt z obiektem. Określa również siłę i kierunek siły.

Georg Martius jest liderem grupy badawczej Max Planck w MPI-IS i kierownikiem grupy Autonomous Learning.

“Osiągnęliśmy ten doskonały wynik dzięki innowacyjnej konstrukcji mechanicznej skorupy, dostosowanemu systemowi obrazowania wewnątrz, automatycznemu zbiorowi danych i najnowocześniejszemu uczeniu głębokiemu”, mówi Martius.

Huanbo Sun jest doktorantem Martiusa.

“Nasza unikalna hybrydowa struktura miękkiej skorupy otaczającej sztywny szkielet zapewnia wysoką wrażliwość i wytrzymałość. Nasza kamera może wykryć nawet najmniejsze deformacje powierzchni z jednego tylko obrazu”, mówi Sun.

Według Katherine J. Kuchenbecker, dyrektora departamentu Haptic Intelligence w MPI-IS, nowe czujniki okażą się niezwykle przydatne.

“Poprzednie miękkie czujniki haptyczne miały tylko małe obszary czujnikowe, były delikatne i trudne do wykonania, a często nie mogły odczuwać sił równoległych do skóry, co jest niezbędne do manipulacji robotami, takich jak trzymanie szklanki wody lub przesuwania monety po stole”, mówi Kuchenbecker.

Nauka czujnika

Aby czujnik mógł się uczyć, Sun opracował stanowisko testowe, które generuje dane szkoleniowe dla modelu uczenia maszynowego, aby mógł on nauczyć się korelacji między zmianą surowych pikseli obrazu a zastosowanymi siłami. Wygenerowano około 200 000 pomiarów ze stanowiska testowego, które badają czujnik wokół jego powierzchni, a model został wyszkolony w ciągu jednego dnia.

“Projekt sprzętu i oprogramowania, który przedstawiamy w naszej pracy, może być przeniesiony na wiele różnych części robotów o różnych kształtach i wymaganiach precyzyjności. Architektura uczenia maszynowego, szkolenie i proces inferencyjny są wszystkie ogólne i mogą być zastosowane do wielu innych projektów czujników”, mówi Huanbo Sun.