Postęp w „Spatial-AI” pozwala robotom postrzegać środowiska fizyczne jak ludzie

Inżynierowie z MIT pracują nad nadaniem robotom zdolności do wykonywania poleceń na wysokim poziomie, takich jak przejście do innego pokoju, aby pobrać przedmiot dla osoby. Aby było to możliwe, roboty będą musiały mieć możliwość postrzegania swojego środowiska fizycznego w sposób podobny do ludzi.

Luca Carlone jest adiunktem na wydziale aeronautyki i astronautyki w MIT.

„Aby podjąć jakąkolwiek decyzję na świecie, musisz mieć mentalny model środowiska wokół siebie”, mówi Carlone. „To jest coś tak łatwego dla ludzi. Ale dla robotów to bardzo trudny problem, gdzie chodzi o przekształcenie wartości pikseli, które widzą przez kamerę, w zrozumienie świata.”

Aby podjąć to wyzwanie, badacze stworzyli model percepcji przestrzennej dla robotów oparty na tym, jak ludzie postrzegają i nawigują w swoim środowisku fizycznym.

3D Dynamic Scene Graphs

Nowy model nazywa się 3D Dynamic Scene Graphs i umożliwia robotom generowanie mapy 3D ich otoczenia, w tym obiektów i ich etykiet semantycznych. Robot może również mapować ludzi, pokoje, ściany i inne struktury w środowisku.

Następnie model pozwala robotom wyodrębnić informacje z mapy 3D, informacje, które mogą być wykorzystane do lokalizacji obiektów, pokoi i ruchu ludzi.

„To zwarte przedstawienie środowiska jest przydatne, ponieważ pozwala naszemu robotowi szybko podejmować decyzje i planować swoją trasę”, mówi Carlone. „To nie jest zbyt odległe od tego, co robimy jako ludzie. Jeśli musisz zaplanować trasę z domu do MIT, nie planujesz każdej pojedynczej pozycji, którą musisz zajęć. Po prostu myślisz na poziomie ulic i punktów orientacyjnych, co pomaga ci szybciej zaplanować trasę.”

Według Carlone, roboty, które polegają na tym modelu, będą mogły robić znacznie więcej niż tylko zadania domowe. Mogą być również wykorzystywane do wysokopoziomowych umiejętności i współpracy z ludźmi w fabrykach lub pomagać w lokalizowaniu osób poszkodowanych w miejscu katastrofy.

https://www.youtube.com/watch?time_continue=39&v=SWbofjhyPzI&feature=emb_logo

Current Methods vs New Model

Obecne metody widzenia i nawigacji robota koncentrują się głównie na mapowaniu 3D, które pozwala robotom odtworzyć swoje środowisko w trzech wymiarach w czasie rzeczywistym, lub segmentacji semantycznej, która występuje, gdy roboty klasyfikują cechy w środowisku jako obiekty semantyczne, takie jak samochód a rower. Segmentacja semantyczna jest często wykonywana na obrazach 2D.

Nowo opracowany model percepcji przestrzennej jest pierwszym, który generuje mapę 3D środowiska w czasie rzeczywistym i jednocześnie etykietuje obiekty, ludzi i struktury w mapie 3D.

Aby osiągnąć ten nowy model, badacze polegli na Kimera, bibliotece open-source. Kimera została wcześniej opracowana przez ten sam zespół w celu zbudowania modelu geometrycznego 3D środowiska, jednocześnie kodując, co najprawdopodobniej jest obiektem, takim jak krzesło a biurko.

„Jak mityczne stworzenie, które jest połączeniem różnych zwierząt, chcieliśmy, aby Kimera była połączeniem mapowania i zrozumienia semantycznego w 3D”, mówi Carlone.

Kimera wykorzystywała obrazy z kamery robota i pomiary inertialne z czujników pokładowych do odtworzenia sceny jako siatki 3D w czasie rzeczywistym. Aby to zrobić, Kimera wykorzystywała sieć neuronową, która została przeszkolona na milionach obrazów z rzeczywistości. Mogła następnie przewidzieć etykietę każdego piksela i wykorzystać ray-casting do projekcji ich w 3D.

Dzięki zastosowaniu tej techniki środowisko robota może być mapowane w postaci siatki 3D, gdzie każda twarz jest kodowana kolorami, identyfikując ją jako część obiektów, struktur lub ludzi w środowisku.

3D Mesh to 3D Dynamic “Scene Graphs”

Ponieważ model siatki 3D semantycznej wymaga dużej mocy obliczeniowej i jest czasochłonny, badacze wykorzystali Kimera do opracowania algorytmów, które doprowadziły do 3D dynamicznych „grafów scen”.

Siatka 3D semantyczna jest rozdzielana na odrębne warstwy semantyczne, a robot może następnie widzieć scenę przez warstwę. Warstwy obejmują od obiektów i ludzi do otwartych przestrzeni i struktur, pokoi, korytarzy, hal i całych budynków.

Ta metoda warstwowa pozwala robotowi zawęzić swoją uwagę, zamiast musieć analizować miliardy punktów i twarzy. Ta metoda warstwowa pozwala również algorytmom śledzić ludzi i ich ruch w środowisku w czasie rzeczywistym.

Nowy model został przetestowany w symulatorze foto-realistycznym, który symuluje robota poruszającego się w środowisku biurowym z ludźmi.

„Podstawowo umożliwiamy robotom posiadanie modeli mentalnych podobnych do tych, które używają ludzie”, mówi Carlone. „To może mieć wpływ na wiele aplikacji, w tym samochody autonomiczne, poszukiwania i ratownictwo, współpracę w produkcji i robotykę domową.

Carlone został dołączony przez głównego autora i studenta MIT Antoniego Rosinola.

„Nasze podejście stało się możliwe dzięki niedawnym postępom w głębokim uczeniu i dekadom badań nad jednoczesną lokalizacją i mapowaniem”, mówi Rosinol. „Z tą pracą robimy skok w kierunku nowej ery percepcji robota zwanej spatial-AI, która jest jeszcze w powijakach, ale ma ogromny potencjał w robotyce i dużej skali wirtualnej i rozszerzonej rzeczywistości.”

Badania zostały przedstawione na konferencji Robotics: Science and Systems virtual conference.