Nowy sposób pomaga samochodom autonomicznym tworzyć „wspomnienia”

Zespół badaczy z Cornell University opracował nową metodę, która umożliwia pojazdom autonomicznym tworzenie „wspomnień” z poprzednich doświadczeń, które mogą być wykorzystywane w przyszłej nawigacji. Będzie to szczególnie przydatne, gdy samochody autonomiczne nie będą mogły polegać na czujnikach w złych warunkach pogodowych.

Uczymy się z przeszłości

Obecne samochody autonomiczne, które wykorzystują sztuczne sieci neuronowe, nie mają pamięci o przeszłości, co oznacza, że ciągle „widzą” rzeczy po raz pierwszy. I jest to prawdą niezależnie od tego, ile razy przejechały tę samą drogę.

Killian Weinberger jest głównym autorem badań i profesorem informatyki.

“Podstawowe pytanie brzmi, czy możemy uczyć się z powtarzających się przejazdów?” powiedział Weinberger. “Na przykład, samochód może pomylić dziwnie ukształtowane drzewo z pieszym po raz pierwszy, gdy jego skaner laserowy postrzega je z odległości, ale gdy jest wystarczająco blisko, kategoria obiektu staje się jasna. Więc drugi raz, gdy przejeżdżasz tę samą drogę, nawet w mgłe lub śniegu, powinieneś mieć nadzieję, że samochód nauczył się rozpoznać ją poprawnie”.

Pod kierunkiem doktora Carlosa Diaz-Ruiza zespół stworzył zestaw danych, jeżdżąc samochodem wyposażonym w czujniki LiDAR. Samochód został przejechany po pętli o długości 15 kilometrów łącznie 40 razy w ciągu 18 miesięcy. Różne testy drogowe uwzględniały różne środowiska, warunki pogodowe i pory dnia. Wszystko to stworzyło zestaw danych z ponad 600 000 scen.

“Celowo ujawnia jeden z kluczowych wyzwań w samochodach autonomicznych: złe warunki pogodowe”, powiedział Diaz-Ruiz. “Jeśli ulica jest pokryta śniegiem, ludzie mogą polegać na wspomnieniach, ale bez wspomnień sieć neuronowa jest poważnie niekorzystna”.

HINDSIGHT i MODEST

Jeden z podejść, określony jako HINDSIGHT, wykorzystuje sieci neuronowe do obliczania opisów obiektów, gdy samochód je mijają. Te opisy, określane jako SQuaSH, są następnie kompresowane i przechowywane na wirtualnej mapie, tworząc rodzaj „pamięci” podobnej do tej, jaką przechowujemy w mózgu.

Gdy samochód autonomiczny przejeżdża tę samą lokalizację w przyszłości, wysyła zapytanie do lokalnej bazy danych SQuaSH dla każdego punktu LiDAR na trasie, „pamiętając” to, czego się nauczył. Ciągle aktualizowana baza danych jest udostępniana między pojazdami, pomagając poprawić rozpoznawanie, dostarczając więcej informacji.

Yurong You jest doktorantem.

“Te informacje mogą być dodane jako funkcje do dowolnego detektora obiektów 3D opartego na LiDAR”, powiedział You. “Oba detektory i reprezentacja SQuaSH mogą być szkolone wspólnie bez dodatkowej nadzoru lub adnotacji ludzkich, co jest czasochłonne i wymaga dużo pracy.

HINDSIGHT pomoże zespołowi w dodatkowych badaniach, które prowadzą, a które nazywają się MODEST (Mobile Object Detection with Ephemerality and Self-Training). MODEST pozwoli na zaawansowanie tego procesu i umożliwi samochodowi nauczenie się całego procesu percepcji.

HINDSIGHT zakłada, że sztuczna sieć neuronowa jest już przeszkolona do wykrywania obiektów i uzupełnia ją o możliwość tworzenia wspomnień, podczas gdy MODEST zakłada, że sztuczna sieć neuronowa nie była nigdy narażona na żadne obiekty lub ulice. Po wielokrotnych przejazdach tej samej trasy uczy się, które części środowiska są obiektami stacjonarnymi lub ruchomymi. Ten proces pozwala systemowi nauczyć się, na co powinien zwrócić uwagę jako inny uczestnik ruchu.

Algorytm wykazał zdolność do niezawodnego wykrywania obiektów nawet na drogach, które nie wchodziły w skład początkowych przejazdów.

Zespół uważa, że te nowe podejścia mogą zmniejszyć koszty rozwoju pojazdów autonomicznych, a także uczynić je bardziej efektywnymi.