Ny metod hjälper självkörande bilar att skapa “minnen”

En grupp forskare vid Cornell University har utvecklat en ny metod som möjliggör för autonoma fordon att skapa “minnen” av tidigare upplevelser, som sedan kan användas vid framtida navigation. Detta kommer att vara särskilt användbart när dessa självkörande bilar inte kan lita på sensorer i dåliga väderförhållanden.

Lärande från det förflutna

Nuvarande självkörande bilar som använder artificiella neuronnätverk har inget minne av det förflutna, vilket betyder att de alltid “ser” saker för första gången. Och detta gäller oavsett hur många gånger de har kört den exakta samma väg.

Killian Weinberger är senior författare till forskningen och professor i datavetenskap.

“Den grundläggande frågan är, kan vi lära oss från upprepade färder?” sa Weinberger. “Till exempel kan en bil förväxla ett konstigt format trädd med en fotgängare första gången dess laserskanner uppfattar det på avstånd, men när den är tillräckligt nära, kommer objektets kategori att bli tydlig. Så, andra gången du kör förbi samma träd, även i dimma eller snö, hoppas du att bilen nu har lärt sig att känna igen det korrekt.”

Ledda av doktoranden Carlos Diaz-Ruiz skapade gruppen en dataset genom att köra en bil utrustad med LiDAR-sensorer. Den kördes runt en 15-kilometer slinga totalt 40 gånger under en 18-månadersperiod. De olika testkörningarna fångade olika miljöer, väderförhållanden och tider på dygnet. Allt detta skapade en dataset med mer än 600 000 scener.

“Det avsiktligt exponerar en av de viktigaste utmaningarna i självkörande bilar: dåliga väderförhållanden”, sa Diaz-Ruiz. “Om gatan är täckt av snö kan människor lita på minnen, men utan minnen är ett neuronnätverk kraftigt missgynnat.”

HINDSIGHT och MODEST

En av metoderna, som kallas HINDSIGHT, använder neuronnätverk för att beräkna beskrivningar av objekt när bilen passerar dem. Dessa beskrivningar, som kallas SQuaSH, komprimeras och lagras på en virtuell karta, vilket skapar en typ av “minne” som liknar hur vi lagrar våra egna minnen i hjärnan.

När den självkörande bilen kör samma plats i framtiden, frågar den den lokala SQuaSH-databasen för varje LiDAR-punkt längs rutten, “kommer ihåg” vad den lärde sig. Den kontinuerligt uppdaterade databasen delas mellan fordon, vilket förbättrar igenkänning genom att tillhandahålla mer information.

Yurong You är doktorand.

“Denna information kan läggas till som funktioner till vilken LiDAR-baserad 3D-objektdetektor som helst”, sa You. “Både detektorn och SQuaSH-representationen kan tränas gemensamt utan någon ytterligare övervakning eller mänsklig annotering, vilket är tids- och arbetskrävande.

HINDSIGHT kommer att hjälpa teamet med ytterligare forskning som de genomför, som kallas MODEST (Mobile Object Detection med Ephemerality och Self-Training). MODEST skulle förbättra denna process och möjliggöra för bilen att lära sig hela perceptionsprocessen.

HINDSIGHT antar att det artificiella neuronnätverket redan är tränat för att upptäcka objekt och kompletterar med förmågan att skapa minnen, medan MODEST antar att det artificiella neuronnätverket aldrig har exponerats för några objekt eller gator. Efter flera färder på samma rutt lär den sig vilka delar av miljön som är stationära eller rörliga objekt. Denna process möjliggör för systemet att lära sig vad det ska uppmärksamma som andra trafikdeltagare.

Algoritmen visade en förmåga att tillförlitligt upptäcka objekten även på vägar som inte ingick i de ursprungliga färderna.

Teamet tror att dessa nya metoder kan minska utvecklingskostnaderna för autonoma fordon, samt göra dem mer effektiva.