Ny metode hjælper selv kørende biler med at skabe ‘erindringer’

Et hold af forskere ved Cornell University har udviklet en ny metode, der giver autonomme køretøjer mulighed for at skabe “erindringer” af tidligere oplevelser, som derefter kan bruges til fremtidig navigation. Dette vil være særligt nyttigt, når disse selv kørende biler ikke kan stole på sensorer i dårlige vejrforhold.

At lære af fortiden

Nuværende selv kørende biler, der bruger kunstige neurale netværk, har ingen erindring om fortiden, hvilket betyder, at de konstant “ser” ting for første gang. Og dette er sandt uanset, hvor mange gange de har kørt den eksakte samme vej.

Killian Weinberger er hovedforfatter af forskningen og professor i datalogi.

“Den fundamentale spørgsmål er, om vi kan lære af gentagne gennemløb?” sagde Weinberger. “For eksempel kan en bil forveksle et underligt formet træ med en fodgænger første gang dens laserscanner opfatter det på afstand, men når den er tæt nok, bliver objektets kategori klart. Så den anden gang du kører forbi det samme træ, selv i tåge eller sne, ville du håbe, at bilen nu har lært at genkende det korrekt.”

Ledet af ph.d.-studerende Carlos Diaz-Ruiz skabte gruppen en dataset ved at køre en bil udstyret med LiDAR-sensorer. Den blev kørt rundt i en 15-kilometer lange løkke i alt 40 gange over en 18-måneders periode. De forskellige testkørsler fik fat i forskellige miljøer, vejrforhold og tidspunkter på dagen. Alt dette skabte en dataset med mere end 600.000 scener.

“Det udsætter bevidst for en af de væsentlige udfordringer i selv kørende biler: dårlige vejrforhold,” sagde Diaz-Ruiz. “Hvis gaden er dækket af sne, kan mennesker stole på erindringer, men uden erindringer er et neuralt netværk kraftigt udsat.”

https://www.youtube.com/watch?v=QZUECL6fPiQ

HINDSIGHT og MODEST

En af tilgangene, der kaldes HINDSIGHT, bruger neurale netværk til at beregne beskrivelser af objekter, mens bilen passerer dem. Disse beskrivelser, der kaldes SQuaSH, komprimeres og gemmes på en virtuel kort, og skaber en type “erindring” lignende den, vi selv gemmer vores egne erindringer i hjernen.

Når den selv kørende bil kører samme sted i fremtiden, henvender den sig til den lokale SQuaSH-database for hver LiDAR-punkt langs ruten, “huskende” hvad den har lært. Den kontinuerligt opdaterede database deles på tværs af køretøjer, og hjælper med at forbedre genkendelse ved at give mere information.

Yurong You er ph.d.-studerende.

“Denne information kan tilføjes som funktioner til enhver LiDAR-baseret 3D-objektdetektor,” sagde You. “Både detektor og SQuaSH-repræsentation kan trænes sammen uden yderligere overvågning eller menneskelig annotation, som er tids- og arbejdskrævende.

HINDSIGHT vil hjælpe holdet med yderligere forskning, som kaldes MODEST (Mobile Object Detection med Ephemerality og Self-Training). MODEST vil fremme denne proces og give bilen mulighed for at lære hele perceptionspipeline.

HINDSIGHT antager, at det kunstige neurale netværk allerede er trænet til at detektere objekter og supplerer med evnen til at skabe erindringer, mens MODEST antager, at det kunstige neurale netværk aldrig har været udsat for nogen objekter eller gader. Efter multiple gennemløb af samme rute lærer den, hvilke dele af miljøet er stationære eller mobile objekter. Denne proces giver systemet mulighed for at lære sig selv, hvad den skal være opmærksom på som andre trafikdeltagere.

Algoritmen demonstrerede en evne til pålideligt at detektere objekter, selv på veje, der ikke var en del af de første gennemløb.

Holdet mener, at disse nye tilgange kan reducere udviklingsomkostningerne for autonomme køretøjer samt gøre dem mere effektive.