Ny metode hjælper selv kørende biler med at skabe “erindringer”

Et hold forskere fra Cornell University har udviklet en ny metode, der giver selv kørende biler mulighed for at skabe “erindringer” af tidligere oplevelser, som kan bruges i fremtidig navigation. Dette vil være særlig nyttigt, når disse selv kørende biler ikke kan stole på sensorer i dårligt vejr.

Læring fra fortiden

Nuværende selv kørende biler, der bruger kunstige neurale netværk, har ingen erindring om fortiden, hvilket betyder, at de konstant “ser” ting for første gang. Og dette er sandt uanset, hvor mange gange de har kørt den samme vej.

Killian Weinberger er seniorforfatter på forskningen og professor i datalogi.

“Det fundamentale spørgsmål er, om vi kan lære af gentagne gennemkørsler?” sagde Weinberger. “For eksempel kan en bil forveksle et underligt formet træ med en fodgænger den første gang, dens laserscanner opfatter det fra afstand, men når den er tæt nok, bliver objektets kategori klart. Så den anden gang du kører forbi det samme træ, selv i tåge eller sne, ville du håbe, at bilen nu har lært at genkende det korrekt.”

Ledet af doktorstuderende Carlos Diaz-Ruiz skabte gruppen en dataset ved at køre en bil udstyret med LiDAR-sensorer. Den blev kørt rundt i en 15-kilometer løkke i alt 40 gange over en 18-måneders periode. De forskellige testkørsler fik fat i forskellige miljøer, vejrforhold og tidspunkter på dagen. Alt dette skabte en dataset med mere end 600.000 scener.

“Det udsætter bevidst en af de vigtigste udfordringer for selv kørende biler: dårligt vejr,” sagde Diaz-Ruiz. “Hvis gaden er dækket af sne, kan mennesker stole på erindringer, men uden erindringer er et neuralt netværk kraftigt udsat.”

HINDSIGHT og MODEST

En af tilgangene, der kaldes HINDSIGHT, bruger neurale netværk til at beregne beskrivelser af objekter, mens bilen passerer dem. Disse beskrivelser, der kaldes SQuaSH, komprimeres og gemmes på en virtuel kort, og skaber en slags “erindring” ligesom den, vi selv gemmer i hjernen.

Når den selv kørende bil kører samme sted i fremtiden, henter den fra den lokale SQuaSH-database for hver LiDAR-punkt langs ruten, “huskende” hvad den har lært. Den kontinuerligt opdaterede database deles på tværs af køretøjer, og hjælper med at forbedre genkendelsen ved at give mere information.

Yurong You er doktorstuderende.

“Denne information kan tilføjes som funktioner til enhver LiDAR-baseret 3D-objektdetektor,” sagde You. “Både detektor og SQuaSH-repræsentation kan trænes sammen uden yderligere overvågning eller menneskelig annotation, som er tids- og arbejdskrævende.

HINDSIGHT vil hjælpe holdet med yderligere forskning, de udfører, som kaldes MODEST (Mobile Object Detection med Ephemerality og Self-Training). MODEST vil udvikle denne proces og give bilen mulighed for at lære hele perceptionsprocessen.

HINDSIGHT antager, at det kunstige neurale netværk allerede er trænet til at detektere objekter og udvides med evnen til at skabe erindringer, mens MODEST antager, at det kunstige neurale netværk aldrig er blevet udsat for nogen objekter eller gader. Efter multiple gennemkørsler af samme rute lærer det, hvilke dele af miljøet er stationære eller mobile objekter. Denne proces giver systemet mulighed for at lære, hvad det skal være opmærksom på som andre trafikanter.

Algoritmen demonstrerede en evne til pålideligt at detektere objekter, selv på veje, der ikke var en del af de første gennemkørsler.

Holdet mener, at disse nye tilgange kan reducere udviklingsomkostningerne for selv kørende biler samt gøre dem mere effektive.