Ny metode hjælper selvkørende biler med at skabe 'minder'

Et team af forskere ved Cornell University har udviklet en ny metode, der gør det muligt for autonome køretøjer at skabe "minder" om tidligere oplevelser, som så kan bruges i fremtidig navigation. Dette vil især være nyttigt, når disse selvkørende biler ikke kan stole på sensorer i dårlige vejrmiljøer.

At lære af fortiden

Nuværende selvkørende biler, der bruger kunstige neurale netværk, har ingen hukommelse fra fortiden, hvilket betyder, at de konstant "ser" ting for første gang. Og det gælder uanset hvor mange gange de har kørt nøjagtig den samme vej.

Killian Weinberger er seniorforfatter af forskningen og professor i datalogi.

"Det grundlæggende spørgsmål er, kan vi lære af gentagne traverseringer?" sagde Weinberger. "For eksempel kan en bil forveksle et mærkeligt formet træ for en fodgænger, første gang dens laserscanner opfatter det på afstand, men når det er tæt nok på, vil objektkategorien blive tydelig. Så anden gang, du kører forbi det samme træ, selv i tåge eller sne, ville du håbe, at bilen nu har lært at genkende det korrekt."

Ledet af ph.d.-studerende Carlos Diaz-Ruiz oprettede gruppen et datasæt ved at køre en bil udstyret med LiDAR-sensorer. Den blev kørt rundt i en 15-kilometer sløjfe i alt 40 gange over en 18-måneders periode. De forskellige testkørsler fangede forskellige miljøer, vejrforhold og tidspunkter på dagen. Alt dette skabte et datasæt med mere end 600,000 scener.

"Det afslører bevidst en af ​​de vigtigste udfordringer i selvkørende biler: dårlige vejrforhold," sagde Diaz-Ruiz. "Hvis gaden er dækket af sne, kan mennesker stole på minder, men uden minder er et neuralt netværk stærkt ugunstigt stillet."

INDSIGT OG BESKEDELIGT

En af tilgangene, kaldet HINDSIGHT, bruger neurale netværk til at beregne deskriptorer af objekter, når bilen passerer dem. Disse beskrivelser, kaldet SQuaSH, bliver derefter komprimeret og gemt på et virtuelt kort, hvilket skaber en type "hukommelse", der ligner, hvordan vi gemmer vores egne minder i hjernen.

Når den selvkørende bil i fremtiden krydser det samme sted, forespørger den i den lokale SQuaSH-database for hvert LiDAR-punkt langs ruten og "husker" hvad den har lært. Den løbende opdaterede database deles på tværs af køretøjer og hjælper med at forbedre genkendelsen ved at give flere oplysninger.

Yurong You er ph.d.-studerende.

"Denne information kan tilføjes som funktioner til enhver LiDAR-baseret 3D-objektdetektor," sagde You. "Både detektoren og SQuaSH-repræsentationen kan trænes i fællesskab uden yderligere overvågning eller menneskelig annotering, hvilket er tids- og arbejdskrævende.

HINDSIGHT vil hjælpe holdet med yderligere forskning, de udfører, som kaldes MODEST (Mobile Object Detection with Ephemerality and Self-Training). MODEST ville fremme denne proces og sætte bilen i stand til at lære hele perceptionspipelinen.

HINDSIGHT antager, at det kunstige neurale netværk allerede er trænet til at detektere objekter og udvider med evnen til at skabe minder, mens MODEST antager, at det kunstige neurale netværk aldrig har været udsat for nogen genstande eller gader. Efter flere gennemkørsler af den samme rute lærer den, hvilke dele af miljøet der er stationære eller bevægelige objekter. Denne proces gør det muligt for systemet at lære sig selv, hvad det skal være opmærksom på som andre trafikdeltagere.

Algoritmen demonstrerede en evne til pålideligt at detektere objekterne selv på veje, der ikke udgjorde de indledende gennemkørsler.

Holdet mener, at disse nye tilgange kan reducere udviklingsomkostningerne for autonome køretøjer samt gøre dem mere effektive.