Ny metode hjelper selvkjørende biler å lage «minner»

Et team av forskere ved Cornell University har utviklet en ny metode som gjør det mulig for selvkjørende biler å lage «minner» av tidligere erfaringer, som kan brukes i fremtidige navigasjoner. Dette vil være spesielt nyttig når disse selvkjørende bilene ikke kan stole på sensorer i dårlig vær.

Læring fra fortiden

Dagens selvkjørende biler som bruker kunstige nevralt nettverk har ingen minne om fortiden, noe som betyr at de konstant «ser» ting for første gang. Og dette er sant uansett hvor mange ganger de har kjørt den eksakte samme vei.

Killian Weinberger er seniorforfatter av forskningen og professor i datavitenskap.

“Det grunnleggende spørsmålet er, kan vi lære fra gjentatte gjennomkjøringer?” sa Weinberger. “For eksempel, en bil kan forveksle et merkelig formet tre med en fotgjenger første gang dens laserradar oppfatter det fra avstand, men når den er nær nok, vil objektkategori bli klar. Så, andre gang du kjører forbi det samme treet, selv i tåke eller snø, ville du håpe at bilen nå har lært å gjenkjenne det riktig.”

Ledet av doktorgradsstudent Carlos Diaz-Ruiz, skapte gruppen en datasett ved å kjøre en bil utstyrt med LiDAR-sensorer. Den ble kjørt rundt en 15-kilometer løkke totalt 40 ganger over en 18-måneders periode. De forskjellige testkjøringer fanget forskjellige miljøer, værforhold og tidspunkter på dagen. Alt dette skapte en datasett med over 600 000 scener.

“Det eksponerer bevisst en av de viktigste utfordringene i selvkjørende biler: dårlig vær,” sa Diaz-Ruiz. “Hvis gaten er dekket av snø, kan mennesker stole på minner, men uten minner er et nevralt nettverk sterkt vanskelig.”

HINDSIGHT og MODEST

En av tilnærmingene, betegnet HINDSIGHT, bruker nevralt nettverk til å beregne beskrivelser av objekter mens bilen passerer dem. Disse beskrivelsene, betegnet SQuaSH, komprimeres og lagres på en virtuell kart, og skaper en type «minne» lik hvordan vi lagrer våre egne minner i hjernen.

Når den selvkjørende bilen kjører gjennom samme sted i fremtiden, spør den lokale SQuaSH-databasen for hver LiDAR-punkt langs ruten, «huskende» hva den lærte. Den kontinuerlig oppdaterte databasen deles på tvers av kjøretøy, og hjelper med å forbedre gjenkjennelse ved å gi mer informasjon.

Yurong You er en doktorgradsstudent.

“Denne informasjonen kan legges til som funksjoner til enhver LiDAR-basert 3D-objektdetektor,” sa You. “Både detektoren og SQuaSH-representasjonen kan trenes sammen uten noen ekstra tilsyn, eller menneskelig annotering, som er tid- og arbeidskrevende.

HINDSIGHT vil hjelpe teamet med ytterligere forskning de gjennomfører, som kalles MODEST (Mobile Object Detection med Ephemerality og Self-Training). MODEST vil fremme denne prosessen og aktivere bilen til å lære hele persepsjonspipeline.

HINDSIGHT antar at det kunstige nevralt nettverket allerede er trenet til å detektere objekter og utvides med evnen til å skape minner, mens MODEST antar at det kunstige nevralt nettverket aldri har vært utsatt for noen objekter eller gater. Etter flere gjennomkjøringer av samme rute, lærer den hvilke deler av miljøet som er stasjonære eller flytende objekter. Denne prosessen aktiverer systemet til å lære seg hva det skal være oppmerksom på som andre trafikkdeltakere.

Algoritmen viste en evne til å pålitelig detektere objekter selv på veier som ikke var en del av de opprinnelige gjennomkjøringer.

Teamet tror at disse nye tilnærmingene kan redusere utviklingskostnadene for selvkjørende biler, samt gjøre dem mer effektive.