Ny metode hjelper selvkjørende biler å skape «minner»

Et team av forskere ved Cornell University har utviklet en ny metode som gjør det mulig for autonome kjøretøy å skape «minner» av tidligere erfaringer, som kan brukes i fremtidig navigasjon. Dette vil være spesielt nyttig når disse selvkjørende bilene ikke kan stole på sensorer i dårlig vær.

Læring fra fortiden

Dagens selvkjørende biler som bruker kunstige nevralt nettverk har ingen minne om fortiden, noe som betyr at de konstant «ser» ting for første gang. Og dette er sant uavhengig av hvor mange ganger de har kjørt den eksakte samme veien.

Killian Weinberger er hovedforfatter av forskningen og professor i datavitenskap.

“Den grunnleggende spørsmålet er, kan vi lære fra gjentatte gjennomkjøringer?” sa Weinberger. “For eksempel, en bil kan forveksle et underlig formet tre med en fotgjenger første gang dens laserskanner oppfatter det fra avstand, men når den er nær nok, vil gjenstanden kategorien bli klar. Så, andre gang du kjører forbi det samme treet, selv i tåke eller snø, ville du håpe at bilen nå har lært å gjenkjenne det riktig.”

Ledet av doktorgradsstudent Carlos Diaz-Ruiz, skapte gruppen en datasett ved å kjøre en bil utstyrt med LiDAR-sensorer. Den ble kjørt rundt en 15-kilometer løkke totalt 40 ganger over en 18-måneders periode. De forskjellige testkjøringer fanget forskjellige miljøer, værforhold og tid på dagen. Alt dette skapte en datasett med over 600 000 scener.

“Det eksponerer bevisst en av de viktigste utfordringene i selvkjørende biler: dårlig vær,” sa Diaz-Ruiz. “Hvis gaten er dekket av snø, kan mennesker stole på minner, men uten minner er et nevralt nettverk sterkt vanskeliggjort.”

HINDSIGHT og MODEST

En av tilnærmingene, betegnet HINDSIGHT, bruker nevralt nettverk til å beregne beskrivelser av objekter mens bilen passerer dem. Disse beskrivelsene, betegnet SQuaSH, komprimeres og lagres på en virtuell kart, og skaper en type «minne» lignende hvordan vi lagrer våre egne minner i hjernen.

Når den selvkjørende bilen kjører gjennom samme sted i fremtiden, spør den lokale SQuaSH-databasen for hver LiDAR-punkt langs ruten, «husker» hva den lærte. Den kontinuerlig oppdaterte databasen deles på tvers av kjøretøy, og hjelper med å forbedre gjenkjenning ved å gi mer informasjon.

Yurong You er en doktorgradsstudent.

“Denne informasjonen kan legges til som funksjoner til enhver LiDAR-basert 3D-objektdetektor,” sa You. “Både detektoren og SQuaSH-representasjonen kan trenes sammen uten noen ekstra overvåking eller menneskelig annotering, som er tid- og arbeidskrevende.

HINDSIGHT vil hjelpe teamet med ytterligere forskning de gjennomfører, som kalles MODEST (Mobile Object Detection med Ephemerality og Self-Training). MODEST vil fremme denne prosessen og gjøre det mulig for bilen å lære hele persepsjonsrøret.

HINDSIGHT antar at det kunstige nevralt nettverket allerede er trenet til å detektere objekter og utvides med evnen til å skape minner, mens MODEST antar at det kunstige nevralt nettverket aldri har vært utsatt for noen objekter eller gater. Etter flere gjennomkjøringer av samme rute, lærer den hvilke deler av miljøet som er stasjonære eller bevegelige objekter. Denne prosessen gjør det mulig for systemet å lære seg selv hva det skal være oppmerksom på som andre trafikkdeltakere.

Algoritmen viste en evne til å pålitelig detektere objekter selv på veier som ikke var en del av de opprinnelige gjennomkjøringer.

Teamet tror at disse nye tilnærmingene kan redusere utviklingskostnadene for autonome kjøretøy, samt gjøre dem mer effektive.