AI-sensorer kan hjelpe selvkjørende kjøretøy i snødekte byer

En av de største utfordringene for selvkjørende kjøretøy er at de sliter med å navigere i dårlig vær, noe som begrenser deres implementering i snødekte byer som Detroit og Chicago. Kjøretøyene er avhengige av viktig sensordata for å detektere hindringer og holde seg på riktig side av veien, men denne dataen sliter i snø.

I to nye artikler presentert på SPIE Defense + Commercial Sensing 2021, diskuterte forskere fra Michigan Technological University nye løsninger for selvkjørende kjøretøy i snødekte scenarioer.

Det finnes en rekke selvkjørende kjøretøy, inkludert noen med blinde flekker eller bremseassistanse, og andre med på og av selvkjørende modus. Noen av de beste kjøretøyene kan operere helt på egen hånd.

Fordi teknologien fortsatt er i sin barndom på mange måter, arbeider bilprodusenter og forskningsuniversiteter kontinuerlig med å forbedre teknologien og algoritmene. Når ulykker skjer, skyldes de ofte en feilvurdering fra bilens AI eller en menneskelig feil.

Menneskesensorer

Menneskelige øyne er også en form for sensorer, da de sanser balanse og bevegelse. Hjernen vår fungerer som en prosessor, og hjelper oss å forstå vår omverden. Disse sammen muliggjør at vi kan kjøre i alle scenarioer, også nye, siden hjernen vår kan generalisere nye erfaringer.

Selvkjørende kjøretøy har vanligvis to kameraer montert på gimbaler, og de skanner og sanser dybde ved hjelp av stereo-syn til å etterligne menneskelig syn. Samtidig kan balanse og bevegelse måles med en inertialmålingsenhet. Datamaskiner kan bare reagere på tidligere møtt scenarioer eller de som de allerede er programmert til å gjenkjenne.

Sensorfusjon

Selvkjørende kjøretøy er avhengige av oppgave-spesifikke kunstig intelligens-algoritmer, som krever flere sensorer som fiskeøye-kameraer, infrarøde sensorer, radar, lysdeteksjon og lidar.

Nathir Rawashdeh er assistentprofessor i datavitenskap ved Michigan Techs College of Computing og en av hovedforfatterne av studien.

“Hver sensor har begrensninger, og hver sensor dekker en annens rygg,” sa Rawashdeh. “Sensorfusjon bruker flere sensorer av forskjellige modaliteter for å forstå en scene. Du kan ikke uttømmende programmere for hver detalj når inndataene har vanskelige mønster. Derfor trenger vi AI.”

Studiens samarbeidspartnere inkluderte Nader Abu-Alrub, doktorgradsstudent i elektro- og datateknikk, og Jeremy Bos, assistentprofessor i elektro- og datateknikk. Andre samarbeidspartnere inkluderte mastergradsstudenter og avgangselever fra Bos’ laboratorium: Akhil Kurup, Derek Chopp og Zach Jeffreies.

Selvkjørende sensorer og selvkjørende algoritmer utvikles nesten eksklusivt i solrike og klare landskap. Bos’ laboratorium begynte først å samle inn data i et Michigan Tech-selvkjørende kjøretøy i tung snø, og over 1 000 rammeverk av lidar-, radar- og bilde-data ble samlet inn fra snødekte veier i Tyskland og Norge.

Ifølge Bos er sensordeteksjon vanskelig på grunn av variasjon i snø. Det er viktig å forbehandle dataene og sikre nøyaktig merking.

“All snø er ikke skapt like,” sa Bos. “AI er som en kokk – hvis du har gode ingredienser, vil det bli en utmerket måltid,” sa han. “Gi AI-læringssystemet skitne sensordata, og du vil få et dårlig resultat.”

Noen andre store utfordringer inkluderer lavkvalitetsdata og skitt, og snøbygning på sensorer forårsaker sine egne problemer. Selv etter at sensorer er ryddet, er det ikke alltid enighet i å detektere hindringer. Det er ofte svært vanskelig å få sensorer og deres risikovurderinger til å kommunisere og lære av hverandre, da hver enkelt kan komme til sin egen konklusjon. Likevel ønsker teamet at selvkjørende sensorer kollektivt skal komme til en konklusjon ved å bruke sensorfusjon.

“I stedet for å stemme strengt, vil vi ved å bruke sensorfusjon komme opp med en ny estimat,” sier Bos.

Selvkjørende kjøretøy-sensorer vil fortsette å lære og forbedre seg i dårlig vær, og nye tilnærminger som sensorfusjon kan være veien frem for selvkjørende kjøretøy på snødekte veier.