AI-sensorer kan hjælpe selvkørende køretøjer i snefyldte byer

En af de største udfordringer for selvkørende køretøjer er, at de kæmper med at navigere i dårligt vejr, hvilket begrænser deres implementering i snefyldte byer som Detroit og Chicago. Køretøjerne afhænger af vigtig sensordata for at opdage hindringer og holde sig på den rigtige side af vejen, men denne data kæmper i sne.

I to nye artikler, der blev præsenteret på SPIE Defense + Commercial Sensing 2021, diskuterede forskere fra Michigan Technological University nye løsninger for selvkørende køretøjer i snefyldte scenarier.

Der findes en bred vifte af selvkørende køretøjer, herunder nogle med blinde punkter eller bremseassistance, og andre med selvkørende tilstand på og af. Nogle af de bedste køretøjer kan fungere helt på egen hånd.

Da teknologien stadig er i sin barndom på mange måder, arbejder bilproducenter og forskningsuniversiteter løbende på at forbedre teknologien og algoritmerne. Når ulykker indtræffer, skyldes de ofte en misjudgment af bilens AI eller et menneskeligt fejl.

Menneskesensorer

Menneskelige øjne er også en form for sensorer, da de sanser balance og bevægelse. Vores hjerne fungerer som en processor, der hjælper os med at forstå vores omgivelser. Disse sammen ermöglicit os at køre i alle scenarier, selv nye, da vores hjerner kan generalisere nye oplevelser.

Selvkørende køretøjer har normalt to kameraer monteret på gimbaler, og de scanner og opfatter dybde ved hjælp af stereo-syn til at efterligne menneskesyn. Samtidig kan balance og bevægelse måles med en inertial måleenhed. Computere kan kun reagere på tidligere mødt scenarier eller dem, de allerede er programmeret til at genkende.

Sensorfusion

Selvkørende køretøjer afhænger af opgave-specifikke kunstig intelligens-algoritmer, der kræver multiple sensorer som f.eks. fiskeøje-kameraer, infrarøde sensorer, radar, lysdetektion og lidar.

Nathir Rawashdeh er adjunkt i datalogi på Michigan Tech’s College of Computing og en af hovedforfatterne af studiet.

“Hver sensor har begrænsninger, og hver sensor dækker en andens ryg,” sagde Rawashdeh. “Sensorfusion bruger multiple sensorer af forskellige modaliteter til at forstå en scene. Du kan ikke udtømmende programmere for hver detalje, når input har svære mønstre. Det er derfor, vi har brug for AI.”

Studiets samarbejdspartnere inkluderede Nader Abu-Alrub, ph.d.-studerende i elektro- og datateknik, og Jeremy Bos, adjunkt i elektro- og datateknik. Andre samarbejdspartnere inkluderede masterstuderende og afgåede fra Bos’ laboratorium: Akhil Kurup, Derek Chopp og Zach Jeffreies.

Selvkørende sensorer og selvkørende algoritmer udvikles næsten udelukkende i solrige og klare landskaber. Bos’ laboratorium begyndte først at indsamle data i et Michigan Tech-selvkørende køretøj i tung sne, og over 1.000 billeder af lidar-, radar- og billeddata blev indsamlet fra snefyldte veje i Tyskland og Norge.

Ifølge Bos er sensordetektion svær på grund af sneens variation. Det er vigtigt at forbehandle data og sikre nøjagtig mærkning.

“Al sne er ikke skabt ligeligt,” sagde Bos. “AI er som en kok – hvis du har gode ingredienser, vil der være en fremragende måltid,” sagde han. “Giv AI-læringsnetværket beskidt sensordata, og du vil få et dårligt resultat.”

Nogle af de andre store udfordringer involverer lavkvalitetsdata og snavs, og snebygning på sensorerne forårsager deres egne problemer. Selv efter sensorerne er ryddet, er der ikke altid enighed om at opdage hindringer. Det er ofte meget svært at få sensorerne og deres risikovurderinger til at kommunikere og lære af hinanden, da hver enkelt kan komme til sin egen konklusion. Men teamet ønsker, at selvkørende sensorer kollektivt kommer til en konklusion ved hjælp af sensorfusion.

“I stedet for at stemme strengt, vil vi ved hjælp af sensorfusion komme med en ny vurdering,” siger Bos.

Selvkørende køretøjsensorer vil fortsætte med at lære og forbedre sig i dårligt vejr, og nye tilgange som sensorfusion kunne føre vejen for selvkørende køretøjer på snefyldte veje.