AI-sensorer kan hjälpa autonoma fordon i snöiga städer

En av de största utmaningarna för autonoma fordon är att de har svårt att navigera i dåligt väder, vilket begränsar deras användning i snöiga städer som Detroit och Chicago. Fordonen förlitar sig på viktig sensordata för att upptäcka hinder och hålla sig på rätt sida av vägen, men denna data har svårt att fungera i snö.

I två nya artiklar som presenterades på SPIE Defense + Commercial Sensing 2021, diskuterade forskare från Michigan Technological University nya lösningar för snöiga körscenarier med autonoma fordon.

Det finns en stor variation av autonoma fordon, inklusive vissa med blinda fläckar eller bromshjälp, och andra med på- och av-styrning. Några av de bästa fordonen kan operera helt på egen hand.

Eftersom tekniken fortfarande är i sin linda på många sätt, arbetar biltillverkare och forskningsuniversitet kontinuerligt med att förbättra tekniken och algoritmerna. När olyckor inträffar är de ofta resultatet av en felbedömning av bilens AI eller mänskligt fel.

Mänskliga sensorer

Mänskliga ögon är också en form av sensorer, eftersom de uppfattar balans och rörelse. Vår hjärna fungerar som en processor, som hjälper oss att förstå vår omgivning. Tillsammans möjliggör de för oss att köra i alla scenarier, även de som är nya, eftersom vår hjärna kan generalisera nya upplevelser.

Autonoma fordon har vanligtvis två kameror monterade på gimbaler, och de skannar och uppfattar djup med stereo-vision för att efterlikna mänskligt syn. Samtidigt kan balans och rörelse mätas med en inertialmätningsenhet. Datorer kan dock bara reagera på tidigare mött scenarier eller de som de redan har programmerats att känna igen.

Sensorfusion

Autonoma fordon förlitar sig på uppgiftsspecifika artificiella intelligensalgoritmer, som kräver flera sensorer som fisheye-kameror, infraröda sensorer, radar, ljektdetektering och lidar.

Nathir Rawashdeh är biträdande professor i datavetenskap vid Michigan Techs College of Computing och en av huvudförfattarna till studien.

“Varje sensor har begränsningar, och varje sensor täcker en annans rygg”, säger Rawashdeh. “Sensorfusion använder flera sensorer av olika modaliteter för att förstå en scen. Du kan inte uttömmande programmera för varje detalj när indata har svåra mönster. Det är därför vi behöver AI.”

Studiens samarbetspartner inkluderade Nader Abu-Alrub, doktorand i elektroteknik och datateknik, och Jeremy Bos, biträdande professor i elektroteknik och datateknik. Andra samarbetspartner inkluderade masterstudenter och alumner från Bos lab: Akhil Kurup, Derek Chopp och Zach Jeffreies.

Autonoma sensorer och självkörande algoritmer utvecklas nästan uteslutande i soliga och klara landskap. Bos labb började först att samla in data i en Michigan Tech-autonom bil i tung snö, och över 1 000 ramar av lidar-, radar- och bilddata samlades in från snöiga vägar i Tyskland och Norge.

Enligt Bos är sensordetektering svårt på grund av den varierande snön. Det är viktigt att förbehandla data och säkerställa korrekt märkning.

“All snö är inte skapad lika”, säger Bos. “AI är som en kock – om du har bra ingredienser, kommer det att bli en utmärkt måltid”, säger han. “Ge AI-läsnätverket smutsiga sensordata och du kommer att få ett dåligt resultat.”

Andra stora utmaningar involverar lågkvalitetsdata och smuts, och snöuppbyggnad på sensorerna orsakar sina egna problem. Även efter att sensorerna rengjorts, finns det inte alltid en överenskommelse om att upptäcka hinder. Det är ofta mycket svårt att få sensorerna och deras riskbedömningar att kommunicera och lära av varandra, eftersom var och en kan komma till sin egen slutsats. Men teamet vill att autonoma sensorer kollektivt ska komma till en slutsats med hjälp av sensorfusion.

“I stället för att strikt rösta, kommer vi att komma fram till en ny uppskattning med hjälp av sensorfusion”, säger Bos.

Autonoma fordonssensorer kommer att fortsätta att lära och förbättras i dåligt väder, och nya tillvägagångssätt som sensorfusion kan leda vägen för autonoma fordon på snöiga vägar.