AI-sensorer kan hjälpa autonoma fordon i snöiga städer

En av de största utmaningarna för autonoma fordon är att de har svårt att navigera i dåligt väder, vilket begränsar deras implementering i snöiga städer som Detroit och Chicago. Fordonen förlitar sig på viktig sensordata för att upptäcka hinder och hålla sig på rätt sida av vägen, men denna data har svårt att fungera i snö.

I två nya artiklar som presenterades på SPIE Defense + Commercial Sensing 2021 diskuterade forskare från Michigan Technological University nya lösningar för snöiga körscenarier med autonoma fordon.

Det finns en stor variation av autonoma fordon, inklusive några med blinda fläckar eller bromshjälp, och andra med på och av självkörningslägen. Några av de bästa fordonen kan operera helt på egen hand.

Eftersom tekniken fortfarande är i sin linda på många sätt, arbetar biltillverkare och forskningsuniversitet kontinuerligt med att förbättra tekniken och algoritmerna. När olyckor inträffar är de ofta resultatet av en felbedömning av bilens AI eller ett mänskligt fel.

Mänskliga sensorer

Mänskliga ögon är också en form av sensorer, eftersom de uppfattar balans och rörelse. Vår hjärna fungerar som en processor, som hjälper oss att förstå vår omgivning. Tillsammans möjliggör de för oss att köra i alla scenarier, även de som är nya, eftersom vår hjärna kan generalisera nya upplevelser.

Autonoma fordon har vanligtvis två kameror monterade på gimbaler, och de skannar och uppfattar djup med hjälp av stereo-vision för att imitera mänskligt seende. Samtidigt kan balans och rörelse mätas med en inertialmätning. Datorer kan dock bara reagera på tidigare mötta scenarier eller de som de redan har programmerats att känna igen.

Sensorfusion

Autonoma fordon förlitar sig på uppgiftsspecifika artificiella intelligensalgoritmer, som kräver flera sensorer som fisheye-kameror, infraröda sensorer, radar, ljuddetektering och lidar.

Nathir Rawashdeh är biträdande professor i datavetenskap vid Michigan Techs College of Computing och en av huvudförfattarna till studien.

“Varje sensor har begränsningar, och varje sensor täcker en annan sensors rygg”, säger Rawashdeh. “Sensorfusion använder flera sensorer av olika modaliteter för att förstå en scen. Du kan inte uttömmande programmera för varje detalj när inmatningarna har svåra mönster. Det är därför vi behöver AI.”

Studiens samarbetspartner inkluderade Nader Abu-Alrub, doktorand i elektroteknik och datorteknik, och Jeremy Bos, biträdande professor i elektroteknik och datorteknik. Andra samarbetspartner inkluderade masterstudenter och alumner från Bos lab: Akhil Kurup, Derek Chopp och Zach Jeffreies.

Autonoma sensorer och självkörningsalgoritmer utvecklas nästan uteslutande i soliga och klara landskap. Bos lab började först att samla in data i en Michigan Tech-autonom bil i tung snö, och över 1 000 ramar av lidar-, radar- och bilddata samlades in från snöiga vägar i Tyskland och Norge.

Enligt Bos är sensordetektering svår på grund av den varierande snön. Det är viktigt att förbehandla data och säkerställa korrekt märkning.

“All snö är inte skapad lika”, säger Bos. “AI är som en kock – om du har bra ingredienser, kommer det att bli en utmärkt måltid”, säger han. “Ge AI-lärandenätverket smutsiga sensordata och du kommer att få ett dåligt resultat.”

Några av de största utmaningarna innefattar lågkvalitetsdata och smuts, och snöansamling på sensorerna orsakar sina egna problem. Även efter att sensorerna rengjorts, är det inte alltid överensstämmelse i att upptäcka hinder. Det är ofta mycket svårt att få sensorerna och deras riskbedömningar att kommunicera och lära av varandra, eftersom var och en kan komma till sin egen slutsats. Men teamet vill att autonoma sensorer ska kollektivt komma till en slutsats med hjälp av sensorfusion.

“I stället för att rösta strikt, kommer vi att komma med en ny uppskattning med hjälp av sensorfusion”, säger Bos.

Autonoma fordonssensorer kommer att fortsätta att lära sig och förbättras i dåligt väder, och nya tillvägagångssätt som sensorfusion kan leda vägen för autonoma fordon på snöiga vägar.