Nieuwe methode helpt zelfrijdende auto’s ‘herinneringen’ te creëren

Een team van onderzoekers aan de Cornell University heeft een nieuwe methode ontwikkeld waarmee autonome voertuigen “herinneringen” van eerdere ervaringen kunnen creëren, die vervolgens kunnen worden gebruikt bij toekomstige navigatie. Dit zal vooral nuttig zijn wanneer deze zelfrijdende auto’s niet kunnen vertrouwen op sensoren in slechte weersomstandigheden.

Leren van het verleden

Huidige zelfrijdende auto’s die gebruikmaken van kunstmatige neurale netwerken hebben geen geheugen van het verleden, wat betekent dat ze constant “iets voor het eerst zien”. En dit is waar, ongeacht hoe vaak ze dezelfde weg hebben gereden.

Killian Weinberger is senior auteur van het onderzoek en professor in de informatica.

“De fundamentele vraag is, kunnen we leren van herhaalde traversals?” zei Weinberger. “Bijvoorbeeld, een auto kan een vreemd gevormde boom voor een voetganger aanzien de eerste keer dat zijn laserscanner het van een afstand waarneemt, maar zodra hij dichtbij genoeg is, zal de objectcategorie duidelijk worden. Dus, de tweede keer dat je langs dezelfde boom rijdt, zelfs in mist of sneeuw, zou je hopen dat de auto heeft geleerd om het correct te herkennen.”

Onder leiding van doctoraal student Carlos Diaz-Ruiz creëerde de groep een dataset door een auto met LiDAR-sensoren te rijden. Het werd 40 keer rond een 15-kilometerlange lus gereden over een periode van 18 maanden. De verschillende testritten vingen verschillende omgevingen, weersomstandigheden en tijden van de dag. Dit alles creëerde een dataset met meer dan 600.000 scènes.

“Het exposeert bewust een van de belangrijkste uitdagingen in zelfrijdende auto’s: slechte weersomstandigheden,” zei Diaz-Ruiz. “Als de straat bedekt is met sneeuw, kunnen mensen vertrouwen op herinneringen, maar zonder herinneringen is een neurale netwerk zwaar benadeeld.”

HINDSIGHT en MODEST

Een van de benaderingen, genaamd HINDSIGHT, gebruikt neurale netwerken om beschrijvingen van objecten te berekenen terwijl de auto erlangs rijdt. Deze beschrijvingen, genaamd SQuaSH, worden vervolgens gecomprimeerd en opgeslagen op een virtuele kaart, waardoor een soort “geheugen” ontstaat dat lijkt op de manier waarop wij onze eigen herinneringen in de hersenen opslaan.

Wanneer de zelfrijdende auto in de toekomst dezelfde locatie passeert, raadpleegt hij de lokale SQuaSH-database van elk LiDAR-punt langs de route, “onthoudend” wat hij heeft geleerd. De continu bijgewerkte database wordt gedeeld tussen voertuigen, waardoor de herkenning verbetert door meer informatie te bieden.

Yurong You is een doctoraal student.

“Deze informatie kan worden toegevoegd als kenmerken aan elke LiDAR-gebaseerde 3D-objectdetector,” zei You. “Zowel de detector als de SQuaSH-weergave kunnen gezamenlijk worden getraind zonder enige extra supervisie of menselijke annotatie, wat tijdrovend en arbeidsintensief is.

HINDSIGHT zal het team helpen met aanvullend onderzoek dat ze uitvoeren, genaamd MODEST (Mobile Object Detection with Ephemerality and Self-Training). MODEST zal dit proces verder ontwikkelen en de auto in staat stellen om de hele perceptiepijplijn te leren.

HINDSIGHT gaat ervan uit dat het kunstmatige neurale netwerk al is getraind om objecten te detecteren en voegt de mogelijkheid toe om herinneringen te creëren, terwijl MODEST ervan uitgaat dat het kunstmatige neurale netwerk nog nooit is blootgesteld aan enige objecten of straten. Na meerdere traversals van dezelfde route leert het welke delen van de omgeving stationair of bewegende objecten zijn. Dit proces stelt het systeem in staat om zichzelf te leren wat het moet doen als andere verkeersdeelnemers.

De algoritme heeft aangetoond dat het in staat is om betrouwbaar objecten te detecteren, zelfs op wegen die niet deel uitmaakten van de initiële traversals.

Het team gelooft dat deze nieuwe benaderingen de ontwikkelingskosten van autonome voertuigen kunnen verlagen, evenals hun efficiëntie kunnen verbeteren.