Het detecteren van ‘agressief rijgedrag’ met machine learning en edge computing

Onlangs is een octrooiaanvraag ingediend voor een systeem om ‘agressief rijgedrag’ bij kruispunten te identificeren met behulp van machine learning-algoritmen die zijn geïmplementeerd in civiele edge computing-apparaten.

In tegenstelling tot recente innovaties in AI-onderzoek naar in-voertuig ‘road rage’-analyses (primair bedoeld voor het voordeel van verzekeraars), is het voorgestelde systeem van municipale aard en kan het worden gebruikt om boetes op te leggen aan bestuurders die niet voldoen aan de omgevingsnormen van ‘veilig’ rijgedrag. Het is ook specifiek bedoeld om slechte bestuurders te voorzien van gerelateerde in-car audiovisuele waarschuwingen.

Het octrooi is op 29 april 2021 ingediend bij het United States Patent and Trademark Office namens de Board Of Regents van de Universiteit van Michigan en de Denso corporation, een Japanse fabrikant van automotive componenten die eigendom is van Toyota.

Het UMich-octrooi is geen propriëtaire, in-car-systeem dat is gericht op verzekeringstoezicht, noch is het ontworpen om alleen forensische gegevens te produceren, maar het vertrouwt op goed uitgeruste edge computing-knooppunten die zijn geïmplementeerd bij verkeerskruispunten om onmiddellijke en actiegerichte feedback te bieden, door gegevens te combineren van wegkant-edge computing-bronnen en van sensoren die zijn geïnstalleerd in nabijgelegen voertuigen. Bron: https://pdfaiw.uspto.gov/76/2021/50/012/1.pdf

Het voorgestelde kader is niet geheel passief of afhankelijk van civiele apparatuur, maar zou ook in-voertuigtechnologieën vereisen die in staat zijn om auto’s om te zetten in bijdragende sensoren voor het systeem. Effectief zou dit elke uitgeruste voertuig omzetten in een verkeersmonitoring-knooppunt, hoewel dezelfde toezicht ook zou worden gericht op de bestuurder zelf, met het extra voordeel van toegang tot de onboard dataprocessen van het voertuig. De schematische weergave van de in-car-installatie (afgebeeld rechts) die is ingediend in het octrooi, omvat directe sensordata van de remmen, gaspedaal, stuurwiel en odometer van het voertuig, evenals toegang tot kaartgegevens.

Zowel de wegkant- als de in-voertuiginstallaties hebben CUDA-geactiveerde GPU en lokale opslagbronnen, en beide hebben cloudconnectiviteit.

Waarschuwingen voor agressieve bestuurders

Volgens de octrooiaanvraag is het systeem ontworpen om te communiceren met een lastige bestuurder:

‘Wanneer het systeem voor het voorspellen van agressief rijgedrag 1 agressief rijgedrag voorspelt in een onderwerpvoertuig, kan een waarschuwingsbericht, zoals de waarschuwing in FIG. 8A, worden uitgevoerd naar het audiovisuele apparaat 413 in het onderwerpvoertuig om een agressieve bestuurder te waarschuwen om te vertragen.’

Aanvullende potentiële waarschuwingen omvatten in-car-waarschuwingen voor snelheid en naderende voertuigen:

Waarschuwingen weergegeven in de octrooiaanvraag. Bron: https://pdfaiw.uspto.gov/fdd/76/2021/50/012/0.pdf

Het octrooi zegt dat in een ander mogelijk scenario, alle beschikbare audiovisuele apparaten (inclusief smartphones die eigendom zijn van de bestuurder) in het voertuig kunnen worden gebruikt om waarschuwingen te geven, inclusief audio-waarschuwingen.

Bestuurder-specifieke rode lichten

Het veranderen van de frequenties en het gedrag van verkeerslichten bij kruispunten is al lang bekend als een methode om ongevallen te verminderen, en het voorgestelde systeem kan worden gebruikt om gegevens te genereren die de manier waarop verkeerslichten functioneren bij kruispunten op een zeer breed niveau kunnen veranderen.

Echter, de diepe integratie van infrastructuur- en voertuiggegevens die is voorzien in de Michigan-voorstel, biedt een andere mogelijkheid: rode lichten die worden bepaald door het gedrag van de bestuurder, in plaats van door rote of volgens een schema (zie de prolixe sectie [0157] in de octrooiaanvraag).

‘Bovendien, als het rijpatroon bij een kruispunt (bijv. het kruispunt 200a) agressief rijgedrag in het voertuig 71 voorspelt en/of aangeeft, kunnen herstelmaatregelen zoals het controleren van controle-elementen worden toegepast bij latere kruispunten (bijv. kruispunten 200b en 200c) om agressief rijgedrag te controleren en te mitigeren. Bijvoorbeeld, als het systeem voor het voorspellen van agressief rijgedrag 1 voorspelt dat het voertuig 71 mogelijk een rood licht zal negeren bij het kruispunt 200a, kan het systeem voor het voorspellen van agressief rijgedrag 1 een controle-signaal uitvoeren voor het controleren van de staat/fase van de verkeerscontrole signalen 202b en 202c bij de kruispunten 200b en 200c. Op deze manier kunnen de verkeerscontrole signalen 202b en 202c veranderen in rood, bijvoorbeeld, voordat het voertuig 71 het kruispunt 200a passeert om het voertuig 71 aan te moedigen om te vertragen en niet te proberen om door de kruispunten 200b en 200c te rijden voordat de signalen 202b en 202c veranderen in rood.’

Inbreuken op de privacy van de bestuurder

Voorstellen voor in-voertuig bestuurdermonitoringssystemen in de afgelopen decade hebben emotieherkenning computer vision-algoritmen gebruikt, samen met andere biometrische indicatoren, om systemen te produceren die zijn ontworpen om een ‘chillende’ invloed te hebben op obstinate bestuurders, aangezien afwijkend bestuurdersgedrag de premies van de bestuurder kan beïnvloeden onder dergelijke regelingen, of anderszins kan worden gebruikt als bewijs in een ongevalsonderzoek.

In tegenstelling tot de Michigan/Denso-voorstel, lijkt het alsof het is bedoeld voor een vorm van staatssamenwerking door middel van veranderingen in verplichte voertuignormen. Echter, gezien de mobiliteit van de Amerikaanse bevolking in normale tijden, en het feit dat een dergelijk systeem het meest geschikt zou zijn voor langeafstandsbestuurders, zoals vrachtwagenbestuurders, is het moeilijk om te zien hoe iets minder dan een federale implementatie haalbaar zou zijn, tenzij het kader is ontworpen om inactief te worden over niet-deelnemende staatgrenzen, of over county’s die het plan niet steunen.

Hoewel dergelijke innovaties over het algemeen worden aangedreven door de toenemende trend voor verzekeraars om polisbezitters te belonen die bereid zijn om monitorapparatuur te installeren, past de behoefte aan civiele infrastructuur niet precies in dat model, wat suggereert dat een dergelijk systeem wetgevende steun en federale of staatfinanciering nodig zou hebben.

Een illustratie van de machine learning-architectuur die is voorgesteld voor het systeem, met behulp van Recurrent Neural Networks (RNN). Hoewel het kader ook onbegeleide leer gebruikt en real-time feedback biedt, maakt het ook voorziening voor offline training om algoritmen te verbeteren op basis van inkomende gegevens en gebeurtenissen. De identificatie van agressief rijgedrag wordt gefaciliteerd door Dynamic Time Warping (DTW), een algoritme dat wordt gebruikt in tijdreeksanalyse om twee tijdelijke reeksen of sequenties van objecten te vergelijken die kunnen variëren in snelheid.

Inkomstenstroom

Het systeem dat is voorgesteld in het octrooi kan het eerste van zijn soort zijn dat real-time analyse van afwijkend bestuurdersgedrag biedt in een civiel kader dat in staat is om automatisch boetes en straffen op te leggen, of om autoriteiten te waarschuwen, in het geval van echt gevaarlijk bestuurdersincidenten. Echter, de uitvinders geven toe dat het kan worden misbruikt als een melkkoe door inkomstenhongerige gemeentelijke autoriteiten.

Neda Masoud, assistent-professor aan de afdeling Civiele en Milieutechniek van de Universiteit van Michigan, vertelde The Academic Times dat ‘Valse alarmen zijn een kleine prijs om te betalen voor het verhoogde niveau van veiligheid dat de technologie kan bieden. Dat gezegd hebbende, moet er altijd een mogelijkheid zijn voor de ten onrechte beschuldigden om zich te verdedigen tegen elke valse claim van agressief rijgedrag,’.

Het octrooi erkent de mogelijkheid van agressief rijgedrag dat voertuigen betreft die niet zijn uitgerust met onboard-units (OBUs), die kunnen worden aangepakt door externe observatie van aangrenzende of nabijgelegen voertuigen die wel zijn uitgerust met apparatuur, evenals de kruispuntinstallaties. In dergelijke gevallen zou identificatie vermoedelijk standaardiseren naar andere methoden, zoals geautomatiseerde nummerplaatlezing (hoewel het octrooi niet ingaat op dit onderwerp).

Kruispunten zijn een hoog risico

Het Michigan-octrooi richt zich op roekeloos gedrag bij kruispunten, aangezien deze een locus van verkeersincidenten en overtredingen zijn, terwijl eerder Chinees onderzoek op soortgelijke lijnen gebruik heeft gemaakt van support vector machine (SVM)-analyse om in-transit gebeurtenissen te identificeren, zoals gevaarlijk baanverandering. Een andere China-gebaseerde onderzoeksinitiatief heeft sensoren in smartphones gebruikt om afwijkend gedrag tijdens de reis te detecteren.

Het Amerikaanse Nationale Verkeersveiligheidsbureau schatte in 2010 dat 40% van de ongevallen die in de Verenigde Staten in 2008 plaatsvonden, verband hielden met activiteiten bij kruispunten.

als gevaarlijk baanverandering. Een ander China-gebaseerd onderzoeksinitiatief heeft sensoren in smartphones gebruikt om afwijkend gedrag tijdens de reis te detecteren. Het Amerikaanse Nationale Verkeersveiligheidsbureau schatte in 2010 dat 40% van de ongevallen die in de Verenigde Staten in 2008 plaatsvonden, verband hielden met activiteiten bij kruispunten.