De LLM Auto: Een Doorbraak in Communicatie tussen Mensen en AV’s

Nu autonome voertuigen (AV’s) dichter bij brede acceptatie komen, blijft een significante uitdaging bestaan: het overbruggen van de communicatiekloof tussen menselijke passagiers en hun robotchauffeurs. Terwijl AV’s opmerkelijke vooruitgang hebben geboekt in het navigeren van complexe wegomgevingen, worstelen ze vaak met het interpreteren van subtiele, natuurlijke taalopdrachten die zo gemakkelijk voor menselijke bestuurders komen.

Komt een innovatief onderzoek van de Purdue University’s Lyles School of Civil and Construction Engineering. Onder leiding van assistant professor Ziran Wang, heeft een team van ingenieurs een innovatieve aanpak ontwikkeld om de interactie tussen AV’s en mensen te verbeteren met behulp van kunstmatige intelligentie. Hun oplossing is het integreren van grote taalmodellen (LLM’s) zoals ChatGPT in autonome rijsystemen.’

De Kracht van Natuurlijke Taal in AV’s

LLM’s vertegenwoordigen een sprong voorwaarts in de mogelijkheid van AI om menselijke tekst te begrijpen en te genereren. Deze geavanceerde AI-systemen zijn getraind op enorme hoeveelheden tekstuele gegevens, waardoor ze context, nuances en impliciete betekenis kunnen begrijpen op manieren die traditionele geprogrammeerde reacties niet kunnen.

In de context van autonome voertuigen bieden LLM’s een transformatieve mogelijkheid. In tegenstelling tot conventionele AV-interfaces die afhankelijk zijn van specifieke spraakopdrachten of knoppen, kunnen LLM’s een breed scala aan natuurlijke taalopdrachten interpreteren. Dit betekent dat passagiers met hun voertuigen kunnen communiceren op een manier die vergelijkbaar is met die van een menselijke bestuurder.

De verbetering in de communicatiecapaciteiten van AV’s is aanzienlijk. Stel je voor dat je tegen je auto zegt: “Ik ben te laat”, en dat het automatisch de meest efficiënte route berekent, waarbij het zijn rijstijl aanpast om de reistijd veilig te minimaliseren. Of denk aan de mogelijkheid om te zeggen: “Ik voel me een beetje misselijk”, waardoor het voertuig zijn bewegingsprofiel aanpast voor een gladere rit. Deze subtiele interacties, die menselijke bestuurders intuïtief begrijpen, worden mogelijk voor AV’s door de integratie van LLM’s.

Purdue University assistant professor Ziran Wang staat naast een testautonoom voertuig dat hij en zijn studenten hebben uitgerust om opdrachten van passagiers te interpreteren met behulp van ChatGPT of andere grote taalmodellen. (Purdue University foto/John Underwood)

De Purdue Studie: Methodologie en Resultaten

Om het potentieel van LLM’s in autonome voertuigen te testen, voerde het Purdue-team een reeks experimenten uit met een niveau vier autonoom voertuig – slechts één stap verwijderd van volledige autonomie zoals gedefinieerd door SAE International.

De onderzoekers begonnen met het trainen van ChatGPT om te reageren op een reeks opdrachten, van directe instructies zoals “Rij alsjeblieft sneller” tot meer indirecte verzoeken zoals “Ik voel me een beetje misselijk op dit moment.” Ze integreerden vervolgens dit getrainde model met de bestaande systemen van het voertuig, waardoor het in staat was om factoren zoals verkeersregels, wegomstandigheden, weer en sensordata te overwegen bij het interpreteren van opdrachten.

De experimentele opstelling was rigoureus. De meeste tests werden uitgevoerd op een testbaan in Columbus, Indiana – een voormalig vliegveld dat veilig hoge-snelheidstests mogelijk maakte. Aanvullende parkeer-tests werden uitgevoerd in de parkeerplaats van Purdue’s Ross-Ade Stadium. Tijdens de experimenten reageerde het LLM-ondersteunde AV op zowel vooraf geleerde als nieuwe opdrachten van passagiers.

De resultaten waren veelbelovend. Deelnemers meldden aanzienlijk lagere niveaus van ongemak in vergelijking met typische ervaringen in niveau vier AV’s zonder LLM-ondersteuning. Het voertuig presteerde consistent beter dan de baselines voor veiligheid en comfort, zelfs bij het reageren op opdrachten waarop het niet expliciet was getraind.

Misschien wel het meest indrukwekkend was het vermogen van het systeem om te leren en zich aan te passen aan de voorkeuren van individuele passagiers tijdens een rit, waarmee het potentieel voor echt persoonlijk autonoom vervoer werd aangetoond.

Purdue PhD-student Can Cui zit in het testautonome voertuig. Een microfoon in het dashboard pikt zijn opdrachten op, die grote taalmodellen in de cloud interpreteren. Het voertuig rijdt volgens instructies gegenereerd uit de grote taalmodellen. (Purdue University foto/John Underwood)

Implicaties voor de Toekomst van Transport

Voor gebruikers zijn de voordelen legio. De mogelijkheid om natuurlijk te communiceren met een AV vermindert de leercurve die samenhangt met nieuwe technologie, waardoor autonome voertuigen toegankelijker worden voor een bredere groep mensen, inclusief diegenen die mogelijk worden afgeschrikt door complexe interfaces. Bovendien suggereren de personalisatie-mogelijkheden die in de Purdue-studie zijn aangetoond een toekomst waarin AV’s kunnen worden aangepast aan individuele voorkeuren, waardoor een op maat gemaakte ervaring voor elke passagier wordt geboden.

Deze verbeterde interactie kan ook de veiligheid verbeteren. Door beter te begrijpen wat passagiers bedoelen en hoe ze zich voelen – zoals het herkennen wanneer iemand haast heeft of zich onwel voelt – kunnen AV’s hun rijgedrag dienovereenkomstig aanpassen, waardoor ongevallen die worden veroorzaakt door miscommunicatie of ongemak van passagiers mogelijk worden verminderd.

Vanuit het oogpunt van de industrie kan deze technologie een belangrijke differentiator zijn in de concurrerende AV-markt. Fabrikanten die een meer intuïtieve en responsieve gebruikerservaring kunnen bieden, kunnen een aanzienlijk voordeel behalen.

Uitdagingen en Toekomstige Richtingen

Ondanks de veelbelovende resultaten blijven er verschillende uitdagingen bestaan voordat LLM-geïntegreerde AV’s een realiteit worden op openbare wegen. Een van de belangrijkste problemen is de verwerkingstijd. Het huidige systeem heeft gemiddeld 1,6 seconden nodig om een opdracht te interpreteren en te reageren – acceptabel voor niet-kritieke scenario’s, maar mogelijk problematisch in situaties die snelle reacties vereisen.

Een ander significante zorg is het potentieel voor LLM’s om “hallucinaties” of verkeerde interpretaties te produceren. Hoewel de studie veiligheidsmechanismen omvatte om dit risico te mitigeren, is het cruciaal om deze kwestie grondig aan te pakken voor de implementatie in de praktijk.

In de toekomst onderzoekt Wangs team verschillende richtingen voor verder onderzoek. Ze evalueren andere LLM’s, waaronder Google’s Gemini en Meta’s Llama AI-assistenten, om de prestaties te vergelijken. Voorlopige resultaten suggereren dat ChatGPT momenteel beter presteert dan anderen in veiligheids- en efficiëntie-metrieken, hoewel de gepubliceerde resultaten nog moeten verschijnen.

Een intrigerende toekomstige richting is het potentieel voor inter-voertuigcommunicatie met behulp van LLM’s. Dit kan meer geavanceerd verkeersbeheer mogelijk maken, zoals AV’s die onderhandelen over voorrang op kruispunten.

Bovendien begint het team een project om grote visuele modellen te bestuderen – AI-systemen getraind op beelden in plaats van tekst – om AV’s te helpen navigeren in extreme winterweersomstandigheden die gebruikelijk zijn in het Midwesten. Dit onderzoek, gesteund door het Center for Connected and Automated Transportation, kan de aanpasbaarheid en veiligheid van autonome voertuigen verder verbeteren.

De Bottom Line

Het baanbrekende onderzoek van de Purdue University naar het integreren van grote taalmodellen met autonome voertuigen markeert een cruciaal moment in de transporttechnologie. Door meer intuïtieve en responsieve interactie tussen mensen en AV’s mogelijk te maken, adresseert deze innovatie een kritieke uitdaging in de adoptie van AV’s. Hoewel er nog obstakels bestaan, zoals verwerkingssnelheid en potentiële misinterpretaties, banen de veelbelovende resultaten van de studie de weg voor een toekomst waarin communiceren met onze voertuigen net zo natuurlijk kan zijn als praten met een menselijke bestuurder. Naarmate deze technologie evolueert, heeft het het potentieel om niet alleen de manier waarop we reizen te revolutioneren, maar ook hoe we tegen kunstmatige intelligentie in ons dagelijks leven aankijken.