LLM-bilen: En genombrott i kommunikation mellan människa och AV

När autonoma fordon (AV) närmar sig en bredare användning kvarstår en betydande utmaning: att överbrygga kommunikationsgapet mellan mänskliga passagerare och deras robotiska chaufförer. Medan AV har gjort betydande framsteg i att navigera i komplexa vägmiljöer, har de ofta svårt att tolka de nyanserade, naturliga språkkommandon som kommer så lätt för mänskliga förare.

Här kommer en banbrytande studie från Purdue Universitys Lyles School of Civil and Construction Engineering. Under ledning av biträdande professor Ziran Wang har en grupp ingenjörer banat väg för en innovativ metod för att förbättra AV-mänsklig interaktion med hjälp av artificiell intelligens. Deras lösning är att integrera stora språkmodeller (LLM) som ChatGPT i autonoma körsystem.

Kraften i naturligt språk i AV

LLM representerar ett stort steg framåt i AI:s förmåga att förstå och generera mänskligt språk. Dessa avancerade AI-system är tränade på stora mängder textdata, vilket gör att de kan förstå sammanhang, nyanser och underförstådd mening på sätt som traditionella programmerade svar inte kan.

I sammanhanget med autonoma fordon erbjuder LLM en transformerande förmåga. Till skillnad från konventionella AV-gränssnitt som förlitar sig på specifika röstkommandon eller knapptryckningar, kan LLM tolka en bred palett av naturliga språkinstruktioner. Detta innebär att passagerare kan kommunicera med sina fordon på samma sätt som de skulle med en mänsklig förare.

Förbättringen av AV-kommunikationsförmåga är betydande. Tänk dig att du säger till din bil, “Jag är sen”, och den automatiskt beräknar den mest effektiva rutten, justerar sin körstil för att säkert minimera restiden. Eller överväg möjligheten att säga, “Jag känner mig lite åksjuk”, vilket får fordonet att justera sitt rörelsemönster för en jämnare färd. Dessa nyanserade interaktioner, som mänskliga förare instinktivt förstår, blir möjliga för AV med hjälp av LLM-integration.

Purdue Universitys biträdande professor Ziran Wang står bredvid en testautonom bil som han och hans studenter utrustat för att tolka kommandon från passagerare med hjälp av ChatGPT eller andra stora språkmodeller. (Purdue University foto/John Underwood)

Purdue-studien: Metod och resultat

För att testa potentialen hos LLM i autonoma fordon genomförde Purdue-teamet en serie experiment med ett autonomt fordon av nivå fyra – bara ett steg ifrån full autonomi enligt SAE International.

Forskarna började med att träna ChatGPT att svara på en rad kommandon, från direkta instruktioner som “Var vänlig, köra fortare” till mer indirekta förfrågningar som “Jag känner mig lite åksjuk just nu”. De integrerade sedan denna tränade modell med fordonets befintliga system, vilket gjorde det möjligt för det att beakta faktorer som trafikregler, vägförhållanden, väder och sensordata när det tolkade kommandon.

Den experimentella uppsättningen var rigorös. De flesta tester genomfördes på en testbana i Columbus, Indiana – en före detta flygplats som tillät säkra höghastighetstester. Ytterligare parkeringstester utfördes i parkeringen vid Purdue Universitys Ross-Ade Stadium. Under hela experimenten svarade LLM-assisterade AV på både förutlärda och nya kommandon från passagerare.

Resultaten var lovande. Deltagarna rapporterade betydligt lägre nivåer av obehag jämfört med vanliga upplevelser i nivå fyra AV utan LLM-stöd. Fordonet presterade konsekvent bättre än baslinjen för säkerhet och komfort, även när det svarade på kommandon det inte hade uttryckligen tränats på.

Kanske mest imponerande var systemets förmåga att lära sig och anpassa sig till individuella passagerarpreferenser under färden, vilket visar på potentialen för truly personlig autonom transport.

Purdue PhD-student Can Cui sitter för en tur i det testautonoma fordonet. En mikrofon i konsolen plockar upp hans kommandon, som stora språkmodeller i molnet tolkar. Fordonet kör enligt instruktioner genererade från de stora språkmodellerna. (Purdue University foto/John Underwood)

Konsekvenser för transportens framtid

För användare är fördelarna många. Förmågan att kommunicera naturligt med ett AV minskar den inlärningskurva som är förknippad med ny teknik, vilket gör autonoma fordon mer tillgängliga för en bredare grupp människor, inklusive de som kan vara avskräckta av komplexa gränssnitt. Dessutom antyder personaliseringsförmågorna i Purdue-studien en framtid där AV kan anpassa sig till individuella preferenser, vilket ger en skräddarsydd upplevelse för varje passagerare.

Denna förbättrade interaktion kan också förbättra säkerheten. Genom att bättre förstå passagerarens avsikt och tillstånd – som att känna igen när någon har bråttom eller känner sig dålig – kan AV anpassa sitt körbeteende därefter, vilket potentiellt minskar olyckor orsakade av misskommunikation eller passagerarobehag.

Från ett industriellt perspektiv kan denna teknologi vara en nyckeldifferentierare på den konkurrensutsatta AV-marknaden. Tillverkare som kan erbjuda en mer intuitiv och responsiv användarupplevelse kan få en betydande fördel.

Utmaningar och framtida riktningar

Trots de lovande resultaten kvarstår flera utmaningar innan LLM-integrerade AV blir verklighet på allmänna vägar. En viktig fråga är bearbetningstiden. Det nuvarande systemet tar i genomsnitt 1,6 sekunder att tolka och svara på ett kommando – acceptabelt för icke-kritiska scenarier men potentiellt problematiskt i situationer som kräver snabba svar.

En annan betydande oro är risken för att LLM “hallucinerar” eller miss tolkar kommandon. Medan studien införde säkerhetsmekanismer för att mildra denna risk, är det avgörande att hantera denna fråga på ett omfattande sätt för en verklig implementering.

I framtiden undersöker Wangs team flera områden för ytterligare forskning. De utvärderar andra LLM, inklusive Google’s Gemini och Meta’s Llama AI-assistenter, för att jämföra prestanda. Preliminära resultat tyder på att ChatGPT för närvarande presterar bättre än andra i säkerhets- och effektivitetsmått, även om publicerade resultat är på väg.

En intressant framtida riktning är potentialen för fordon-till-fordon-kommunikation med hjälp av LLM. Detta kunde möjliggöra mer avancerad trafikhantering, som AV som förhandlar om företräde vid korsningar.

Dessutom påbörjar teamet ett projekt för att studera stora visuella modeller – AI-system tränade på bilder snarare än text – för att hjälpa AV att navigera i extrema vinterförhållanden som är vanliga i Mellanvästern. Denna forskning, som stöds av Center for Connected and Automated Transportation, kunde ytterligare förbättra anpassningsförmåga och säkerhet hos autonoma fordon.

Sammanfattning

Purdue Universitys banbrytande forskning om att integrera stora språkmodeller med autonoma fordon markerar en vändpunkt i transportteknologi. Genom att möjliggöra mer intuitiv och responsiv mänsklig-AV-interaktion, hanterar denna innovation en kritisk utmaning i AV-antagande. Medan hinder som bearbetningstid och potentiell miss tolkning kvarstår, banar studiens lovande resultat väg för en framtid där kommunikation med våra fordon kan vara lika naturlig som att konversera med en mänsklig förare. När denna teknologi utvecklas, har den potential att revolutionera inte bara hur vi reser, utan också hur vi uppfattar och interagerar med artificiell intelligens i våra dagliga liv.