LLM-Bilen: Et Gennembrud i Menneske-AV-Kommunikation

Da autonome køretøjer (AV) nærmer sig en bred anvendelse, er der stadig en betydelig udfordring: At brobygge kommunikationsgapet mellem menneskelige passagerer og deres robotchauffører. Selvom AV’er har gjort bemærkelsesværdige fremskridt i navigation af komplekse vejmiljøer, kæmper de ofte med at fortolke de nuancerede, naturlige sprogkommandoer, der kommer så let til menneskelige chauffører.

Her kommer en innovativ studie fra Purdue University’s Lyles School of Civil and Construction Engineering. Ledet af assistentprofessor Ziran Wang, har et hold af ingeniører banebrydende en innovativ tilgang til at forbedre AV-menneske-interaktion ved hjælp af kunstig intelligens. Deres løsning er at integrere store sprogmodeller (LLM’er) som ChatGPT i autonome køresystemer.’

Kraften af Naturligt Sprog i AV’er

LLM’er repræsenterer et spring fremad i AI’s evne til at forstå og generere menneske-lignende tekst. Disse sofistikerede AI-systemer er trænet på enorme mængder af tekstdata, hvilket giver dem mulighed for at gribe kontekst, nuance og underforstået mening på måder, som traditionelle programmerede svar ikke kan.

I sammenhæng med autonome køretøjer tilbyder LLM’er en transformerende kapacitet. I modsætning til konventionelle AV-grænseflader, der afhænger af bestemte stemmekommandoer eller knap-indtastninger, kan LLM’er fortolke et bredt spektrum af naturlige sprogkommandoer. Dette betyder, at passagerer kan kommunikere med deres køretøjer på samme måde, som de ville med en menneskelig chauffør.

Forbedringen af AV-kommunikationskapaciteter er betydelig. Forestil dig, at du siger til din bil, “Jeg er forsinket,” og at den automatisk beregner den mest effektive rute, justerer sin kørestil for at minimere rejsetiden på en sikker måde. Eller overvej muligheden for at sige, “Jeg føler mig lidt køresyge,” og at køretøjet justerer sin bevægelsesprofil for en glatter tur. Disse nuancerede interaktioner, som menneskelige chauffører intuitivt forstår, bliver mulige for AV’er gennem integrationen af LLM’er.

Purdue University assistentprofessor Ziran Wang står ved siden af en test-autonom bil, som han og hans studerende har udstyret til at fortolke kommandoer fra passagerer ved hjælp af ChatGPT eller andre store sprogmodeller. (Purdue University foto/John Underwood)

Purdue-Studiet: Metodik og Resultater

For at teste potentialet for LLM’er i autonome køretøjer, gennemførte Purdue-holdet en række eksperimenter med et niveau-fire autonomt køretøj – kun ét skridt fra fuld autonomi, som defineret af SAE International.

Forskerne begyndte med at træne ChatGPT til at reagere på en række kommandoer, fra direkte instruktioner som “Kør hurtigere” til mere indirekte anmodninger som “Jeg føler mig lidt motion syg lige nu.” De integrerede derefter denne trænede model med køretøjets eksisterende systemer, så det kunne tage hensyn til faktorer som trafikregler, vejforhold, vejr og sensor-data, når det fortolkede kommandoer.

Den eksperimentelle opsætning var rigorøs. De fleste tests blev udført på en testbane i Columbus, Indiana – en tidligere lufthavnslandingsbane, der tillod sikker højhastighedstest. Yderligere parkerings-tester blev udført på parkeringspladsen ved Purdue’s Ross-Ade Stadium. Under eksperimenterne svarede LLM-assisteret AV på både forlærte og nye kommandoer fra passagerer.

Resultaterne var lovende. Deltagerne rapporterede betydeligt lavere niveauer af ubehag sammenlignet med typiske oplevelser i niveau-fire AV’er uden LLM-hjælp. Køretøjet overgik konsekvent baseline-sikkerheds- og komfort-målinger, selv når det svarede på kommandoer, det ikke var blevet ekslicit trænet på.

Måske det mest imponerende var, at systemet viste en evne til at lære og tilpasse sig til enkelte passagerpræferencer under køreturen, og demonstrerede potentialet for virkelig personlig autonom transport.

Purdue PhD-studerende Can Cui sidder i test-autonomen bil. En mikrofon i konsollen optager hans kommandoer, som store sprogmodeller i skyen fortolker. Køretøjet kører i henhold til instruktioner genereret fra store sprogmodeller. (Purdue University foto/John Underwood)

Konsekvenser for Fremtidens Transport

For brugerne er fordelene mange. Evnen til at kommunikere naturligt med et AV reducerer den læringskurve, der er forbundet med ny teknologi, og gør autonome køretøjer mere tilgængelige for en bredere gruppe mennesker, herunder dem, der måske er intimideret af komplekse grænseflader. Desuden antyder personaliseringskapaciteterne i Purdue-studiet en fremtid, hvor AV’er kan tilpasse sig til enkelte passagerpræferencer, og give en tilpasset oplevelse til hver passager.

Denne forbedrede interaktion kan også forbedre sikkerheden. Ved bedre at forstå passagerernes intention og tilstand – som at genkende, når nogen er i en hurry eller føler sig syg – kan AV’er justere deres kørselsadfærd derefter, og potentielt reducere ulykker forårsaget af misforståelser eller passagerer, der er ubehagelige.

Set fra industrien kan denne teknologi være en nøglefaktor i den konkurrerende AV-marked. Fabrikanter, der kan tilbyde en mere intuitiv og responsiv brugeroplevelse, kan opnå en betydelig fordel.

Udfordringer og Fremtidige Retninger

Trods de lovende resultater er der stadig flere udfordringer, før LLM-integrerede AV’er bliver en realitet på offentlige veje. Et nøgleproblem er proces-tiden. Det nuværende system har en gennemsnitlig proces-tid på 1,6 sekunder til at fortolke og reagere på en kommando – acceptabelt for ikke-kritiske scenarier, men potentielt problematisk i situationer, der kræver hurtige reaktioner.

Et andet betydeligt problem er potentialet for, at LLM’er “hallucinerer” eller misfortolker kommandoer. Selvom studiet inkorporerede sikkerheds-mekanismer for at minimere denne risiko, er det afgørende at adressere dette problem omfattende for en reel implementering.

Set fremad er Wangs hold i gang med at undersøge flere retninger for yderligere forskning. De evaluerer andre LLM’er, herunder Google’s Gemini og Meta’s Llama AI-assistenter, for at sammenligne deres præstation. Foreløbige resultater antyder, at ChatGPT i øjeblikket overgår andre i sikkerheds- og effektivitets-målinger, selvom publicerede resultater er på vej.

En interessant fremtidig retning er potentialet for mellem-køretøjs-kommunikation ved hjælp af LLM’er. Dette kunne muliggøre mere sofistikeret trafikstyring, som AV’er, der forhandler rettigheder på kryds.

Desuden er holdet i gang med et projekt for at studere store vision-modeller – AI-systemer trænet på billeder i stedet for tekst – for at hjælpe AV’er med at navigere i ekstreme vintervejr-forhold, som er almindelige i Midtvesten. Denne forskning, som støttes af Center for Connected and Automated Transportation, kunne yderligere forbedre tilpasningen og sikkerheden af autonome køretøjer.

Bottom Line

Purdue University’s banebrydende forskning i integration af store sprogmodeller med autonome køretøjer markerer et afgørende øjeblik i transport-teknologi. Ved at muliggøre mere intuitiv og responsiv menneske-AV-interaktion, adresserer denne innovation en kritisk udfordring i AV-adopteringsprocessen. Selvom der stadig er udfordringer som proces-hastighed og potentialet for misfortolkning, åbner studiets lovende resultater vejen for en fremtid, hvor kommunikation med vores køretøjer kan være lige så naturlig som at tale med en menneskelig chauffør. Da denne teknologi udvikler sig, har den potentialet til at revolutionere ikke kun, hvordan vi rejser, men også, hvordan vi opfatter og interagerer med kunstig intelligens i vores daglige liv.