LLM-Bilen: Et Gjennombrudd i Menneske-AV-Kommunikasjon

Ettersom selvstyrte kjøretøy (AV) nærmer seg vidstrakt aksept, består en betydelig utfordring: å løse kommunikasjonsgapet mellom menneskelige passasjerer og deres robot-chauffører. Mens AV har gjort bemerkelsesverdige fremskritt i å navigere komplekse veimiljøer, sliter de ofte med å tolke de nyanserte, naturlige språkkommandoer som kommer så lett til menneskelige sjåfører.

Her kommer en innovativ studie fra Purdue Universitys Lyles School of Civil and Construction Engineering. Ledet av assistentprofessor Ziran Wang, har et team av ingeniører banebrent en innovativ tilnærming til å forbedre AV-menneske-interaksjon ved hjelp av kunstig intelligens. Deres løsning er å integrere store språkmodeller (LLM) som ChatGPT i selvstyrte kjøresystemer.

Kraften i Naturlig Språk i AV

LLM representerer et sprang fremover i AIens evne til å forstå og generere menneske-lignende tekst. Disse sofistikerte AI-systemene er trent på enorme mengder tekstdata, noe som gjør det mulig for dem å gripe kontekst, nyanser og antydet mening på måter som tradisjonelle programmeringsrespons ikke kan.

I sammenheng med selvstyrte kjøretøy tilbyr LLM en transformasjonsevne. I motsetning til konvensjonelle AV-grensesnitt som avhenger av bestemte talekommandoer eller knappeinnganger, kan LLM tolke et bredt spekter av naturlige språkinstrukser. Dette betyr at passasjerer kan kommunisere med sine kjøretøy på samme måte som de ville med en menneskelig sjåfør.

Forbedringen i AV-kommunikasjonskapasiteter er betydelig. Forestill deg å si til bilen din, “Jeg er forsinket,” og å ha den automatisk beregne den mest effektive ruten, justere kjørestilen for å trygt minimere reisetiden. Eller overveur muligheten til å si, “Jeg føler meg litt bilsyk,” og å få kjøretøyet til å justere bevegelsesprofilen for en jevnere tur. Disse nyanserte interaksjonene, som menneskelige sjåfører intuitivt forstår, blir mulige for AV gjennom integrering av LLM.

Purdue University assistentprofessor Ziran Wang står ved siden av et test selvstyrte kjøretøy som han og hans studenter har utstyrt for å tolke kommandoer fra passasjerer ved hjelp av ChatGPT eller andre store språkmodeller. (Purdue University foto/John Underwood)

Purdue-Studien: Metodikk og Funnet

For å teste potensialet for LLM i selvstyrte kjøretøy, gjennomførte Purdue-teamet en rekke eksperimenter med et nivå fire selvstyrte kjøretøy – bare ett steg unna full autonomi som definert av SAE International.

Forskerne begynte med å trene ChatGPT til å respondere på en rekke kommandoer, fra direkte instruksjoner som “Vær så god å kjøre raskere” til mer indirekte forespørsler som “Jeg føler meg litt bevegelsessyk nå.” De integrerte deretter denne trenede modellen med kjøretøyet eksisterende systemer, noe som gjorde det mulig for det å vurdere faktorer som trafikkregler, veiforhold, vær og sensordata ved å tolke kommandoer.

Den eksperimentelle oppsettet var rigorøst. De fleste tester ble utført på en testbane i Columbus, Indiana – en tidligere flyplass som tillot trygg høyhastighetstesting. Ytterligere parkeringstester ble utført i parkeringsområdet til Purdue’s Ross-Ade Stadium. Gjennom hele eksperimentene responderte LLM-assistert AV på både forlærte og nye kommandoer fra passasjerer.

Resultatene var løftende. Deltagerne rapporterte betydelig lavere rater av ubehag sammenlignet med typiske erfaringer i nivå fire AV uten LLM-hjelp. Kjøretøyet presterte jevnt over bedre enn baseline-sikkerhets- og komfortsmålinger, selv når det responderte på kommandoer det ikke hadde vært eksplisitt trent på.

Kanskje mest imponerende var systemets evne til å lære og tilpasse seg individuelle passasjerpreferanser over løpet av en tur, og viste potensialet for virkelig personlig autonom transport.

Purdue PhD-student Can Cui sitter for en tur i det test selvstyrte kjøretøyet. En mikrofon i konsollen plukker opp hans kommandoer, som store språkmodeller i skyen tolker. Kjøretøyet kjører i henhold til instruksjoner generert fra de store språkmodellene. (Purdue University foto/John Underwood)

Konsekvenser for Framtidens Transport

For brukerne er fordelen mangfoldig. Evnen til å kommunisere naturlig med et AV reduserer lærekurven forbundet med ny teknologi, og gjør selvstyrte kjøretøy mer tilgjengelige for en bredere rekke mennesker, inkludert de som kan være intimiderende av komplekse grensesnitt. I tillegg antyder personaliseringskapasiteten demonstrert i Purdue-studien en fremtid hvor AV kan tilpasse seg individuelle preferanser, og gi en tilpasset opplevelse for hver passasjer.

Denne forbedrede interaksjonen kan også forbedre sikkerheten. Ved å bedre forstå passasjerens intensjon og tilstand – som å gjenkjenne når noen er i en hurry eller føler seg syk – kan AV justere kjørebeteende etter hensikt, og potensielt redusere ulykker forårsaket av misforståelser eller passasjerer ubehag.

Fra et industrielt perspektiv kan denne teknologien være en nøkkel til å differensiere i det konkurranseutsatte AV-markedet. Produsenter som kan tilby en mer intuitiv og responsiv brukeropplevelse kan få en betydelig fordeler.

Ufordringer og Fremtidige Retninger

Til tross for de løftende resultater, består flere ufordringer før LLM-integrerte AV blir en realitet på offentlige veier. En nøkkelproblem er prosesseringstid. Det nåværende systemet har i gjennomsnitt 1,6 sekunder til å tolke og respondere på en kommando – akseptabelt for ikke-kritiske scenarioer, men potensielt problematisk i situasjoner som krever raske responser.

En annen betydelig bekymring er potensialet for LLM å “hallusinere” eller misforstå kommandoer. Selv om studien inkorporerte sikkerhetsmekanismer for å mildne denne risikoen, er det avgjørende å håndtere denne problemstillingen omfattende for en virkelig implementering.

Ser fremover, er Wangs team i ferd med å evaluere flere retninger for videre forskning. De vurderer andre LLM, inkludert Googles Gemini og Metas Llama AI-assistenter, for å sammenligne ytelse. Preliminære resultater antyder at ChatGPT for tiden overstiger andre i sikkerhets- og effektivitetsmål, selv om publiserte funn er fremtidige.

En interessant fremtidig retning er potensialet for kommunikasjon mellom kjøretøy ved hjelp av LLM. Dette kunne muliggjøre mer sofistikert trafikkhåndtering, som AV som forhandler førerett ved kryss.

I tillegg er teamet i ferd med å påbegynne et prosjekt for å studere store visuelle modeller – AI-systemer trent på bilder i stedet for tekst – for å hjelpe AV med å navigere ekstreme vinterveirmål som er vanlige i Midtvesten. Dette forskningsarbeidet, støttet av Center for Connected and Automated Transportation, kunne ytterligere forbedre tilpasningen og sikkerheten til selvstyrte kjøretøy.

Bunnen av Saken

Purdue Universitys banebrytende forskning i å integrere store språkmodeller med selvstyrte kjøretøy markerer et avgjørende øyeblikk i transportteknologi. Ved å muliggjøre mer intuitiv og responsiv menneske-AV-interaksjon, løser denne innovasjonen en kritisk utfordring i AV-aksept. Mens hindringer som prosesseringstid og potensielle misforståelser består, åpner studiens løftende resultater vei for en fremtid hvor kommunikasjon med våre kjøretøy kan være like naturlig som å snakke med en menneskelig sjåfør. Ettersom denne teknologien utvikler seg, har den potensialet til å revolusjonere ikke bare hvordan vi reiser, men hvordan vi oppfatter og interagerer med kunstig intelligens i våre daglige liv.