LLM-Bilen: Et Gjennombrudd i Menneske-AV-Kommunikasjon

Da autonome kjøretøy (AV) nærmer seg bred innføring, gjenstår en betydelig utfordring: å brygge kommunikasjonsgapet mellom menneskelige passasjerer og deres robotiske sjåfører. Mens AV har gjort bemerkelsesverdige fremskritt i å navigere komplekse veimiljøer, sliter de ofte med å tolke de nyanserte, naturlige språklig instruksjoner som kommer så lett til menneskelige sjåfører.

Her kommer en innovativ studie fra Purdue Universitys Lyles School of Civil and Construction Engineering. Ledet av assistentprofessor Ziran Wang, har et team av ingeniører banebrytende en innovativ tilnærming til å forbedre AV-menneske-interaksjon ved hjelp av kunstig intelligens. Deres løsning er å integrere store språkmodeller (LLM) som ChatGPT i autonome kjøringssystemer.

Kraften i Naturlig Språk i AV

LLM representerer et sprang fremover i AIens evne til å forstå og generere menneske-lignende tekst. Disse sofistikerte AI-systemene er trent på enorme mengder tekstdata, noe som gjør det mulig for dem å gripe kontekst, nyanser og implisitt mening på måter som tradisjonelle programmeringsrespons ikke kan.

I sammenheng med autonome kjøretøy, tilbyr LLM en transformasjonsevne. I motsetning til konvensjonelle AV-grensesnitt som avhenger av spesifikke talekommandoer eller knappeinnganger, kan LLM tolke et bredt spekter av naturlige språkinstrukser. Dette betyr at passasjerer kan kommunisere med sine kjøretøy på samme måte som de ville med en menneskelig sjåfør.

Forbedringen i AV-kommunikasjonskapasiteten er betydelig. Tenk deg at du sier til bilen din, “Jeg er forsinket,” og den automatisk beregner den mest effektive ruten, justerer kjørestilen for å minimere reisetiden på en trygg måte. Eller tenk deg å si, “Jeg føler meg litt bilsyk,” og bilen justerer bevegelsesprofilen for en jevnere tur. Disse nyanserte interaksjoner, som menneskelige sjåfører intuitivt forstår, blir mulig for AV gjennom integrering av LLM.

Purdue Universitys assistentprofessor Ziran Wang står ved siden av et testautonomt kjøretøy som han og hans studenter har utstyrt for å tolke kommandoer fra passasjerer ved hjelp av ChatGPT eller andre store språkmodeller. (Purdue University foto/John Underwood)

Purdue-Studien: Metodologi og Funnet

For å teste potensialet for LLM i autonome kjøretøy, gjennomførte Purdue-teamet en rekke eksperimenter med et nivå fire autonomt kjøretøy – bare ett steg unna full autonomi som definert av SAE International.

Forskerne begynte med å trene ChatGPT til å respondere på en rekke kommandoer, fra direkte instruksjoner som “Vær så god å kjøre raskere” til mer indirekte forespørsler som “Jeg føler meg litt bevegelsessyk nå.” De integrerte deretter denne trenede modellen med kjøretøyets eksisterende systemer, noe som gjorde det mulig for det å vurdere faktorer som trafikkregler, veiforhold, vær og sensordata når det tolket kommandoer.

Den eksperimentelle oppsettet var rigorøst. De fleste tester ble utført på en testbane i Columbus, Indiana – en tidligere flyplass som tillot trygg høyhastighetstesting. Ytterligere parkeringstester ble utført i parkeringsplassen til Purdue’s Ross-Ade Stadium. Under eksperimentene svarte LLM-assistert AV på både forhåndsinnlærte og nye kommandoer fra passasjerer.

Resultatene var lovende. Deltagerne rapporterte betydelig lavere nivåer av ubehag sammenlignet med typiske erfaringer i nivå fire AV uten LLM-hjelp. Kjøretøyet presterte konsekvent bedre enn basis-sikkerhets- og komfortsmålinger, selv når det svarte på kommandoer det ikke hadde blitt eksplisitt trenet på.

Kanskje mest imponerende var systemets evne til å lære og tilpasse seg enkelt passasjerpreferanser over en tur, og viste potensialet for virkelig personlig autonom transport.

Purdue PhD-student Can Cui sitter i testautonomt kjøretøy. En mikrofon i konsollen plukker opp hans kommandoer, som store språkmodeller i skyen tolker. Kjøretøyet kjører i henhold til instruksjoner generert fra store språkmodeller. (Purdue University foto/John Underwood)

Konsekvenser for Framtidens Transport

For brukerne er fordelen mangfoldig. Evnen til å kommunisere naturlig med et AV reduserer lærekurven forbundet med ny teknologi, og gjør autonome kjøretøy mer tilgjengelige for en bredere rekke mennesker, inkludert de som kan være intimiderende av komplekse grensesnitt. I tillegg antyder personaliseringsmulighetene i Purdue-studien en fremtid hvor AV kan tilpasse seg enkelt passasjerpreferanser, og gi en tilpasset opplevelse for hver passasjer.

Denne forbedrede interaksjonen kan også forbedre sikkerheten. Ved å bedre forstå passasjerens intensjon og tilstand – som å gjenkjenne når noen er i en hurry eller føler seg dårlig – kan AV justere kjørestilen i henhold til, og potensielt redusere ulykker forårsaket av misforståelser eller passasjerubehag.

Fra et industriperspektiv kan denne teknologien være en nøkkel til å differensiere i det konkurranseutsatte AV-markedet. Produsenter som kan tilby en mer intuitiv og responsiv brukeropplevelse kan få en betydelig fordel.

Ufordringer og Fremtidige Retninger

Til tross for de lovende resultatene, gjenstår flere utfordringer før LLM-integrerte AV blir en realitet på offentlige veier. En nøkkelutfordring er prosesseringstid. Det nåværende systemet har en gjennomsnittlig prosesseringstid på 1,6 sekunder for å tolke og svare på en kommando – akseptabelt for ikke-kritiske scenarioer, men potensielt problematisk i situasjoner som krever raske responser.

En annen betydelig bekymring er potensialet for LLM å “hallusinere” eller misforstå kommandoer. Selv om studien inkorporerte sikkerhetsmekanismer for å minimere denne risikoen, er det avgjørende å adresse denne utfordringen omfattende for en virkelig implementering.

I fremtiden er Wangs team i ferd med å evaluere andre LLM, inkludert Google’s Gemini og Meta’s Llama AI-assistenter, for å sammenligne ytelse. Preliminære resultater antyder at ChatGPT for tiden overgår andre i sikkerhets- og effisiensmålinger, selv om publiserte funn er på vent.

En interessant fremtidig retning er potensialet for inter-kjøretøy-kommunikasjon ved hjelp av LLM. Dette kan muliggjøre mer sofistikert trafikkhåndtering, som AV som forhandler prioritet ved kryss.

I tillegg er teamet i ferd med å studere store visningsmodeller – AI-systemer trent på bilder i stedet for tekst – for å hjelpe AV med å navigere ekstreme vinterforhold vanlige i Midwest. Dette forskningsarbeidet, støttet av Center for Connected and Automated Transportation, kan ytterligere forbedre tilpasningen og sikkerheten til autonome kjøretøy.

Bunnen av Saken

Purdue Universitys banebrytende forskning i integrering av store språkmodeller med autonome kjøretøy markerer et avgjørende øyeblikk i transportteknologi. Ved å muliggjøre mer intuitiv og responsiv menneske-AV-interaksjon, adresserer denne innovasjonen en kritisk utfordring i AV-tilpasning. Mens hindringer som prosesseringstid og potensielle misforståelser gjenstår, åpner studiens lovende resultater vei for en fremtid hvor kommunikasjon med våre kjøretøy kan være like naturlig som å snakke med en menneskelig sjåfør. Etterhvert som denne teknologien utvikler seg, har den potensialet til å revolusjonere ikke bare hvordan vi reiser, men også hvordan vi oppfatter og interagerer med kunstig intelligens i våre daglige liv.