LLM Auto: Přelom v komunikaci mezi lidmi a AV

Jak se autonomní vozidla (AV) blíží k širokému rozšíření, zůstává významnou výzvou most mezi komunikací lidských pasažérů a jejich robotickými řidiči. Zatímco AV udělalyremarkable pokroky v navigaci komplexních silničních prostředí, často bojují s interpretací nuancovaných, přirozených jazykových příkazů, které jsou pro lidské řidiče tak samozřejmé.

Vstoupila inovativní studie z Purdue University’s Lyles School of Civil and Construction Engineering. Vedená asistentem profesora Ziran Wang, tým inženýrů uvedl inovativní přístup ke zlepšení interakce AV-lidé pomocí umělé inteligence. Jejich řešení spočívá v integraci velkých jazykových modelů (LLM) jako ChatGPT do autonomních řídících systémů.’

Síla přirozeného jazyka v AV

LLM představují skok vpřed v schopnosti umělé inteligence rozumět a generovat lidský text. Tyto sofistikované systémy umělé inteligence jsou trénovány na rozsáhlých množstvích textových dat, což jim umožňuje chápat kontext, nuance a implikovanou význam způsobem, který tradiční programované odpovědi nemohou.

V kontextu autonomních vozidel LLM nabízejí transformační schopnost. Na rozdíl od konvenčních AV rozhraní, která spoléhají na specifické hlasové příkazy nebo tlačítkové vstupní údaje, LLM mohou interpretovat širokou škálu přirozených jazykových instrukcí. To znamená, že pasažéři mohou komunikovat se svými vozidly podobným způsobem, jako by komunikovali s lidským řidičem.

Vylepšení v komunikačních schopnostech AV je významné. Představte si, že řeknete svému autu, “Jsem pozdě,” a ono automaticky vypočítá nejefektivnější trasu, upraví svůj jízdní styl, aby minimalizoval dobu cestování. Nebo zvažte schopnost říci, “Cítím se trochu nemocně,” což by vozidlo促ilo upravit svůj pohyb pro hladší jízdu. Tyto nuancované interakce, které lidský řidič intuitivně rozumí, se stávají pro AV možné prostřednictvím integrace LLM.

Purdue University asistent profesora Ziran Wang stojí vedle testovacího autonomního vozidla, které on a jeho studenti vybavili k interpretaci příkazů od pasažérů pomocí ChatGPT nebo jiných velkých jazykových modelů. (Purdue University photo/John Underwood)

Studie Purdue: Metodologie a výsledky

Aby otestovali potenciál LLM v autonomních vozidlech, tým Purdue provedl sérii experimentů pomocí level four autonomního vozidla – jen jeden krok od plné autonomie podle SAE International.

Výzkumníci začali trénovat ChatGPT, aby reagoval na řadu příkazů, od přímých instrukcí jako “Prosím, jeďte rychleji” až po více nepřímé požadavky, jako “Cítím se trochu nemocně právě teď.” Poté integrovali tento trénovaný model s existujícími systémy vozidla, aby mohl zohlednit faktory, jako jsou dopravní předpisy, stav silnic, počasí a data z čidel, při interpretaci příkazů.

Experimentální nastavení bylo přísné. Většina testů se konala na testovacím polygonu v Columbusu, Indianě – bývalé letištní dráze, která umožňovala bezpečné testování při vysokých rychlostech. Další testy parkování se konaly na parkovišti Purdueovy Ross-Ade Stadium. Během experimentů LLM-pomocné AV reagovaly na předem naučené i nové příkazy od pasažérů.

Výsledky byly slibné. Účastníci uváděli významně nižší míru nepohodlí ve srovnání s typickými zkušenostmi v level four AV bez LLM pomoci. Vozidlo konzistentně překonalo základní bezpečnostní a komfortní metriky, dokonce i při reakci na příkazy, na které nebylo explicitně trénováno.

Možná nejvíce dojmem je, že systém prokázal schopnost učit se a přizpůsobovat se individuálním preferencím pasažérů během jízdy, což naznačuje potenciál pro skutečně personalizovanou autonomní dopravu.

Purdue PhD student Can Cui sedí v testovacím autonomním vozidle. Mikrofon v konzoli zachycuje jeho příkazy, které velké jazykové modely v cloudu interpretují. Vozidlo jezdí podle instrukcí generovaných z velkých jazykových modelů. (Purdue University photo/John Underwood)

Dopady na budoucnost dopravy

Pro uživatele jsou výhody mnohé. Schopnost komunikovat přirozeně s AV snižuje křivku učení spojenou s novou technologií, což dělá autonomní vozidla přístupnější širšímu spektru lidí, včetně těch, kteří by mohli být zastrašeni složitými rozhraními. Kromě toho personalizační schopnosti prokázány v studii Purdue naznačují budoucnost, kde AV mohou přizpůsobit individuálním preferencím, poskytovat personalizované zkušenosti pro každého pasažéra.

Tato vylepšená interakce by mohla také zlepšit bezpečnost. Díky lepšímu pochopení záměru a stavu pasažéra – jako je rozpoznání, když někdo spěchá nebo se necítí dobře – AV mohou upravit své chování při jízdě, potenciálně snižují nehody způsobené nesprávnou komunikací nebo nepohodlím pasažérů.

Z průmyslového hlediska by tato technologie mohla být klíčovým rozlišovacím prvkem na konkurenčním trhu AV. Výrobci, kteří mohou nabízet více intuitivní a responsivní uživatelskou zkušenost, mohou získat významnou výhodu.

Výzvy a budoucí směry

Navzdory slibným výsledkům zůstávají několik výzev, než se LLM-integrovaná AV stane realitou na veřejných silnicích. Jedním z klíčových problémů je doba zpracování. Současný systém průměrně trvá 1,6 sekundy na interpretaci a reakci na příkaz – přijatelné pro nekritické scénáře, ale potenciálně problematické v situacích vyžadujících rychlé reakce.

Další významnou obavou je potenciál LLM “hallucinovat” nebo špatně interpretovat příkazy. Zatímco studie zahrnovala bezpečnostní mechanismy pro zmírnění tohoto rizika, komplexní řešení této otázky je zásadní pro reálnou implementaci.

V budoucnu Wangův tým prozkoumává několik směrů pro další výzkum. Hodnotí jiné LLM, včetně Google Gemini a Meta Llama AI asistentů, aby porovnali výkon. Předběžné výsledky naznačují, že ChatGPT目前 outperforms ostatní v bezpečnostních a efektivních metrikách, i když publikované výsledky jsou budoucí.

Zajímavým budoucím směrem je potenciál pro mezi-vozidlovou komunikaci pomocí LLM. To by mohlo umožnit více sofistikované řízení dopravy, jako je například AV vyjednávání práva přednosti na křižovatkách.

Kromě toho tým zahajuje projekt pro studium velkých vizuálních modelů – AI systémů trénovaných na obrázcích spíše než textu – aby pomohli AV navigovat extrémní zimní počasí běžné v Midwestu. Tento výzkum, podporovaný Centrem pro propojenou a autonomní dopravu, by mohl dále zlepšit adaptabilitu a bezpečnost autonomních vozidel.

Závěrečné slovo

Průlomový výzkum Purdue University týkající se integrace velkých jazykových modelů s autonomními vozidly představuje zásadní okamžik v technologii dopravy. Zlepšením interakce mezi lidmi a AV řeší kritickou výzvu v adopci AV. Zatímco překážky, jako je doba zpracování a potenciální špatná interpretace, zůstávají, slibné výsledky studie otevírají cestu k budoucnosti, kde komunikace s našimi vozidly může být tak přirozená, jako konverzace s lidským řidičem. Jak se tato technologie vyvíjí, má potenciál revolucionalizovat nejen to, jak cestujeme, ale i to, jak vnímáme a interagujeme s umělou inteligencí v našich denních životech.