LLM Car: Průlom v komunikaci mezi lidmi a AV

Vzhledem k tomu, že se autonomní vozidla (AV) přibližují širokému rozšíření, zůstává významnou výzvou: překlenout komunikační propast mezi lidskými cestujícími a jejich robotickými řidiči. Zatímco AV udělala pozoruhodný pokrok v navigaci v komplexních silničních prostředích, často se potýká s problémy s interpretací příkazů v jemném přirozeném jazyce, které se lidským řidičům tak snadno dostávají.

Zadejte číslo inovativní studium z Lyles School of Civil and Construction Engineering Purdue University. Tým inženýrů vedený odborným asistentem Ziranem Wangem je průkopníkem inovativního přístupu ke zlepšení interakce AV-člověk pomocí umělé inteligence. Jejich řešením je integrovat velké jazykové modely (LLM), jako je ChatGPT, do systémů autonomního řízení.“

Síla přirozeného jazyka v AV

LLM představují skok vpřed ve schopnosti umělé inteligence porozumět a generovat lidský text. Tyto sofistikované systémy umělé inteligence jsou trénovány na obrovském množství textových dat, což jim umožňuje uchopit kontext, nuance a implikovaný význam způsobem, který tradiční naprogramované odpovědi nedokážou.

V kontextu autonomních vozidel nabízejí LLM transformační schopnost. Na rozdíl od běžných AV rozhraní, která se spoléhají na specifické hlasové příkazy nebo vstupy pomocí tlačítek, LLM dokážou interpretovat širokou škálu instrukcí v přirozeném jazyce. To znamená, že cestující mohou komunikovat se svými vozidly v podstatě stejným způsobem jako s lidským řidičem.

Zlepšení možností AV komunikace je významné. Představte si, že svému autu řeknete: „Jdu pozdě“ a necháte automaticky vypočítat nejúčinnější trasu a upravit svůj styl jízdy tak, aby bezpečně minimalizoval cestovní dobu. Nebo zvažte schopnost říci: „Cítím se trochu nevolno“, což pobízí vozidlo k úpravě profilu pohybu pro hladší jízdu. Tyto jemné interakce, kterým lidští řidiči intuitivně rozumí, jsou pro AV možné díky integraci LLM.

Profesor Purdue University Ziran Wang stojí vedle testovacího autonomního vozidla, které on a jeho studenti vybavili k interpretaci příkazů cestujících pomocí ChatGPT nebo jiných velkých jazykových modelů. (foto Purdue University/John Underwood)

The Purdue Study: Methodology and Findings

Aby otestoval potenciál LLM v autonomních vozidlech, provedl tým Purdue sérii experimentů s použitím autonomního vozidla čtvrté úrovně – jen jeden krok od plné autonomie definované SAE International.

Výzkumníci začali trénováním ChatGPT, aby reagoval na řadu příkazů, od přímých pokynů, jako je „Prosím, jezděte rychleji“ až po nepřímé požadavky, jako je „Právě teď je mi trochu nevolno“. Poté integrovali tento trénovaný model se stávajícími systémy vozidla, což mu umožnilo při interpretaci příkazů zohlednit faktory, jako jsou dopravní pravidla, stav vozovky, počasí a data ze senzorů.

Experimentální nastavení bylo přísné. Většina testů byla provedena na zkušebním místě v Columbusu v Indianě – bývalé letištní dráze, která umožňovala bezpečné vysokorychlostní testování. Další parkovací testy byly provedeny na pozemku Purdue's Ross-Ade Stadium. Během experimentů AV podporovaný LLM reagoval na předem naučené i nové příkazy cestujících.

Výsledky byly slibné. Účastníci hlásili výrazně nižší míru nepohodlí ve srovnání s typickými zážitky v AV úrovně čtyři bez pomoci LLM. Vozidlo trvale překonávalo základní metriky bezpečnosti a pohodlí, i když reagovalo na příkazy, na které nebylo výslovně vyškoleno.

Snad nejpůsobivější je, že systém prokázal schopnost učit se a přizpůsobovat individuálním preferencím cestujících v průběhu jízdy, čímž předvedl potenciál skutečně personalizované autonomní dopravy.

Doktorand Purdue Can Cui sedí na projížďce v testovacím autonomním vozidle. Mikrofon v konzole snímá jeho příkazy, které velké jazykové modely v cloudu interpretují. Vozidlo jede podle instrukcí generovaných z velkých jazykových modelů. (foto Purdue University/John Underwood)

Důsledky pro budoucnost dopravy

Pro uživatele jsou výhody rozmanité. Schopnost přirozeně komunikovat s AV snižuje křivku učení spojenou s novou technologií, díky čemuž jsou autonomní vozidla dostupnější pro širší okruh lidí, včetně těch, kteří by mohli být zastrašeni složitými rozhraními. Schopnosti personalizace demonstrované ve studii Purdue navíc naznačují budoucnost, kdy se AV budou moci přizpůsobit individuálním preferencím a poskytnout každému cestujícímu přizpůsobený zážitek.

Tato zlepšená interakce by mohla také zvýšit bezpečnost. Díky lepšímu porozumění záměru a stavu cestujících – jako je rozpoznání, když někdo spěchá nebo se necítí dobře – mohou AV odpovídajícím způsobem upravit své chování při řízení a potenciálně snížit nehody způsobené nedorozuměním nebo nepohodlí cestujících.

Z průmyslového hlediska by tato technologie mohla být klíčovým rozdílem na konkurenčním AV trhu. Výrobci, kteří mohou nabídnout intuitivnější a citlivější uživatelskou zkušenost, mohou získat významnou výhodu.

Výzvy a budoucí směry

Navzdory slibným výsledkům zbývá několik výzev, než se AV integrované do LLM stanou realitou na veřejných komunikacích. Jedním z klíčových problémů je doba zpracování. Současný systém trvá v průměru 1.6 sekundy na interpretaci a reakci na příkaz – přijatelné pro nekritické scénáře, ale potenciálně problematické v situacích vyžadujících rychlé reakce.

Dalším významným problémem je potenciál LLM „halucinovat“ nebo nesprávně interpretovat příkazy. Přestože studie zahrnovala bezpečnostní mechanismy ke zmírnění tohoto rizika, komplexní řešení tohoto problému je zásadní pro implementaci v reálném světě.

Při pohledu do budoucna zkoumá Wangův tým několik cest pro další výzkum. Hodnotí další LLM, včetně asistentů Gemini od Googlu a Llama AI od společnosti Meta, aby porovnali výkon. Předběžné výsledky naznačují, že ChatGPT v současné době překonává ostatní v metrikách bezpečnosti a efektivity, i když zveřejněná zjištění budou k dispozici.

Zajímavým budoucím směrem je potenciál pro komunikaci mezi vozidly pomocí LLM. To by mohlo umožnit propracovanější řízení dopravy, jako jsou AV vyjednávající o přednosti v jízdě na křižovatkách.

Kromě toho se tým pouští do projektu studovat velké modely vidění – systémy umělé inteligence trénované spíše na obrázcích než na textu – aby pomohly AV navigovat v extrémních zimních povětrnostních podmínkách běžných na Středozápadě. Tento výzkum podporovaný Centrem pro propojenou a automatizovanou dopravu by mohl dále zlepšit přizpůsobivost a bezpečnost autonomních vozidel.

Bottom Line

Průkopnický výzkum Purdue University v oblasti integrace velkých jazykových modelů s autonomními vozidly představuje klíčový moment v dopravní technologii. Tím, že umožňuje intuitivnější a citlivější interakci člověka a AV, tato inovace řeší zásadní výzvu při přijímání AV. Zatímco překážky, jako je rychlost zpracování a potenciální chybné interpretace, přetrvávají, slibné výsledky studie dláždí cestu pro budoucnost, kde by komunikace s našimi vozidly mohla být stejně přirozená jako konverzace s lidským řidičem. Jak se tato technologie vyvíjí, má potenciál způsobit revoluci nejen v tom, jak cestujeme, ale také v tom, jak vnímáme umělou inteligenci a jak s ní komunikujeme v našem každodenním životě.