Автомобіль LLM: Прорив у спілкуванні між людиною та AV

Когда автономные транспортні засоби (AV) наближаються до широкого вжитку, залишається значна проблема: подолання розриву у спілкуванні між людьми-пасажирами та їхніми роботизованими шоферами. Хоча AV зробили помітні кроки у навігації складних дорожніх умов, вони часто мають труднощі з інтерпретацією нюансів, природної мови, які так легко даються людським водіям.

Вступає інноваційне дослідження з Університету Пердью. Під керівництвом асистента професора Зірана Ванга команда інженерів розробила інноваційний підхід до покращення взаємодії між людиною та AV за допомогою штучного інтелекту. Їхнє рішення полягає у інтеграції великих мовних моделей (LLM) типу ChatGPT у системи автономного руху.’

Потужність природної мови в AV

LLM представляє собою крок вперед у здатності штучного інтелекту розуміти та генерувати текст, подібний до людського. Ці складні системи штучного інтелекту тренуються на величезних обсягах текстових даних, що дозволяє їм зрозуміти контекст, нюанси та імпліцитний сенс способами, які традиційні запрограмовані відповіді не можуть.

У контексті автономних транспортних засобів LLM пропонує трансформаційну здатність. На відміну від традиційних інтерфейсів AV, які залежать від конкретних голосових команд або кнопок, LLM може інтерпретувати широкий спектр природної мови. Це означає, що пасажири можуть спілкуватися зі своїми транспортними засобами так само, як і з людським водієм.

Покращення у здатності AV спілкуватися значне. Уявіть, що ви кажете своєму автомобілю: “Я спізнююсь”, і він автоматично розрахує найефективніший маршрут, регулюючи свій стиль руху для безпечного скорочення часу подорожі. Або розгляньте можливість сказати: “Я почуваюся трохи автомобільно хворим”, що спонукає транспортний засіб регулювати свій рух для більш гладкої поїздки. Ці нюансировані взаємодії, які людські водії інтуїтивно розуміють, стають можливими для AV завдяки інтеграції LLM.

Помічник професора Університету Пердью Зіран Ванг стоїть поряд з тестовим автономним транспортним засобом, який він та його студенти обладнали для інтерпретації команд від пасажирів за допомогою ChatGPT або інших великих мовних моделей. (Фото Університету Пердью/Джон Андервуд)

Дослідження Університету Пердью: Методологія та результати

Для перевірки потенціалу LLM у автономних транспортних засобах команда Університету Пердью провела серію експериментів за допомогою рівня чотирьох автономного транспортного засобу – всього лише на одному кроку від повної автономії, як визначено SAE International.

Дослідники почали з тренування ChatGPT для відповіді на широкий спектр команд, від прямої інструкції “Будь ласка, їдьте швидше” до більш непрямих запитів, таких як “Я зараз почуваюся трохи хворим”. Потім вони інтегрували цю треновану модель з існуючими системами транспортного засобу, дозволяючи йому враховувати такі фактори, як дорожні правила, умови дороги, погода та дані з датчиків при інтерпретації команд.

Експериментальна установка була суворою. Більшість тестів проводилися на полігоні в Колумбусі, Індіана – колишній злітно-посадочній смузі аеропорту, яка дозволяла проводити безпечні високошвидкісні випробування. Додаткові тести паркування проводилися на парковці стадіону Росс-Ейд Університету Пердью. На протяженні всього експерименту LLM-допоміжний AV відповів на попередньо вивчені та нові команди від пасажирів.

Результати були перспективними. Учасники повідомили про значно нижчі показники дискомфорту порівняно з типовими досвідами у рівня чотирьох AV без допомоги LLM. Транспортний засіб постійно перевершував базові показники безпеки та комфорту, навіть коли реагував на команди, яких він не був явно навчений.

Мабуть, найвражаючою була здатність системи вивчити та адаптуватися до індивідуальних уподобань пасажирів протягом поїздки, демонструючи потенціал для真正ньої персоналізації автономного транспорту.

Аспірант Університету Пердью Кан Цуй сидить у тестовому автономному транспортному засобі. Мініатюрний мікрофон у консолі приймає його команди, які великі мовні моделі у хмарі інтерпретують. Транспортний засіб рухається згідно з інструкціями, згенерованими великими мовними моделями. (Фото Університету Пердью/Джон Андервуд)

Вплив на майбутнє транспорту

Для користувачів переваги численні. Можливість спілкуватися природно з AV знижує криву навчання, пов’язану з новою технологією, роблячи автономні транспортні засоби більш доступними для широкого кола людей, включаючи тих, хто може бути застрашений складними інтерфейсами. Крім того, можливості персоналізації, продемонстровані у дослідженні Університету Пердью, свідчать про майбутнє, де AV можуть адаптуватися до індивідуальних уподобань, забезпечуючи персоналізований досвід для кожного пасажира.

Ця покращена взаємодія також може підвищити безпеку. Розуміючи наміри пасажира та його стан – наприклад, визнаючи, коли хтось поспішає або відчуває себе нездоровим – AV можуть регулювати свій стиль руху відповідно, потенційно знижуючи кількість аварій, спричинених недорозумінням або дискомфортом пасажира.

З точки зору галузі ця технологія може стати ключовим фактором конкурентної переваги на ринку AV. Виробники, які можуть пропонувати більш інтуїтивний та реактивний досвід користувача, можуть здобути значну перевагу.

Виклики та майбутні напрямки

Незважаючи на перспективні результати, залишаються кілька викликів, перш ніж LLM-інтегровані AV стануть реальністю на публічних дорогах. Одним з ключових питань є час обробки. Поточна система в середньому займає 1,6 секунди для інтерпретації та реагування на команду – прийнятно для некритичних сценаріїв, але потенційно проблематично у ситуаціях, які вимагають швидкої реакції.

Іншою значною проблемою є потенційна можливість LLM “галюцинувати” або неправильно інтерпретувати команди. Хоча дослідження включало механізми безпеки для пом’якшення цього ризику, комплексне вирішення цієї проблеми є важливим для реалізації у реальному світі.

Оглядаючи майбутнє, команда Ванга досліджує кілька напрямків для подальших досліджень. Вони оцінюють інші LLM, включаючи Google’s Gemini та Meta’s Llama AI-помічників, для порівняння продуктивності. Перші результати свідчать про те, що ChatGPT зараз перевершує інших у показниках безпеки та ефективності, хоча опубліковані висновки ще мають бути оприлюднені.

Одним з цікавих напрямів майбутніх досліджень є потенційна можливість міжтранспортної комунікації за допомогою LLM. Це може дозволити більш складну систему управління рухом, наприклад, AV, які домовляються про право проїзду на перехрестях.

Крім того, команда розпочинає проект зі студією великих моделей зору – систем штучного інтелекту, тренованих на зображеннях, а не тексті – для допомоги AV у навігації екстремальних зимових погодних умов, характерних для Середнього Заходу. Це дослідження, яке підтримується Центром з’єднаних та автоматизованих транспортних засобів, може ще більше підвищити адаптивність та безпеку автономних транспортних засобів.

Резюме

Дослідження Університету Пердью щодо інтеграції великих мовних моделей з автономними транспортними засобами відзначає важливий момент у технології транспорту. Надавши можливість більш інтуїтивної та реактивної взаємодії між людиною та AV, це інноваційне рішення подолало критичну проблему у вжитку AV. Хоча залишаються перешкоди, такі як час обробки та потенційна неправильна інтерпретація, перспективні результати дослідження відкривають шлях до майбутнього, де спілкування з нашими транспортними засобами може бути так само природнім, як розмова з людським водієм. Коли ця технологія розвивається, вона має потенціал революціонізувати не лише те, як ми подорожуємо, але й те, як ми сприймаємо та взаємодіємо з штучним інтелектом у нашому повсякденному житті.