La voiture LLM : une avancée dans la communication entre les humains et les véhicules autonomes

Alors que les véhicules autonomes (VA) s’approchent de l’adoption généralisée, un défi important subsiste : combler le fossé de communication entre les passagers humains et leurs chauffeurs robotiques. Bien que les VA aient fait des progrès remarquables dans la navigation d’environnements routiers complexes, ils ont souvent du mal à interpréter les commandes linguistiques naturelles et nuancées qui viennent si facilement aux conducteurs humains.

Voici une étude innovante de l’Université Purdue, menée par l’assistant professor Ziran Wang, qui a mené une équipe d’ingénieurs pour améliorer l’interaction entre les humains et les VA en utilisant l’intelligence artificielle. Leur solution consiste à intégrer des modèles de langage grand (LLM) comme ChatGPT dans les systèmes de conduite autonome.

Le pouvoir du langage naturel dans les VA

Les LLM représentent un bond en avant dans la capacité de l’IA à comprendre et à générer du texte similaire à celui des humains. Ces systèmes d’IA sophistiqués sont formés sur d’immenses quantités de données textuelles, leur permettant de saisir le contexte, la nuance et la signification implicite de manière que les réponses programmées traditionnelles ne peuvent pas.

Dans le contexte des véhicules autonomes, les LLM offrent une capacité de transformation. Contrairement aux interfaces VA conventionnelles qui reposent sur des commandes vocales spécifiques ou des entrées de bouton, les LLM peuvent interpréter une large gamme d’instructions linguistiques naturelles. Cela signifie que les passagers peuvent communiquer avec leurs véhicules de la même manière qu’ils le feraient avec un conducteur humain.

L’amélioration des capacités de communication des VA est significative. Imaginez dire à votre voiture : « Je suis en retard », et qu’elle calcule automatiquement l’itinéraire le plus efficace, en ajustant son style de conduite pour minimiser le temps de trajet en toute sécurité. Ou considérez la capacité de dire : « Je me sens un peu malade en voiture », ce qui amène le véhicule à ajuster son profil de mouvement pour un trajet plus doux. Ces interactions nuancées, que les conducteurs humains comprennent intuitivement, deviennent possibles pour les VA grâce à l’intégration des LLM.

Le professeur agrégé Ziran Wang de l’Université Purdue se tient à côté d’un véhicule autonome de test qu’il et ses étudiants ont équipé pour interpréter les commandes des passagers en utilisant ChatGPT ou d’autres modèles de langage grand. (Photo de l’Université Purdue/John Underwood)

L’étude de Purdue : méthodologie et résultats

Pour tester le potentiel des LLM dans les véhicules autonomes, l’équipe de Purdue a mené une série d’expériences en utilisant un véhicule autonome de niveau quatre – à un pas de l’autonomie totale tel que défini par SAE International.

Les chercheurs ont commencé par former ChatGPT pour répondre à une gamme de commandes, allant des instructions directes comme « Pouvez-vous conduire plus vite » à des demandes plus indirectes comme « Je me sens un peu malade en ce moment ». Ils ont ensuite intégré ce modèle formé avec les systèmes existants du véhicule, lui permettant de prendre en compte des facteurs tels que les règles de la route, les conditions routières, la météo et les données des capteurs lors de l’interprétation des commandes.

Le dispositif expérimental était rigoureux. La plupart des tests ont été menés sur un terrain d’essai à Columbus, dans l’Indiana – une ancienne piste d’aéroport qui a permis des essais à haute vitesse en toute sécurité. Des tests de stationnement supplémentaires ont été effectués sur le parking du stade Ross-Ade de Purdue. Tout au long des expériences, le VA assisté par LLM a répondu aux commandes apprises et nouvelles des passagers.

Les résultats ont été prometteurs. Les participants ont rapporté des taux de discomfort significativement plus bas par rapport aux expériences typiques dans les VA de niveau quatre sans assistance LLM. Le véhicule a constamment surpassé les mesures de sécurité et de confort de base, même lorsqu’il répondait à des commandes qu’il n’avait pas été explicitement formé pour.

Peut-être plus impressionnant encore, le système a démontré une capacité à apprendre et à s’adapter aux préférences individuelles des passagers au cours d’un trajet, montrant le potentiel pour un transport autonome vraiment personnalisé.

L’étudiant en doctorat de Purdue, Can Cui, est assis pour un trajet dans le véhicule autonome de test. Un microphone dans la console capte ses commandes, que les modèles de langage grand dans le cloud interprètent. Le véhicule conduit selon les instructions générées à partir des modèles de langage grand. (Photo de l’Université Purdue/John Underwood)

Implications pour l’avenir du transport

Pour les utilisateurs, les avantages sont multiples. La capacité de communiquer naturellement avec un VA réduit la courbe d’apprentissage associée à la nouvelle technologie, rendant les véhicules autonomes plus accessibles à un plus large éventail de personnes, y compris celles qui pourraient être intimidées par des interfaces complexes. De plus, les capacités de personnalisation démontrées dans l’étude de Purdue suggèrent un avenir où les VA pourraient s’adapter aux préférences individuelles, offrant une expérience sur mesure pour chaque passager.

Cette interaction améliorée pourrait également améliorer la sécurité. En comprenant mieux l’intention et l’état des passagers – comme reconnaître quand quelqu’un est pressé ou se sent mal – les VA peuvent ajuster leur comportement de conduite en conséquence, potentiellement réduisant les accidents causés par une mauvaise communication ou un discomfort des passagers.

Du point de vue de l’industrie, cette technologie pourrait être un facteur clé de différenciation sur le marché des VA. Les fabricants qui peuvent offrir une expérience utilisateur plus intuitive et plus réactive peuvent gagner un avantage significatif.

Défis et directions futures

Malgré les résultats prometteurs, plusieurs défis subsistent avant que les VA intégrant les LLM ne deviennent une réalité sur les routes publiques. Un problème clé est le temps de traitement. Le système actuel met en moyenne 1,6 seconde pour interpréter et répondre à une commande – acceptable pour les scénarios non critiques mais potentiellement problématique dans les situations nécessitant des réponses rapides.

Un autre problème important est le potentiel pour les LLM à « halluciner » ou à mal interpréter les commandes. Bien que l’étude ait incorporé des mécanismes de sécurité pour atténuer ce risque, résoudre ce problème de manière globale est crucial pour la mise en œuvre dans le monde réel.

En regardant vers l’avenir, l’équipe de Wang explore plusieurs axes de recherche. Ils évaluent d’autres LLM, y compris les assistants d’IA Gemini de Google et Llama de Meta, pour comparer les performances. Les résultats préliminaires suggèrent que ChatGPT surpasse actuellement les autres en termes de sécurité et d’efficacité, bien que les résultats publiés soient à venir.

Une direction future intrigante est le potentiel pour la communication intervéhicules en utilisant les LLM. Cela pourrait permettre une gestion du trafic plus sophistiquée, comme les VA négociant la priorité à l’intersection.

De plus, l’équipe se lance dans un projet pour étudier les modèles de vision grand – des systèmes d’IA formés sur des images plutôt que du texte – pour aider les VA à naviguer dans les conditions météorologiques hivernales extrêmes courantes dans le Midwest. Cette recherche, soutenue par le Center for Connected and Automated Transportation, pourrait encore améliorer l’adaptabilité et la sécurité des véhicules autonomes.

Le bilan

La recherche innovante de l’Université Purdue sur l’intégration de modèles de langage grand avec les véhicules autonomes marque un moment charnière dans la technologie du transport. En permettant une interaction plus intuitive et plus réactive entre les humains et les VA, cette innovation répond à un défi critique dans l’adoption des VA. Bien que des obstacles tels que la vitesse de traitement et les interprétations erronées subsistent, les résultats prometteurs de l’étude ouvrent la voie à un avenir où communiquer avec nos véhicules pourrait être aussi naturel que converser avec un conducteur humain. À mesure que cette technologie évolue, elle a le potentiel de révolutionner non seulement la façon dont nous voyageons, mais aussi la façon dont nous percevons et interagissons avec l’intelligence artificielle dans notre vie quotidienne.