La voiture LLM : une avancée dans la communication homme-véhicule autonome

Alors que les véhicules autonomes (VA) sont sur le point d’être adoptés à grande échelle, un défi de taille demeure : combler le fossé de communication entre les passagers humains et leurs chauffeurs robotisés. Si les VA ont fait des progrès remarquables dans la navigation dans des environnements routiers complexes, ils ont souvent du mal à interpréter les commandes nuancées et naturelles que les conducteurs humains reçoivent si facilement.

Entrez un étude innovante Dirigée par le professeur adjoint Ziran Wang, une équipe d'ingénieurs a mis au point une approche innovante pour améliorer l'interaction entre les véhicules autonomes et l'humain grâce à l'intelligence artificielle. Leur solution consiste à intégrer des modèles de langage à grande échelle (MLH) comme ChatGPT dans les systèmes de conduite autonome.

La puissance du langage naturel dans les véhicules autonomes

Les LLM représentent une avancée majeure dans la capacité de l'IA à comprendre et à générer des textes de type humain. Ces systèmes d'IA sophistiqués sont entraînés à partir de vastes quantités de données textuelles, ce qui leur permet de saisir le contexte, les nuances et le sens implicite d'une manière que les réponses programmées traditionnelles ne peuvent pas.

Dans le contexte des véhicules autonomes, les LLM offrent une capacité transformatrice. Contrairement aux interfaces AV conventionnelles qui s'appuient sur des commandes vocales spécifiques ou des entrées de boutons, les LLM peuvent interpréter une large gamme d'instructions en langage naturel. Cela signifie que les passagers peuvent communiquer avec leur véhicule de la même manière qu'ils le feraient avec un conducteur humain.

L'amélioration des capacités de communication des véhicules autonomes est considérable. Imaginez dire à votre voiture « Je suis en retard » et la voir calculer automatiquement l'itinéraire le plus efficace, adaptant sa conduite pour minimiser le temps de trajet en toute sécurité. Ou imaginez la possibilité de dire « J'ai un peu le mal des transports », incitant le véhicule à ajuster son profil de mouvement pour une conduite plus fluide. Ces interactions subtiles, que les conducteurs humains comprennent intuitivement, deviennent possibles pour les véhicules autonomes grâce à l'intégration des LLM.

Ziran Wang, professeur adjoint à l'Université Purdue, se tient à côté d'un véhicule autonome de test que lui et ses étudiants ont équipé pour interpréter les commandes des passagers à l'aide de ChatGPT ou d'autres grands modèles de langage. (Photo de l'Université Purdue/John Underwood)

L'étude Purdue : méthodologie et résultats

Pour tester le potentiel des LLM dans les véhicules autonomes, l’équipe de Purdue a mené une série d’expériences en utilisant un véhicule autonome de niveau quatre – à seulement un pas de l’autonomie complète telle que définie par SAE International.

Les chercheurs ont commencé par entraîner ChatGPT à répondre à diverses commandes, allant d'instructions directes comme « Veuillez rouler plus vite » à des demandes plus indirectes comme « J'ai le mal des transports en ce moment ». Ils ont ensuite intégré ce modèle entraîné aux systèmes existants du véhicule, lui permettant de prendre en compte des facteurs tels que le code de la route, l'état des routes, la météo et les données des capteurs lors de l'interprétation des commandes.

Le dispositif expérimental était rigoureux. La plupart des tests ont été réalisés sur un terrain d'essai à Columbus, dans l'Indiana, une ancienne piste d'aéroport permettant des essais à grande vitesse en toute sécurité. Des essais de stationnement supplémentaires ont été réalisés sur le parking du stade Ross-Ade de Purdue. Tout au long des expériences, le véhicule autonome assisté par LLM a répondu à des commandes pré-appris et nouvelles des passagers.

Les résultats étaient prometteurs. Les participants ont signalé des niveaux d'inconfort significativement inférieurs à ceux observés habituellement dans les véhicules autonomes de niveau 4 sans assistance LLM. Le véhicule a systématiquement surpassé les indicateurs de sécurité et de confort de base, même lorsqu'il répondait à des commandes pour lesquelles il n'avait pas été explicitement entraîné.

Ce qui est peut-être le plus impressionnant, c’est que le système a démontré sa capacité à apprendre et à s’adapter aux préférences individuelles des passagers au cours d’un trajet, démontrant ainsi le potentiel d’un transport autonome véritablement personnalisé.

Can Cui, doctorant à Purdue, est assis dans le véhicule autonome d'essai. Un microphone dans la console capte ses commandes, qui sont interprétées par de grands modèles de langage dans le cloud. Le véhicule se déplace selon les instructions générées par les grands modèles de langage. (Photo de l'Université Purdue/John Underwood)

Conséquences pour l’avenir des transports

Pour les utilisateurs, les avantages sont multiples. La possibilité de communiquer naturellement avec un véhicule autonome réduit la courbe d’apprentissage associée aux nouvelles technologies, ce qui rend les véhicules autonomes plus accessibles à un plus large éventail de personnes, y compris celles qui pourraient être intimidées par des interfaces complexes. De plus, les capacités de personnalisation démontrées dans l’étude de Purdue laissent entrevoir un avenir où les véhicules autonomes pourront s’adapter aux préférences individuelles, offrant une expérience sur mesure à chaque passager.

Cette interaction améliorée pourrait également améliorer la sécurité. En comprenant mieux les intentions et l’état des passagers (par exemple en reconnaissant si quelqu’un est pressé ou ne se sent pas bien), les véhicules autonomes peuvent adapter leur comportement de conduite en conséquence, réduisant ainsi potentiellement les accidents causés par une mauvaise communication ou l’inconfort des passagers.

D'un point de vue industriel, cette technologie pourrait constituer un facteur de différenciation clé sur le marché concurrentiel des véhicules autonomes. Les fabricants capables d'offrir une expérience utilisateur plus intuitive et plus réactive pourraient obtenir un avantage significatif.

Défis et orientations futures

Malgré les résultats prometteurs, plusieurs défis restent à relever avant que les véhicules autonomes intégrant la technologie LLM ne deviennent une réalité sur les routes publiques. L’un des principaux problèmes est le temps de traitement. Le système actuel met en moyenne 1.6 seconde pour interpréter et répondre à une commande, ce qui est acceptable pour les scénarios non critiques, mais potentiellement problématique dans les situations nécessitant des réponses rapides.

Une autre préoccupation importante est la possibilité que les LLM « hallucinent » ou interprètent mal les commandes. Bien que l’étude ait intégré des mécanismes de sécurité pour atténuer ce risque, il est essentiel de traiter ce problème de manière globale pour une mise en œuvre dans le monde réel.

Pour l'avenir, l'équipe de Wang explore plusieurs pistes de recherche. Elle évalue d'autres LLM, notamment Gemini de Google et les assistants IA Llama de Meta, afin de comparer leurs performances. Les résultats préliminaires suggèrent que ChatGPT surpasse actuellement les autres en termes de sécurité et d'efficacité, mais les résultats seront publiés prochainement.

L'une des perspectives d'avenir les plus intéressantes est la possibilité de communication entre véhicules à l'aide de LLM. Cela pourrait permettre une gestion plus sophistiquée du trafic, par exemple pour les véhicules autonomes qui négocient la priorité de passage aux intersections.

L’équipe se lance également dans un projet visant à étudier de grands modèles de vision – des systèmes d’IA entraînés sur des images plutôt que sur du texte – pour aider les véhicules autonomes à affronter les conditions climatiques hivernales extrêmes courantes dans le Midwest. Cette recherche, soutenue par le Center for Connected and Automated Transportation, pourrait encore améliorer l’adaptabilité et la sécurité des véhicules autonomes.

Conclusion

Les recherches révolutionnaires de l'Université Purdue sur l'intégration de grands modèles linguistiques aux véhicules autonomes marquent un tournant dans les technologies des transports. En permettant une interaction homme-véhicule autonome plus intuitive et réactive, cette innovation répond à un défi crucial pour l'adoption des véhicules autonomes. Si des obstacles tels que la vitesse de traitement et les erreurs d'interprétation potentielles subsistent, les résultats prometteurs de l'étude ouvrent la voie à un avenir où la communication avec nos véhicules pourrait être aussi naturelle qu'une conversation avec un conducteur humain. À mesure que cette technologie évolue, elle a le potentiel de révolutionner non seulement nos déplacements, mais aussi notre perception et notre interaction avec l'intelligence artificielle au quotidien.