La voix est actuellement la pire façon de communiquer avec l’IA

De nouvelles recherches suggèrent que la méthode la plus populaire de communication avec l’IA, telle que dépeinte dans la science-fiction, pourrait en réalité produire de moins bons résultats que même les invites mal tapées.

De HAL à Deep Thought, de C3P0 à Wall-E, la forme idéalisée des relations humaines/AI a toujours tourné autour du contrôle vocal ; et cela s’est manifesté dans le monde réel, des premiers systèmes d’assistance tels que Siri et Alexa, aux requêtes et conversations basées sur le langage avec la gamme actuelle de LLMs de pointe.

Cette idée a émergé pendant des époques moins émancipées, où – à l’exception des auteurs et des journalistes – l’acte même de taper était considéré comme un « travail semi-qualifié », et était entrepris presque exclusivement par des femmes – avec les femmes elles-mêmes rarement créant le contenu qu’elles tapaient.

Le pouvoir et l’agentivité étaient signifiés à la place par le discours : les réunions et les sommets. Il semblait donc évident que, avec un langage complexe signifiant l’intelligence, la parole parlée deviendrait inévitablement le moyen naturel de l’IA.

En plus de toute autre considération, les échanges textuels n’étaient pas bien adaptés à la télévision et aux films ; même des thrillers de science-fiction osés comme Colossus: The Forbin Project (1970), qui dépeignaient un ordinateur répondant à des commandes vocales humaines sous forme de texte, passaient rapidement à des réponses entièrement vocalisées :

Une scène de 'Colossus: The Forbin Project' (1970), mettant en vedette un supercalculateur massif qui dépasse rapidement les limites du langage basé sur le texte, devenant vocal et despote peu après avoir été allumé. Source: Universal Pictures

Écrire ou parler ?

Malgré le fait que les principaux modèles d’IA offrent des interfaces audio natives pour les utilisateurs, de nouvelles recherches menées aux États-Unis ont conclu que parler à un IA est susceptible d’être la moins efficace façon d’obtenir les résultats que vous souhaitez – en particulier si vous vous attendez à des formes significatives de sortie, telles que du code, en réponse à votre requête.

Selon l’article, parler à un LLM tel que ChatGPT ou Gemini produit actuellement de moins bons résultats que taper une invite ou une requête, même lorsque l’invite tapée contient des erreurs ordinaires.

Ceci est dû au fait que la saisie vocale est plus susceptible d’être restructurée par les systèmes de transcription de manière à supprimer les informations dont le modèle dépend. Ceci se produit car la transcription à partir de l’audio doit supprimer les disfluences telles que « euh » et « comme », ainsi que la tendance à faire de fausses débuts (c’est-à-dire « recommencer »), ainsi que la navigation des ambiguïtés de grammaire et de construction « informelle » (c’est-à-dire les phrases qui se terminent par de nouvelles phrases sans être complétées).

Les auteurs déclarent :

‘La parole est maintenant un chemin de première classe pour accéder à un modèle de langage plutôt qu’un chemin de niche. Les agents de codage tels que Claude Code et Codex acceptent des instructions dictées. Les assistants téléphoniques tels que Google Assistant et Siri acheminent une requête vocale vers un modèle de langage LLM. Les interfaces de dictée telles que Typeless ajoutent une couche supplémentaire alimentée par LLM qui nettoie et reformate la requête vocale de l’utilisateur avant qu’elle ne soit envoyée.

‘Dans chaque cas, le modèle reçoit une transcription, et dans chaque cas, le locuteur peut ne pas relire la chaîne qui a été réellement envoyée. Ce que la canalisation de transcription laisse derrière ou réécrit est ce que le modèle a pour répondre.’

Ceci dissipe toute préconception selon laquelle la saisie tapée est supérieure parce qu’elle est « native » ; elle n’est native en aucun sens, puisque a) elle est toujours soit secrètement, soit ouvertement réécrite d’une manière ou d’une autre avant la transmission à l’IA, et b) le langage textuel n’est qu’une composante de l’espace latent qui renvoie une réponse.

Les expériences menées par l’étude ont montré que les erreurs de frappe ordinaires n’avaient qu’un effet modeste sur les performances, tandis que la parole conversationnelle, les transcriptions nettoyées et surtout les transcriptions compressées par l’IA, ont systématiquement entraîné des baisses de précision plus importantes dans les tâches de raisonnement et de génération de code.

Le nouveau travail s’intitule Devrions-nous taper ou parler aux agents LLM ? Une étude complète des perturbations de saisie vocale et clavier, et provient de quatre auteurs de Santa Monica College et de l’Université de Californie du Sud.

(Remarque: Cette étude particulière entrelace « Méthode » et « Résultats » d’une manière qui ne peut pas facilement être défaite dans mon ordre d’analyse habituel. Par conséquent, je suis contraint de compresser et de sélectionner avec une main plus lourde que d’habitude.)

Méthode

Un « ensemble de perturbation » appelé Human Input Variation Engine (HIVE) a été développé par les auteurs pour simuler les types d’erreurs introduites lorsque les gens tapent des invites sur un clavier QWERTY ou les parlent à travers un système de transcription vocale :

Schéma conceptuel pour le Human Input Variation Engine (HIVE). Une invite de l’utilisateur atteint un modèle de langage par voie vocale, un clavier QWERTY ou une copie et une colle directe, la dernière servant de référence « propre ». La couleur identifie le canal d’entrée plutôt que la méthode d’implémentation, les opérateurs vocaux combinant le transfert de style LLM à quelques exemples et les règles déterministes, tandis que les opérateurs clavier s’appuient entièrement sur des règles déterministes. Le panneau de droite montre la gamme de réponses qu’un modèle peut produire sous une entrée dégradée. Source

HIVE modélise trois voies par lesquelles les invites atteignent un modèle de langage : par voie vocale ; un clavier QWERTY ; ou copie et colle directe – la dernière servant de référence non modifiée par rapport à laquelle toutes les autres entrées sont comparées. Deux opérateurs supplémentaires fonctionnent comme des contrôles expérimentaux, en réorganisant la question et son contexte, ou en permutant les options de réponse multiple.

Les opérateurs de perturbation eux-mêmes sont mis en œuvre à l’aide de règles déterministes ou de transfert de style LLM à quelques exemples en utilisant Qwen2.5-7B. Ceci a permis aux deux méthodes d’entrée d’être évaluées dans des conditions contrôlées et directement comparables.

Conditions de test et résultats

Des expériences ont été menées sur Llama-3.1-8B ; Qwen2.5-7B ; Qwen3-8B ; Mistral-7B-v0.3 ; et Phi-4, en utilisant cinq seeds. Les six benchmarks utilisés étaient GSM8K ; GSM-Symbolic ; GSM1k ; HumanEval ; MMLU-Pro STEM ; et TruthfulQA MC1.

L’ensemble de test utilisé 200 éléments par benchmark, avec 164 éléments pour l’ensemble complet HumanEval. Le décodage glouton (choisir le jeton le plus probable à chaque fois) a été utilisé, de sorte que chaque invite perturbée pouvait être comparée à son homologue propre dans la même exécution du modèle, produisant 550 000 réponses notées à travers 17 changements d’invite et deux tests de contrôle (tests de comparaison utilisés pour isoler des effets spécifiques).

Des mesures ont été prises pour s’assurer que la contamination de l’ensemble de test (chevauchement avec les données que le modèle a pu voir pendant l’entraînement) n’a pas eu lieu :

L’ensemble complet de perturbation utilisé dans l’étude, montrant comment la précision a changé par rapport aux invites propres à travers les changements de transcription vocale, les erreurs de clavier QWERTY et les tests de contrôle. La première ligne donne la précision de référence propre, tandis que les lignes suivantes montrent les changements de point de pourcentage. Le rouge marque l’opérateur le plus nuisible dans chaque bloc et colonne, le bleu le moins nuisible.

Le résultat le plus clair de l’étude est que la saisie vocale était plus nuisible que la saisie au clavier dans les principales conditions de test, les changements de parole réduisant la précision du modèle d’environ trois fois plus que les erreurs de frappe. Les pires résultats provenaient de requêtes vocales qui étaient automatiquement réécrites pour sonner plus propres et plus concises, car ce nettoyage a souvent modifié la structure de la requête que le modèle a reçue.

Ceci est important, car les résultats plus faibles pour la voix n’étaient pas principalement causés par des « débris » de parole évidents : bien que les remplies telles que « euh » et « comme » aient compté (puisqu’ajouter celles-ci à des invites écrites propres a réduit la précision), supprimer les remplies des transcriptions vocales n’a pas restauré les performances.

Auto-préservation

Le problème plus important était donc la façon dont les invites vocales étaient restructurées avant d’atteindre le modèle.

Une question centrale pour l’étude était de savoir si le modèle recevait toujours suffisamment de l’invite d’origine pour reconstruire l’intention de l’utilisateur ; les erreurs de frappe endommageaient souvent la « surface » d’un mot sans supprimer le mot entier, de sorte que le contexte environnant pouvait toujours aider le modèle à déduire ce qui était voulu.

En revanche, une transcription vocale « nettoyée » pouvait remplacer la formulation originale de l’utilisateur par une version plus courte et plus lisse qui ne préserve pas les mêmes relations entre les faits.

C’est pourquoi les erreurs de clavier étaient souvent moins nuisibles : les chercheurs ont constaté que les lettres transposées, les lettres en double, les espaces manquants et les erreurs de touche voisine laissaient généralement beaucoup de la formulation originale récupérable, tandis que le nettoyage de la parole supprimait plus souvent des informations avant que le modèle n’ait eu la chance de l’interpréter.

Perdu dans la traduction

Un exemple de la façon dont un référent peut « se perdre » par perturbation sur ces voyages de l’utilisateur au LLM, présenté dans l’article, est où la phrase ‘elle a donné une quantité égale [de livres] à ses enfants’ a été réinterprétée comme signifiant de l’argent (plutôt que des livres). Dans ce cas, le terme « quantité » est devenu détaché de son référent et a été réappliqué par erreur à son association la plus courante (l’argent) :

Combien de la question d’origine survit à chaque changement d’entrée. Les gros points montrent des types de perturbation individuels, tandis que les petits points montrent des versions plus fortes des mêmes erreurs de clavier.

Cet effet était le plus fort lorsque le modèle devait construire une réponse à partir de l’invite, plutôt que de choisir parmi des options déjà fournies : les tâches d’arithmétique et de génération de code ont souffert davantage car elles dépendaient de la préservation des relations exactes dans la requête, tandis que les tests à choix multiple étaient moins exposés à ce type de dommage.

Les auteurs concluent :

‘Nous constatons que la parole est le canal coûteux, que ce qui endommage coûte combien de la tokenisation originale de la question il détruit, et que ni la contamination de l’ensemble de test ni l’adaptation légère ne rendent compte ou ne réparent le préjudice.

‘Plusieurs conclusions suivent. Si vous tapez, un modèle de raisonnement absorbe vos erreurs. Si vous dictez, il ne le fait pas, donc la formulation que vous parlez est la formulation à partir de laquelle le modèle travaille.

‘Et si vous construisez des outils de dictée, ne réformatez pas ou ne restructurez pas ce que l’utilisateur a dit : supprimez les disfluences de manière minimale et laissez les homophones seuls.

‘Cela compte le plus, car les interfaces de dictée deviennent un moyen par défaut d’accéder à un modèle et leur couche de réécriture est le plus grand préjudice que nous mesurons et la chose la moins chère à modifier.’

Conclusion

Quiconque a déjà dû transcrire manuellement une interview (un labeur journalistique commun et solitaire à l’ère pré-AI) sait combien le processus d’interprétation peut être, à moins que l’interviewé ou le locuteur soit extraordinairement articulé, ou – comme c’est souvent le cas – se contente simplement de répéter son répertoire habituel d’anecdotes de manière routinière.

À part ces cas particuliers, lorsque nous parlons aux gens, nous discountons automatiquement les disfluences et calculons le sens. Cela rend inévitablement la transcription utile un acte d’interprétation, aboutissant à un texte qui représente les intentions du locuteur mieux qu’une translittération littérale et parfaite des voyelles ne le pourrait ; et il est intéressant de noter que les ponts audio vers les LLM luttent de la même manière pour conserver ou même obtenir le même sens que les équivalents textuels.

Il est raisonnable de s’attendre à ce que les futurs cadres bénéficient d’études plus approfondies et (espérons-le) de jeux de données populeux qui contribueront à combler les écarts décrits dans le nouveau travail. Jusqu’à ce moment-là, la nouvelle étude indique que les communications vocales avec l’IA peuvent être plus adaptées aux types de commandes courtes qui ont caractérisé les systèmes d’assistance de niveau consommateur.

Publié pour la première fois le mercredi 12 août 2026