De stem is momenteel de slechtste manier om met AI te communiceren

Nieuw onderzoek suggereert dat de meest populaire methode van sci-fi om met AI te communiceren, mogelijk slechtere resultaten oplevert dan zelfs slecht getypte prompts.

Van HAL tot Deep Thought, van C3P0 tot Wall-E, het ideaal van menselijke AI-relaties is altijd gecentreerd rond stemcontrole; en dit heeft zich gemanifesteerd in de echte wereld, van vroege assistentiesystemen zoals Siri en Alexa, tot taalgebaseerde query’s en conversaties met de huidige reeks frontier LLM’s.

Dit idee ontstond tijdens minder emancipatie-tijden, waar – met uitzondering van auteurs en journalisten – de daad van typen werd beschouwd als ‘semi-gekwalificeerd werk’, en werd ondernomen bijna uitsluitend door vrouwen – met de vrouwen zelf zelden de inhoud creërend die ze typten.

Macht en agentie werd aangeduid door discours: meetings en toppen. Het leek dus logisch dat met complexe taal intelligentie aanduidt, de gesproken woord onvermijdelijk het natuurlijke medium van AI zou worden.

Behalve andere overwegingen, waren tekstuele uitwisselingen niet goed aangepast aan TV en films; zelfs gewaagde SF-thrillers zoals Colossus: The Forbin Project (1970), die een computer liet reageren op menselijke vocale opdrachten in geschreven tekstvorm, schakelden snel over naar geheel vocale reacties:

Een scène uit ‘Colossus: The Forbin Project’ (1970), met een enorme supercomputer die snel de grenzen van tekstgebaseerde taal overschrijdt en vocaal en despoot wordt kort na het inschakelen. Bron: Universal Pictures

Typen of praten?

Ondanks het feit dat de werelds toonaangevende AI-modellen native audio-interfaces voor gebruikers bieden, concludeert nieuw onderzoek uit de VS dat spreken met een AI waarschijnlijk de minst effectieve manier is om de resultaten te krijgen die je van het wilt – vooral als je significante vormen van output verwacht, zoals code, als reactie op je vraag.

Volgens het artikel praten met een LLM zoals ChatGPT of Gemini produceert momenteel slechtere resultaten dan het typen van een prompt of vraag, zelfs wanneer de getypte prompt gewone fouten bevat.

Dit komt doordat gesproken input vaker herstructurerend is door transcriptiesystemen op manieren die informatie verwijderen die het model nodig heeft. Dit gebeurt omdat transcriptie van audio disfluencies zoals ‘eh’ en ‘zo’ moet verwijderen, evenals de neiging tot valse starts (d.w.z. ‘opnieuw beginnen’), evenals het navigeren door ambiguïteiten van grammatica en ‘informele’ constructie (d.w.z. zinnen die afdwalen in geheel nieuwe zinnen, zonder voltooiing in hun eigen recht).

De auteurs verklaren:

‘Praten is nu een eerste-klasse route naar een taalmodel in plaats van een niche-een. Coding-agents zoals Claude Code en Codex accepteren gedicteerde instructies. Telefoonassistenten zoals Google Assistant en Siri routeren een gesproken verzoek naar een LLM-backend. Dictatie-frontends zoals Typeless voegen een verdere LLM-gepowered laag toe die de gesproken verzoek van de gebruiker schoont en opmaakt voordat het wordt verzonden.

‘In elk geval ontvangt het model een transcript, en in elk geval kan de spreker de verzonden tekenreeks niet nakijken. Wat de transcriptiepijplijn achterlaat of herschrijft, is wat het model moet beantwoorden.’

Dit weerlegt elk vooroordeel dat getypte input superieur is omdat het ‘natuurlijk’ is; het is niet natuurlijk in enige zin, aangezien het altijd ofwel clandestien of openlijk herschreven wordt voordat het aan de AI wordt doorgegeven, en b) tekstuele taal is slechts één component in de latent space die een antwoord teruggeeft.

Het onderzoek vond dat gewone typfouten alleen een bescheiden effect hadden op de prestaties, terwijl conversational speech, opgeschoonde transcripten en vooral AI-gecomprimeerde transcripten, consistent grotere dalingen in nauwkeurigheid veroorzaakten bij redenering- en code-generatie taken.

Het nieuwe werk heet Moeten we typen of praten met LLM-agents? Een uitgebreide studie van stem- en toetsenbordinputperturbaties, en komt van vier auteurs uit Santa Monica College en de University of Southern California.

(Opmerking: Deze specifieke studie verweeft ‘Methode’ en ‘Testen/Resultaten’ op een manier die niet gemakkelijk kan worden ontrafeld in mijn gebruikelijke analysevolgorde. Daarom ben ik genoodzaakt om te comprimeren en te selecteren met een zwaardere hand dan gebruikelijk.)

Methode

Een ‘perturbatiesuite’ genaamd de Human Input Variation Engine (HIVE) werd ontwikkeld door de auteurs, om de soorten fouten te simuleren die optreden wanneer mensen een prompt typen op een QWERTY-toetsenbord of spreken door een spraak-transcriptiesysteem:

Conceptueel schema voor de Human Input Variation Engine (HIVE). Een gebruikersprompt bereikt een taalmodel via stem, een QWERTY-toetsenbord of direct kopiëren en plakken, waarbij het laatste dient als de ‘schone’ referentie. Kleur identificeert het invoerkanaal in plaats van de implementatiemethode, met de stemoperators die few-shot LLM-stijltransfer en deterministische regels combineren, terwijl de toetsenbordoperators volledig afhankelijk zijn van deterministische regels. Het rechterpaneel toont het bereik van antwoorden dat een model kan produceren onder verslechterde input. Bron

HIVE modellen drie routes waarlangs prompts een taalmodel bereiken: via stem; een QWERTY-toetsenbord; of direct kopiëren en plakken – met het laatste als ongewijzigde referentie waartegen alle andere invoer wordt vergeleken. Twee extra operators fungeren als experimentele controles, door de vraag en de context te herschikken, of door meerdere keuze-opties te permuteren.

De perturbatie-operators zelf worden geïmplementeerd door middel van deterministische regels of few-shot LLM-stijltransfer met behulp van Qwen2.5-7B. Dit stelde beide invoermethoden in staat om onder gecontroleerde en direct vergelijkbare omstandigheden te worden geëvalueerd.

Testcondities en resultaten

Experimenten werden uitgevoerd over Llama-3.1-8B; Qwen2.5-7B; Qwen3-8B; Mistral-7B-v0.3; en Phi-4, met behulp van vijf zaden. De zes benchmarks die werden gebruikt, waren GSM8K; GSM-Symbolic; GSM1k; HumanEval; MMLU-Pro STEM; en TruthfulQA MC1.

Het testset gebruikte 200 items per benchmark, met 164 items voor de volledige HumanEval-set. Grijpdecodering (kiezen van de meest waarschijnlijke volgende token elk keer) werd gebruikt, zodat elke verstoord prompt kon worden vergeleken met zijn eigen schone tegenhanger in dezelfde modelrun, waardoor 550.000 beoordeelde antwoorden werden gegenereerd over 17 promptwijzigingen en twee controletests (vergelijkingsonderzoeken die werden gebruikt om specifieke effecten te isoleren).

Maatregelen werden genomen om te voorkomen dat testsetverontreiniging (overlap met gegevens die het model mogelijk heeft gezien tijdens de training) zou optreden:

De volledige perturbatiesuite die in de studie werd gebruikt, waarin wordt getoond hoe de nauwkeurigheid verandert ten opzichte van schone prompts over stemtranscriptiewijzigingen, QWERTY-toetsenbordfouten en controletests. De eerste rij geeft de schone basisnauwkeurigheid, terwijl latere rijen percentage-puntsveranderingen laten zien. Rood markeert de meest schadelijke operator in elke blok en kolom, blauw de minst schadelijke.

Het duidelijkste resultaat in de studie is dat steminput schadelijker was dan toetsenbordinput over de hoofdtestomstandigheden, met spraakgebaseerde wijzigingen die de modelnauwkeurigheid met ongeveer drie keer zo veel verlaagden als typfouten. De slechtste resultaten kwamen wanneer gesproken verzoeken automatisch werden herschreven om schooner en bondiger te klinken, omdat die schoonmaak vaak de structuur van het verzoek veranderde dat het model ontving.

Dit is belangrijk, omdat de zwakkere resultaten voor stem niet primair werden veroorzaakt door voor de hand liggende spraak ‘afval’: hoewel fillers zoals ‘eh’ en ‘zo’ ertoe deden (aangezien het toevoegen ervan aan schone geschreven prompts de nauwkeurigheid verlaagde), veranderde het verwijderen van fillers uit gesproken transcripten de prestaties niet terug.

Zelfbehoud

Daarom was het grotere probleem de manier waarop gesproken prompts werden herstructurerend voordat ze het model bereikten.

Een centrale vraag voor de studie was of het model nog steeds genoeg van de oorspronkelijke prompt ontving om de bedoeling van de gebruiker te reconstrueren; typfouten beschadigen vaak het ‘oppervlak’ van een woord zonder het woord geheel te verwijderen, zodat de omringende context het model nog steeds kan helpen begrijpen wat bedoeld was.

Door contrast, kan een ‘opgeschoonde’ stemtranscript de oorspronkelijke formulering van de gebruiker vervangen door een kortere en gladere versie die dezelfde relaties tussen feiten niet langer behoudt.

Dit is waarom toetsenbordfouten vaak minder schadelijk waren: de onderzoekers vonden dat omgekeerde letters, gedupliceerde letters, gemiste spaties en nabijgelegen toetsfouten meestal veel van de oorspronkelijke woorden intact lieten, terwijl spraakopruiming vaker informatie verwijderde of herschikte voordat het model de kans had om het te interpreteren.

Verloren in vertaling

Een voorbeeld van hoe een referent kan ‘verloren gaan’ door perturbatie op deze reizen van gebruiker naar LLM, zoals beschreven in het artikel, is waar de zin ‘ze gaf een gelijk bedrag [boeken] aan haar kinderen’ werd geïnterpreteerd als het betekenen van geld (in plaats van boeken). In dit geval werd de term ‘bedrag’ losgekoppeld van zijn referent en verkeerd toegepast op zijn meest voorkomende associatie (geld):

Hoeveel van de oorspronkelijke vraag overleeft elke invoerwijziging. Grote stippen geven individuele perturbatietypen aan, terwijl kleine stippen sterke versies van dezelfde toetsenbordfouten aangeven.

Dit effect was het sterkst wanneer het model moest een antwoord opbouwen uit de prompt, in plaats van te kiezen uit opties die al waren geleverd: reken- en code-generatietaken leden meer omdat ze afhankelijk waren van het behoud van de exacte relaties in het verzoek, terwijl multiple-choice tests minder vatbaar waren voor deze soort schade.

De auteurs concluderen:

‘We vinden dat spreken de dure kanaal is, dat wat schade kost is hoeveel van de oorspronkelijke tokenisatie van de vraag het vernietigt, en dat noch testsetverontreiniging noch lichtgewichtadaptatie de schade verantwoordt of herstelt.

‘Enkele conclusies volgen. Als je typt, absorbeert een redeneringsmodel je fouten. Als je dicteert, doet het dat niet, dus de formulering die je spreekt is de formulering die het model gebruikt.

‘En als je dictatietools bouwt, moet je de gebruiker niet herschrijven of herschikken wat de gebruiker zei: verwijder disfluency minimaal en laat homofonen met rust.

‘Die laatste is het belangrijkst, omdat dictatie-frontends de standaardmanier worden om een model te bereiken en hun herschrijflaag is de grootste schade die we meten en de goedkoopste om te veranderen.’

Conclusie

Iedereen die ooit handmatig een interview moest transcriberen (een gebruikelijke en eenzame journalistieke last in de pre-AI-tijd) weet hoe interpretatief het proces kan zijn, tenzij de geïnterviewde of spreker buitengewoon articulair is, of – zoals vaak het geval is – gewoon zijn gebruikelijke reeks anekdotes herhaalt op een mechanische manier.

Behalve in dergelijke speciale gevallen, als we met mensen praten, zijn we automatisch disfluencies en betekenis berekenend. Dit maakt nutte transcriptie een interpretatieve handeling, resulterend in tekst die de bedoelingen van de spreker beter vertegenwoordigt dan een letterlijke, klinker-perfecte transcriptie mogelijk zou kunnen; en het is interessant om op te merken dat audio-bruggen naar LLM’s soortgelijke moeilijkheden ondervinden om dezelfde betekenis te behouden of te verkrijgen als tekst-equivalenten.

Het is redelijk om te verwachten dat latere kaders zullen profiteren van verdere studies en (hopelijk) volbezette datasets die zullen helpen om de kloven te overbruggen die in het nieuwe werk zijn geschetst. Tot die tijd geeft de nieuwe studie aan dat stemcommunicatie met AI mogelijk beter geschikt is voor exact het soort korte opdrachten dat kenmerkend is voor consumentenniveau ‘assistent’-systemen.

First published Wednesday, 12 augustus 2026