Stemmen er for tiden den dårligste måten å kommunisere med AI på

Nye forskningsresultater tyder på at sci-fi’s mest populære måte å kommunisere med AI på, kan faktisk gi dårligere resultater enn dårlig skrevne promter.

Fra HAL til Deep Thought, fra C3P0 til Wall-E, har den idealiserte formen for menneske/AI-relasjoner alltid sentrert seg rundt stemmekontroll; og dette har manifestert seg i den virkelige verden, fra tidlige assistentsystemer som Siri og Alexa, til språkbasert spørring og samtale med den nåværende rekken av frontierske LLM-er.

Dette ideet oppstod under mindre frigjorte tider, hvor – med unntak av forfattere og journalister – selve handlingen med å skrive ble ansett som ‘semi-kyndig arbeid’, og ble utført nesten eksklusivt av kvinner – med kvinnene selv sjelden opprinnelig innholdet de skrev.

Makt og handleevne ble signifikert isteden ved diskurs: møter og toppmøter. Det syntes åpenbart, derfor, at med kompleks språk som signifikant intelligens, det talte ord ville uunngåelig bli AI’s naturlige medium.

Bortsett fra andre overveielser, var tekstlige utvekslinger ikke godt tilpasset TV og film; selv modige SF-thrillere som Colossus: The Forbin Project (1970), som avbildet en datamaskin som svarte på menneskelige vokale kommandoer i skrevet tekstform, byttet raskt til helt vokale respons:

En scene fra ‘Colossus: The Forbin Project’ (1970), som viser en enorm superdatamaskin som raskt overstiger grensene for tekstbasert språk, blir vokal og despotisk like etter å ha blitt slått på. Kilde: Universal Pictures

Skriv eller snakk?

Til tross for at verdens ledende AI-modeller tilbyr native lydgrensesnitt for brukerne, har ny forskning fra USA konkludert med at å snakke til en AI sannsynligvis er den minst effektive måten å få de resultater du ønsker fra den – spesielt hvis du forventer betydelige former for utdata, som kode, som svar på din spørring.

Ifølge artikkelen, å snakke til en LLM som ChatGPT eller Gemini, produserer nå dårligere resultater enn å skrive en promt eller spørring, selv når den skrevne prompten inneholder vanlige feil.

Dette skyldes at taleinndata er mer sannsynlig å bli omstrukturert av transkripsjonssystemer på måter som fjerner informasjon som modellen er avhengig av. Dette skjer fordi transkripsjon fra lyd må fjerne uflidelser som ‘øh’ og ‘liksom’, samt tendensen til feilstart (dvs. ‘starter på nytt’), samt navigere usikkerheter i grammatikk og ‘uformell’ konstruksjon (dvs. setninger som løper ut i helt nye setninger, uten å fullføre seg selv).

Forfatterne sier:

‘Å snakke er nå en førsteklassesvei inn i en språkmodell, snarere enn en nisje. Kodeagenter som Claude Code og Codex aksepterer dikterte instruksjoner. Telefonassistenter som Google Assistant og Siri router en talt spørring til en LLM-bakende. Diktering front-ends som Typeless legger til et ytterligere LLM-drevet lag som rensker og reformatterer brukerens tale-spørring før den sendes.

‘I hver enkelt tilfelle mottar modellen en transkripsjon, og i hver enkelt tilfelle kan taleren ikke korrektur den strengen som faktisk ble sendt. Uansett hva transkripsjonsrøret etterlater seg, eller omskriver, er det modellen må svare på.’

Dette avværer enhver forestilling om at skrevet inndata er overlegen fordi det er ‘nativt’; det er ikke naturlig i noen forstand, da a) det alltid er enten hemmelig eller åpenbart omskrevet på noen måte før overføring til AI-en, og b) tekstlig språk er bare en komponent i latent rom som returnerer et svar.

Studiens eksperimenter fant at vanlige skrivefeil bare hadde en beskjeden effekt på ytelse, mens samtale-språk, rensket transkripsjoner og spesielt AI-komprimerte transkripsjoner, konsistent forårsaket mye større nedgang i nøyaktighet over både resonnering og kode-genereringsoppgaver.

Den nye studien heter Should We Type or Talk to LLM Agents? A Comprehensive Study of Voice and Keyboard Input Perturbations, og kommer fra fire forfattere på Santa Monica College og University of Southern California.

(Merk: Denne studien vever sammen ‘Metode’ og ‘Test/Resultater’ på en måte som ikke kan lett fjernes fra min vanlige analyseorden. Derfor er jeg tvunget til å komprimere og velge med en tyngre hånd enn vanlig.)

Metode

En ‘perturbasjonssuite’ kalt Human Input Variation Engine (HIVE) ble utviklet av forfatterne for å simulere feilene som introduseres når mennesker enten skriver promter på et QWERTY-tastatur eller snakker dem gjennom et tale-transkripsjonssystem:

Konseptuell skjema for Human Input Variation Engine (HIVE). En brukers promt når en språkmodell gjennom tale, et QWERTY-tastatur eller direkte kopier-og-lim-inn, med den siste som tjener som den ‘rene’ referansen. Farge identifiserer inndatakanalen snarere enn implementeringsmetoden, med tale-operatorene som kombinerer few-shot LLM-stil overføring og deterministiske regler, mens tastaturet-operatorene bare avhenger av deterministiske regler. Høyre panel viser variasjonen av svar en modell kan produsere under degradert inndata. Kilde

HIVE modellerer tre ruter som promter når en språkmodell: gjennom tale; et QWERTY-tastatur; eller direkte kopier-og-lim-inn – med den siste som tjener som den umodifiserte referansen mot hvilken alle andre inndata sammenlignes. To ekstra operatører fungerer som eksperimentelle kontroller, ved å reordne spørsmålet og dens kontekst, eller ved å permutere flervalgsalternativer.

Perturbasjonsoperatorene selv er implementert gjennom enten deterministiske regler eller few-shot LLM-stil overføring ved hjelp av Qwen2.5-7B.  Dette tillot begge inndata-metodene å bli evaluert under kontrollerte og direkte sammenlignbare forhold.

Testbetingelser og resultater

Eksperimenter ble kjørt over Llama-3.1-8B; Qwen2.5-7B; Qwen3-8B; Mistral-7B-v0.3;  og Phi-4, ved hjelp av fem seeds. De seks benchmarkene som ble brukt var GSM8K; GSM-Symbolic; GSM1k; HumanEval; MMLU-Pro STEM; og TruthfulQA MC1.

Testsettet bestod av 200 elementer per benchmark, med 164 elementer for det fullstendige HumanEval-settet. Greedy dekoding (velg den mest sannsynlige neste token hver gang) ble brukt, så hver perturbert promt kunne sammenlignes mot sin egen rene motpart i samme modellkjør, og produserte 550 000 scored svar over sytten promtendringer og to kontrolltester (sammenligningstester brukt til å isolere bestemte effekter).

Tiltak ble tatt for å sikre at testsett-forurensning (overlapp med data modellen kan ha sett under trening) ikke skjedde:

Den fullstendige perturbasjonssuiten brukt i studien, som viser hvordan nøyaktigheten endret seg mot rene promter over tale-transkripsjonsendringer, QWERTY-tastaturfeil og kontrolltester. Første raden gir ren basis-nøyaktighet, mens senere rader viser prosentpoengendringer. Rød markerer den mest skadelige operatøren i hver blokk og kolonne, blå den minst skadelige.

Den mest tydelige resultatet i studien er at taleinndata var mer skadelig enn tastaturinndata over hovedtestbetingelsene, med talebaserte endringer som reduserte modellens nøyaktighet med omtrent tre ganger så mye som tastaturfeil. De dårligste resultater kom når talt forespørsler ble automatisk omskrevet for å høres renere og mer konsist ut, fordi den renskningen ofte endret strukturen i forespørselen modellen mottok.

Dette betyr noe, fordi de svakere resultater for tale ikke primært ble forårsaket av åpenbare tale-‘avfall’: selv om fyllord som ‘øh’ og ‘liksom’ betydde noe (siden å legge dem til rene skrevne promter senket nøyaktigheten), fjernet fyllord fra talt transkripsjoner ikke gjenopprettet ytelsen.

Selvbevarelse

Derfor var det større problemet hvordan talt promter ble omstrukturert før de nådde modellen.

En sentral spørsmål for studien var om modellen fortsatt mottok nok av den opprinnelige promten til å rekonstruere brukerens intensjon; tastaturfeil ødela ofte bare ‘overflaten’ av et ord uten å fjerne ordet helt, så at den omgivende konteksten fortsatt kunne hjelpe modellen til å slutte hva som var ment.

I motsetning til dette kunne en ‘rensket’ tale-transkripsjon erstatte brukerens opprinnelige formulering med en kortere og glattere versjon som ikke lenger bevarte samme relasjoner mellom fakta.

Dette er hvorfor tastaturfeil ofte var mindre skadelig: forskerne fant at ombyttede bokstaver, dupliserte bokstaver, manglende mellomrom og nærliggende tastefeil vanligvis lot mye av den opprinnelige formuleringen bli gjenopprettelig, mens tale-rensning ofte fjernet eller omorganiserte informasjon før modellen hadde en sjanse til å tolke den.

Tapt i oversettelse

Et eksempel på hvordan en referent kan ‘forlates’ av perturbasjon på disse reisene fra bruker til LLM, presentert i artikkelen, er hvor frasen ‘hun ga en like stor mengde [bøker] til barna sine’ ble tolket som å bety penger (i stedet for bøker). I dette tilfellet ble termen ‘mengde’ løsrevet fra sin referent og ble feilaktig gjenapplikert på sin vanligste assosiasjon (penger):

Hvor mye av den opprinnelige spørsmålet overlever hver inndataendring. Store punkter viser enkelt perturbasjonstyper, mens små punkter viser sterkere versjoner av samme tastaturfeil.

Dette effekten var sterkere når modellen måtte bygge et svar fra promten, snarere enn å velge fra alternativer allerede supplert: aritmetiske og kode-genereringsoppgaver led mer fordi de avhengig av å bevare eksakte relasjoner i forespørselen, mens flervalgstester var mindre utsatt for denne typen skade.

Forfatterne konkluderer:

‘Vi finner at å snakke er den dyre kanalen, at hva skader kostnad er hvor mye av spørsmålets opprinnelige tokenisering det ødelegger, og at hverken testsett-forurensning eller lett tilpasning kan forklare eller reparere skaden.

‘Flere konklusjoner følger. Hvis du skriver, absorberer en resonneringsmodell dine feil. Hvis du dikterer, gjør den det ikke, så formuleringen du snakker er den formuleringen modellen arbeider fra.

‘Og hvis du bygger diktering-verktøy, skal du ikke omformatere eller omstrukturere hva brukeren sa: fjern disfluens minimally og la homofoner være alene.

‘Det siste betyr mest, fordi diktering front-ends blir en standard måte å nå en modell på og deres omformateringslag er den største skaden vi måler og den billigste ting å endre.’

Konklusjon

Hver enkelt som har måttet manuelt transkribe et intervju (en vanlig og ensom journalistisk sysslor i den før-AI-tiden) vil vite hvordan interpretivt prosessen kan være, med mindre intervjuobjektet eller taleren er usedvanlig artikulert, eller – som ofte er tilfelle – bare gjentar sin vanlige rekke av anekdoter på en mekanisk måte.

Bortsett fra slike spesielle tilfeller, når vi snakker med mennesker, diskonterer vi automatisk disfluens og beregner mening. Dette gjør nyttig transkripsjon til en interpretiv handling, resulterende i tekst som representerer talerens intensjoner bedre enn en bokstavelig, vokal-perfekt translitterasjon muligens kunne; og det er interessant å merke seg at lyd-broer til LLM-er sliter likt med å beholde eller oppnå samme mening som tekst-ekvivalenter.

Det er rimelig å forvente at senere rammeverk vil dra nytte av videre studier og (håper) folkerike datamengder som vil hjelpe til å brobygge kløftene som er omtalt i den nye studien. Inntil den tiden indikerer den nye studien at tale-kommunikasjon med AI kan være mer egnet til nettopp den type korte kommandoer som har kjennetegnet forbruker-nivå ‘assistent’-systemer.

Først publisert onsdag, 12. august 2026