Stemmen er pt. den dårligste måde at kommunikere med AI på

Nyt forskning antyder, at sci-fi’s mest populært afbildede metode til at interface med AI, muligvis kan producere dårligere resultater end selv dårligt skrevne prompts.

Fra HAL til Deep Thought, fra C3P0 til Wall-E, har den idealiserede form for menneske/AI-relationer altid centreret sig om stemme-kontrol; og dette har manifestet sig i den virkelige verden, fra tidlige assistentsystemer som Siri og Alexa, til sprog-baseret forespørgsel og samtale med den nuværende række af frontiers LLM’er.

Dette koncept opstod under mindre emanciperede tidsaldre, hvor – med undtagelse af forfattere og journalister – selv aktien af at skrive blev betragtet som ‘semi-kvalificeret arbejde’, og blev udført næsten eksklusivt af kvinder – med kvinderne selv sjældent oprindeligt indhold, de skrev.

Magt og agentur blev signifieret i stedet af diskurs: møder og topmøder. Det syntes åbenbart, at kompleks sprog significerer intelligens, ville det talte ord uundgåeligt blive AI’s naturlige medium.

Foruden enhver anden overvejelse, var tekstlige udvekslinger ikke godt tilpasset til TV og film; selv vovende SF-thrillers som Colossus: The Forbin Project (1970), som afbildede en computer, der svarede på menneskelige vokale kommandoer i skrevet tekstform, skiftede hurtigt til fuldt vokale svar:

En scene fra ‘Colossus: The Forbin Project’ (1970), der viser en kæmpe supercomputer, der hurtigt overstiger grænserne for tekstbaseret sprog og bliver vokal og despotisk kort efter at være blevet tændt. Kilde: Universal Pictures

Skriv eller tal?

Trods det faktum, at verdens førende AI-modeller tilbyder native lydgrænseflader til brugere, konkluderede ny forskning fra USA, at at tale til en AI sandsynligvis er den mindst effektive måde at opnå de resultater, du ønsker fra den – især hvis du forventer betydelige former for output, såsom kode, som svar på din forespørgsel.

Ifølge artiklen taler til en LLM som ChatGPT eller Gemini pt. producerer dårligere resultater end at skrive en prompt eller forespørgsel, selv når den skrevne prompt indeholder almindelige fejl.

Dette skyldes, at tale-input er mere sandsynligt at blive omstruktureret af transkriptionssystemer på måder, der fjerner information, som modellen afhænger af. Dette sker, fordi transkription fra lyd må fjerne uflædeligheder såsom ‘øh’ og ‘lige’, samt tendensen til falske start (dvs. ‘starte forfra’), samt navigere i tvetydigheder af grammatik og ‘uformel’ konstruktion (dvs. sætninger, der løber ud i helt nye sætninger uden at blive fuldført).

Forfatterne skriver:

‘Tale er nu en førsteklasses vej ind i et sprogmodel frem for en niche. Kodningsagenter som Claude Code og Codex accepterer dikterede instruktioner. Telefonassistenter som Google Assistant og Siri router en talt anmodning til et LLM-bagende. Diktering front-ends som Typeless tilføjer endnu en LLM-drevet lag, der renser og formaterer brugerens taleanmodning, før den sendes.

‘I hvert tilfælde modtager modellen en transkription, og i hvert tilfælde kan taleren ikke korrekturlæse den streng, der faktisk blev sendt. Hvad transkriptionsrøret efterlader eller omskriver, er, hvad modellen har at svare på.’

Dette afviser enhver forestilling om, at skrevet input er overlegen, fordi det er ‘naturligt’; det er ikke naturligt i nogen forstand, da a) det altid enten er hemmeligt eller åbent omskrevet på en eller anden måde, før det sendes til AI, og b) tekstligt sprog er kun en komponent i latent rum, der returnerer et svar.

Studiets eksperimenter fandt, at almindelige skrivefejl kun havde en moderat effekt på ydeevnen, mens konversations tale, renskrevne transkriptioner og især AI-komprimerede transkriptioner konsekvent forårsagede langt større fald i nøjagtighed på tværs af resonering og kodegenereringsopgaver.

Det nye arbejde har titlen Should We Type or Talk to LLM Agents? A Comprehensive Study of Voice and Keyboard Input Perturbations og kommer fra fire forfattere på tværs af Santa Monica College og University of Southern California.

(Bemærk: Denne studie væver ‘Metode’ og ‘Test/Resultater’ sammen på en måde, der ikke let kan adskilles fra min normale analyseorden. Derfor er jeg tvunget til at komprimere og vælge med en tungere hånd end normalt.)

Metode

Et ‘perturbations-suite’ kaldet Human Input Variation Engine (HIVE) blev udviklet af forfatterne for at simulere de fejl, der indføres, når mennesker enten skriver prompts på et QWERTY-tastatur eller taler dem gennem et tale-transkriptionssystem:

Konceptuel skema for Human Input Variation Engine (HIVE). En brugers prompt når et sprogmodel gennem tale, et QWERTY-tastatur eller direkte kopier-og-lim, hvor sidstnævnte fungerer som den rene reference. Farve identificerer inputkanalen snarere end implementeringsmetoden, med taleoperatørerne kombinerer få-skud LLM-stiloverføring og deterministiske regler, mens tastaturoperatørerne afhænger udelukkende af deterministiske regler. Højre panel viser det omfang af svar, et model kan producere under degraderet input. Kilde

HIVE modellerer tre ruter, som prompts når et sprogmodel: gennem tale; et QWERTY-tastatur; eller direkte kopier-og-lim – med sidstnævnte fungerer som den urettet reference, som alle andre inputs sammenlignes med. To yderligere operatører fungerer som eksperimentelle kontroller, ved at omordne spørgsmålet og dens kontekst, eller ved at permutere multiple-choice-svarmuligheder.

Perturbationsoperatørerne selv er implementeret gennem enten deterministiske regler eller få-skud LLM-stiloverføring ved hjælp af Qwen2.5-7B. Dette tillod både inputmetoder at blive vurderet under kontrollerede og direkte sammenlignelige betingelser.

Testbetingelser og resultater

Eksperimenterne blev kørt på tværs af Llama-3.1-8B; Qwen2.5-7B; Qwen3-8B; Mistral-7B-v0.3; og Phi-4, ved hjælp af fem seeds. De seks benchmarks, der blev brugt, var GSM8K; GSM-Symbolic; GSM1k; HumanEval; MMLU-Pro STEM; og TruthfulQA MC1.

Test-sættet brugte 200 elementer per benchmark, med 164 elementer til det fulde HumanEval-sæt. Greedy dekodning (vælger den mest sandsynlige næste token hver gang) blev brugt, så hver pertuberet prompt kunne sammenlignes med sin egen rene modpart i samme modelkørsel, producerende 550.000 scored svar på tværs af sytten promptændringer og to kontroltests (sammenligningstests brugt til at isolere specifikke effekter).

Foranstaltninger blev truffet for at sikre, at test-sæt-forurening (overlappende data, som modellen måske har set under træning) ikke opstod:

Den fulde perturbations-suite brugt i studiet, viser, hvordan nøjagtigheden ændrede sig mod ren prompts på tværs af tale-transkriptionsændringer, QWERTY-tastaturfejl og kontroltests. Første række giver ren baseline-nøjagtighed, mens senere rækker viser procentpointændringer. Rød markerer den mest skadelige operatør i hver blok og kolonne, blå den mindst skadelige.

Den mest tydelige resultat i studiet er, at tale-input var mere skadeligt end tastatur-input på tværs af de primære testbetingelser, med talebaserede ændringer, der reducerer modelnøjagtigheden med omkring tre gange så meget som tastaturfejl. De dårligste resultater kom, når taleanmodninger blev automatisk omskrevet til at lyde renere og mere koncise, fordi den renskrevne version ofte ændrede anmodningens struktur, som modellen modtog.

Dette betyder noget, fordi de svagere resultater for tale ikke primært skyldtes åbenlyse tale-‘affald’: selvom fyldord som ‘øh’ og ‘lige’ gjorde en forskel (da tilføjelse af dem til rene skrevne prompts reducerede nøjagtigheden), fjernelse af fyldord fra taletranskriptioner ikke genskabte ydeevnen.

Selvbeskyttelse

Derfor var det større problem den måde, hvorpå taleprompts blev omstruktureret, før de nåede modellen.

En central spørgsmål for studiet var, om modellen stadig modtog nok af den oprindelige prompt til at genskabe brugerens intention; tastaturfejl ødelagde ofte ‘overfladen’ af et ord uden at fjerne ordet helt, sådan at den omgivende kontekst stadig kunne hjælpe modellen med at slutte, hvad der var ment.

I modsætning hertil kunne en ‘rensket’ taletranskription erstatte brugerens oprindelige formulering med en kortere og glattere version der ikke længere bevarede de samme relationer mellem fakta.

Dette er hvorfor tastaturfejl ofte var mindre skadelige: forskerne fandt, at ombyttede bogstaver, duplikerede bogstaver, manglende mellemrum og nær-key-fejl generelt efterlod meget af den oprindelige formulering, mens tale-rensning ofte fjernede eller omorganiserede information, før modellen havde chancen for at fortolke den.

Tabt i oversættelse

Et eksempel på, hvordan en referent kan ‘tabes’ ved perturbation på disse rejser fra bruger til LLM, fremhæves i artiklen, hvor frasen ‘hun gav en lige stor mængde [af bøger] til sine børn’ blev fortolket som betydende penge (i stedet for bøger). I dette tilfælde blev termen ‘mængde’ afkoblet fra sin referent og blev fejlagtigt genanvendt til sin mest almindelige association (penge):

Hvor meget af den oprindelige spørgsmål overlever hver inputændring. Store punkter viser individuelle perturbationstyper, mens små punkter viser stærkere versioner af de samme tastaturfejl.

Dette effekt var stærkest, når modellen havde brug for at bygge et svar fra prompten, snarere end at vælge fra allerede leverede muligheder: aritmetiske og kodegenereringsopgaver led mere, fordi de afhængige af at bevare de præcise relationer i anmodningen, hvorimod multiple-choice-tests var mindre udsatte for denne type skade.

Forfatterne konkluderer:

‘Vi finder, at tale er den dyre kanal, at hvad der skader, er, hvor meget af spørgsmålets oprindelige tokenisering det ødelægger, og at hverken test-sæt-forurening eller let tilpasning kan forklare eller reparere skaden.

‘Flere konklusioner følger. Hvis du skriver, absorberer en resonansmodel dine fejl. Hvis du dikterer, gør den det ikke, så den formulering, du taler, er den formulering, modellen arbejder fra.

‘Og hvis du bygger dikteringværktøjer, skal du ikke omskrive eller omstrukturere, hvad brugeren sagde: fjern uflædeligheder minimalt og lad homofoner være.

‘Det sidste er det vigtigste, fordi diktering front-ends bliver en standardmåde at nå et model på, og deres omskrivningslag er den største skade, vi måler, og den billigste ting at ændre.’

Konklusion

Enhver, der nogensinde har måttet manuelt transkribere et interview (en almindelig og ensom journalistisk slid i den for-AI-æra) vil vide, hvor fortolkende processen kan være, medmindre interviewpersonen eller taleren er ekstraordinært artikuleret eller – som det ofte er tilfældet – bare gentager deres sædvanlige række af anekdoter på en mekanisk måde.

Foruden sådanne særlige tilfælde, når vi taler til mennesker, diskonterer vi automatisk uflædeligheder og beregner mening. Dette gør brugbar transkription til en fortolkende handling, der resulterer i tekst, der repræsenterer talerens intention bedre end en litteral, vokal-perfect transskription kunne; og det er interessant at bemærke, at audio-broer til LLM kæmper lignende med at fastholde eller opnå samme mening som tekst-ekvivalenter.

Det er rimeligt at forvente, at senere rammer vil kunne drage fordel af yderligere studier og (håbefuldt) fuldt befolkede datasæt, der kan hjælpe med at brobygge de kløfter, der er afbildet i det nye arbejde. Indtil da antyder det nye studie, at stemme-kommunikation med AI måske er mere egnet til netop den type korte kommandoer, der har karakteriseret forbruger-niveau-‘assistent’-systemer.

Offentliggjort første gang onsdag, 12. august 2026