Rösten är för närvarande den sämsta metoden för att kommunicera med AI

Nya studier tyder på att sci-fi:s mest populärt avbildade metod för att komma i kontakt med AI faktiskt kan producera sämre resultat än till och med dåligt skrivna förfrågningar.

Från HAL till Deep Thought, från C3P0 till Wall-E, har den idealiserade formen av mänsklig/AI-relationer alltid kretsat kring röststyrning; och detta har manifesterats i den verkliga världen, från tidiga assistentssystem som Siri och Alexa, till språkbaserad frågeställning och samtal med den nuvarande raden av frontlinjens LLM:er.

Denna idé uppstod under mindre frigjorda epoker, där – med undantag för författare och journalister – själva handlingen att skriva ansågs vara “halvutbildat arbete” och utfördes nästan uteslutande av kvinnor – med kvinnorna själva sällan skapade innehållet de skrev.

Makt och handlingsutrymme symboliserades istället av diskurs: möten och toppmöten. Det tycktes uppenbart, därför, att med komplex språk som betyder intelligens, skulle det talade ordet oundvikligen bli AI:s naturliga medium.

Förutom alla andra överväganden, var textbaserade utbyten inte väl anpassade till TV och film; även djärva SF-thrillers som Colossus: The Forbin Project (1970), som avbildade en dator som svarade på mänskliga vokala kommandon i skriftlig form, bytte snabbt till helt vokala svar:

En scen från 'Colossus: The Forbin Project' (1970), som visar en enorm superdator som snabbt överstiger gränserna för textbaserat språk, blir vokal och despotisk strax efter att den startats. Källa: Universal Pictures

Skriv eller prata?

Trots att världens ledande AI-modeller erbjuder nativa ljudgränssnitt för användare, har ny forskning från USA kommit fram till att att tala till en AI sannolikt är den minst effektiva metoden för att få de resultat du vill ha från den – särskilt om du förväntar dig betydande former av utdata, som kod, som svar på din förfrågan.

Enligt artikeln pratar till en LLM som ChatGPT eller Gemini för närvarande producerar sämre resultat än att skriva en förfrågan eller fråga, även när den skrivna förfrågan innehåller vanliga fel.

Detta beror på att talat inmatning är mer benägen att omstruktureras av transkriptionssystem på sätt som tar bort information som modellen är beroende av. Detta sker eftersom transkription från ljud måste ta bort otydligheter som “äh” och “liksom”, samt tendensen till falska startar (dvs “börja om”), samt navigera i tvetydigheter i grammatik och “informell” konstruktion (dvs meningar som löper ut i helt nya meningar, utan att slutföra dem i sig själva).

Författarna skriver:

‘Att tala är nu en första-klassväg in i ett språkmodell snarare än en nisch. Kodningsagenter som Claude Code och Codex accepterar dikterade instruktioner. Telefonassistenter som Google Assistant och Siri dirigerar en talad begäran till en LLM-bakänd. Dikteringsgränssnitt som Typeless lägger till ett ytterligare LLM-aktiverat lager som rensar och formaterar användarens talade begäran innan den skickas.

‘I varje fall får modellen en transkription, och i varje fall kanske talaren inte korrekturläser den sträng som faktiskt skickades. Vad transkriptionspipelinen lämnar kvar, eller omformar, är vad modellen måste svara på.’

Detta avfärdar varje föreställning om att skriven inmatning är överlägsen för att den är “inbyggd”; det är inte inbyggt på något sätt, eftersom a) det alltid antingen är hemligt eller öppet omformulerat på något sätt innan det skickas till AI, och b) textbaserat språk är bara en komponent i det latenta utrymmet som returnerar ett svar.

Studiens experiment fann att vanliga skrivfel endast hade en måttlig effekt på prestanda, medan konversationsprat, rensade transkriptioner och särskilt AI-komprimerade transkriptioner, konsekvent orsakade mycket större minskningar av noggrannhet över resonemang och kodgenereringsuppgifter.

Den nya studien heter Should We Type or Talk to LLM Agents? A Comprehensive Study of Voice and Keyboard Input Perturbations, och kommer från fyra författare på Santa Monica College och University of Southern California.

(Not: Denna specifika studie väver samman “Metod” och “Test/Resultat” på ett sätt som inte kan enkelt separeras från min vanliga analysordning. Därför är jag tvungen att komprimera och välja med en tyngre hand än vanligt.)

Metod

Ett “perturbationspaket” som kallas Human Input Variation Engine (HIVE) utvecklades av författarna för att simulera de typer av fel som införs när människor antingen skriver förfrågningar på ett QWERTY-tangentbord eller talar dem genom ett röst-transkriptionssystem:

Konceptuell schema för Human Input Variation Engine (HIVE). En användares förfrågan når ett språkmodell via röst, ett QWERTY-tangentbord eller direkt kopia-och-klistra, med den senare som tjänar som “ren” referens. Färg identifierar inmatningskanalen snarare än implementeringsmetoden, med röstoperatörerna som kombinerar få-skott-LLM-stilöverföring och deterministiska regler, medan tangentbordsoperatörerna förlitar sig helt på deterministiska regler. Högerpanelen visar omfattningen av svar som en modell kan producera under försämrad inmatning. Källa

HIVE modellerar tre vägar som förfrågningar når ett språkmodell: via röst; ett QWERTY-tangentbord; eller direkt kopia-och-klistra – med den senare som tjänar som oförändrad referens mot vilken alla andra inmatningar jämförs. Två ytterligare operatörer fungerar som experimentella kontroller, genom att omordna frågan och dess sammanhang, eller genom att permutera flera val-alternativ.

Perturbationsoperatörerna själva implementeras genom antingen deterministiska regler eller få-skott-LLM-stilöverföring med Qwen2.5-7B. Detta tillät båda inmatningsmetoderna att utvärderas under kontrollerade och direkt jämförbara förhållanden.

Testförhållanden och resultat

Experiment utfördes över Llama-3.1-8B; Qwen2.5-7B; Qwen3-8B; Mistral-7B-v0.3; och Phi-4, med användning av fem seeds. De sex benchmarkerna som användes var GSM8K; GSM-Symbolic; GSM1k; HumanEval; MMLU-Pro STEM; och TruthfulQA MC1.

Testuppsättningen använde 200 objekt per benchmark, med 164 objekt för den fullständiga HumanEval-uppsättningen. Greedy avkodning (att välja den mest sannolika nästa token varje gång) användes, så att varje förändrad förfrågan kunde jämföras med sin egen ren motsvarighet i samma modellkörning, vilket producerade 550 000 poängsatta svar över 17 förfrågningsändringar och två kontrolltester (jämförelsetester som används för att isolera specifika effekter).

Åtgärder togs för att säkerställa att testuppsättningsförorening (överlappning med data som modellen kan ha sett under utbildning) inte inträffade:

Den fullständiga perturbationsuppsättningen som användes i studien, som visar hur noggrannheten förändrades mot rena förfrågningar över rösttranskriptionsändringar, QWERTY-tangentbordsfel och kontrolltester. Den första raden ger ren baslinjenoggrannhet, medan senare rader visar procentuella förändringar. Röd markerar den mest skadliga operatören i varje block och kolumn, blå den minst skadliga.

Det tydligaste resultatet i studien är att röstindata var mer skadlig än tangentbordsindata över de huvudsakliga testförhållandena, med talbaserade ändringar som minskade modellens noggrannhet med cirka tre gånger så mycket som skrivfel. De sämsta resultaten kom när talade förfrågningar automatiskt omskrevs för att låta renare och mer koncisa, eftersom den renskningen ofta ändrade förfrågans struktur som modellen mottog.

Detta är viktigt, eftersom de svagare resultaten för röst inte främst orsakades av uppenbara tal-“skräp”: även om fyllnadsord som “äh” och “liksom” hade betydelse (eftersom de läggs till rena skrivna förfrågningar minskade noggrannheten), tog bort fyllnadsord från talade transkriptioner inte återställde prestanda.

Självbevarande

Därför var det större problemet hur talade förfrågningar omstrukturerades innan de nådde modellen.

En central fråga för studien var om modellen fortfarande fick tillräckligt av den ursprungliga förfrågan för att rekonstruera användarens avsikt; skrivfel skadar ofta “ytan” på ett ord utan att ta bort ordet helt, så att den omgivande sammanhanget fortfarande kan hjälpa modellen att förstå vad som menades.

I kontrast kan en “rensad” rösttranskription ersätta användarens ursprungliga formulering med en kortare och smidigare version som inte längre bevarar samma relationer mellan fakta.

Detta är varför tangentbordsfel ofta var mindre skadliga: forskarna fann att omvända bokstäver, dubblettbokstäver, missade mellanslag och närliggande tangentbordsfel vanligtvis lämnade mycket av den ursprungliga formuleringen återvinningsbar, medan röstrensning ofta tog bort eller omorganiserade information innan modellen hade en chans att tolka den.

Förlorad i översättning

Ett exempel på hur en referens kan “förloras” genom perturbation på dessa resor från användare till LLM, som presenteras i artikeln, är där frasen ‘hon gav en lika stor mängd [böcker] till sina barn’ tolkades som att betyda pengar (snarare än böcker). I detta fall blev termen “mängd” lossnad från sin referens och felaktigt återtilldelad till dess vanligaste association (pengar):

Hur mycket av den ursprungliga frågan som överlever varje inmatningsändring. Stora prickar visar individuella perturbationstyper, medan små prickar visar starkare versioner av samma tangentbordsfel.

Denna effekt var starkast när modellen var tvungen att bygga ett svar från förfrågan, snarare än att välja från alternativ som redan tillhandahållits: aritmetiska och kodgenereringsuppgifter led mer eftersom de berodde på att bevara exakta relationer i förfrågan, medan flervalsfrågor var mindre utsatta för denna typ av skada.

Författarna drar följande slutsats:

‘Vi finner att att tala är den dyra kanalen, att vad som skadar är hur mycket av förfrågans ursprungliga tokenisering det förstör, och att varken testuppsättningsförorening eller lätt anpassning står för eller reparerar skadan.

‘Flera slutsatser följer. Om du skriver, absorberar en resonemodell dina fel. Om du dikterar, gör den det inte, så den formulering du talar är den formulering modellen arbetar från.

‘Och om du bygger dikteringsverktyg, ska du inte omformulera eller omstrukturera vad användaren sa: ta bort disfluenser minimalt och låt homofoner vara.

‘Den sista punkten är viktigast, eftersom dikteringsgränssnitt blir en standardväg för att nå en modell och deras omformuleringslager är den största skada vi mäter och den billigaste sak att ändra.’

Slutsats

Vem som helst som någonsin har varit tvungen att manuellt transkribera en intervju (en vanlig och ensam journalistisk syssla i den för-AI-eran) kommer att veta hur tolkningsbar processen kan vara, såvida inte intervjuaren eller talaren är ovanligt tydlig, eller – som ofta är fallet – bara upprepar sin sedvanliga uppsättning anekdoter på ett mekaniskt sätt.

Förutom sådana specifika fall, när vi talar till människor, diskonterar vi automatiskt disfluenser och beräknar mening. Detta gör användbar transkription till en tolkningsakt, vilket resulterar i text som representerar talarens avsikt bättre än en bokstavlig, vokalperfekt transkription möjligen kunde; och det är intressant att notera att ljudbroar till LLM kämpar liknande för att behålla eller till och med erhålla samma mening som textmotsvarigheter.

Det är rimligt att förvänta sig att senare ramverk kommer att dra nytta av ytterligare studier och (hoppas) fullt befolkade datamängder som kommer att hjälpa till att överbrygga klyftorna som beskrivs i det nya arbetet. Tills dess tyder den nya studien på att röstkommunikation med AI kan vara mer lämpad för exakt den typ av korta kommandon som har kännetecknat konsumentnivå-“assistentsystem”.

Publicerad första gången onsdag, 12 augusti 2026