La voce è attualmente il peggiore modo per comunicare con l’AI

Nuove ricerche suggeriscono che il metodo più popolarmente rappresentato nella fantascienza per interfacciarsi con l’AI potrebbe in realtà produrre risultati peggiori rispetto a prompt mal digitati.

Dal HAL al Deep Thought, da C3P0 a Wall-E, la forma idealizzata di relazioni uomo/AI ha sempre ruotato attorno al controllo vocale; e questo si è manifestato nel mondo reale, dai primi sistemi di assistenza come Siri e Alexa, alle query e conversazioni basate sul linguaggio con l’attuale gamma di LLM di frontiera.

Questa idea è emersa durante epoche meno emancipate, dove – ad eccezione degli autori e dei giornalisti – l’atto stesso di digitare era considerato “lavoro semi-qualificato” e veniva svolto quasi esclusivamente da donne – con le donne stesse che raramente originavano il contenuto che stavano digitando.

Il potere e l’agenzia erano rappresentati invece dal discorso: riunioni e vertici. Sembrava ovvio, quindi, che con il linguaggio complesso che significava intelligenza, la parola parlata sarebbe inevitabilmente diventata il mezzo naturale dell’AI.

A parte ogni altra considerazione, gli scambi testuali non erano ben adattati alla TV e ai film; anche i film di fantascienza audaci come Colossus: The Forbin Project (1970), che rappresentavano un computer che rispondeva a comandi vocali umani in forma di testo scritto, passavano rapidamente a risposte interamente vocalizzate:

Una scena da ‘Colossus: The Forbin Project’ (1970), che rappresenta un vasto supercomputer che supera rapidamente i confini del linguaggio basato sul testo, diventando vocale e dispotico subito dopo essere stato acceso. Fonte: Universal Pictures

Digitare o parlare?

Nonostante il fatto che i principali modelli di AI offrono interfacce audio native per gli utenti, nuove ricerche degli Stati Uniti hanno concluso che parlare con un’AI è probabilmente il modo meno efficace per ottenere i risultati desiderati – in particolare se ci si aspetta forme significative di output, come codice, in risposta alla richiesta.

Secondo il documento, parlare a un LLM come ChatGPT o Gemini produce attualmente risultati peggiori rispetto alla digitazione di un prompt o di una richiesta, anche quando il prompt digitato contiene errori comuni.

Ciò è dovuto al fatto che l’input vocale è più probabile che venga riorganizzato dai sistemi di trascrizione in modi che rimuovono le informazioni di cui il modello dipende. Ciò si verifica perché la trascrizione dall’audio deve rimuovere le disfluencies come “ehm” e “come”, nonché la tendenza a false partenze (ad esempio, “ricominciare”), nonché navigare ambiguità di grammatica e costruzioni “informali” (ad esempio, frasi che si interrompono in nuove frasi senza completarsi).

Gli autori affermano:

‘Il parlare è ora un percorso di prima classe per raggiungere un modello linguistico e non più un percorso di nicchia. Gli agenti di codifica come Claude Code e Codex accettano istruzioni dettate. Gli assistenti telefonici come Google Assistant e Siri instradano una richiesta parlata a un modello linguistico LLM di backend. Le interfacce di dettatura come Typeless aggiungono un ulteriore livello di potenziamento LLM che pulisce e riformatta la richiesta dell’utente prima che venga inviata.

‘In ogni caso, il modello riceve una trascrizione e, in ogni caso, il parlante potrebbe non rileggere la stringa che è stata effettivamente inviata. Quello che il pipeline di trascrizione lascia indietro o riscrive è ciò che il modello deve rispondere.’

Ciò smentisce ogni preconcetto che l’input testuale sia superiore perché è “nativo”; non è nativo in alcun senso, poiché a) è sempre redatto in qualche modo prima della trasmissione all’AI e b) il linguaggio testuale è solo un componente nello spazio latente che restituisce una risposta.

Lo studio ha scoperto che gli errori di digitazione comuni avevano solo un effetto modesto sulle prestazioni, mentre il discorso conversazionale, le trascrizioni pulite e soprattutto le trascrizioni compressi dall’AI, causavano costantemente cali più grandi nell’accuratezza in compiti di ragionamento e generazione di codice.

Il nuovo lavoro si intitola Should We Type or Talk to LLM Agents? A Comprehensive Study of Voice and Keyboard Input Perturbations e proviene da quattro autori di Santa Monica College e dell’Università della California del Sud.

(Nota: questo studio intreccia ‘Metodo’ e ‘Test/Risultati’ in un modo che non può essere facilmente separato nel mio solito ordine di analisi. Pertanto, sono costretto a comprimere e selezionare con una mano più pesante del solito.)

Metodo

Un “suite di perturbazione” chiamata Human Input Variation Engine (HIVE) è stata sviluppata dagli autori per simulare i tipi di errori introdotti quando le persone digitano prompt su una tastiera QWERTY o li parlano attraverso un sistema di trascrizione vocale:

Schema concettuale per il Human Input Variation Engine (HIVE). Una richiesta dell’utente raggiunge un modello linguistico attraverso la voce, una tastiera QWERTY o copia e incolla diretta, con quest’ultima che serve come riferimento ‘pulito’. Il colore identifica il canale di input piuttosto che il metodo di implementazione, con gli operatori vocali che combinano il trasferimento LLM a pochi shot e regole deterministiche, mentre gli operatori della tastiera si basano interamente su regole deterministiche. Il pannello di destra mostra l’intervallo di risposte che un modello può produrre con input degradato. Fonte

HIVE modella tre percorsi attraverso cui le richieste raggiungono un modello linguistico: attraverso la voce; una tastiera QWERTY; o copia e incolla diretta – con quest’ultima che serve come riferimento non modificato rispetto al quale tutti gli altri input vengono confrontati. Due operatori aggiuntivi funzionano come controlli sperimentali, riordinando la domanda e il suo contesto o permutando le opzioni di risposta multiple.

Gli operatori di perturbazione stessi sono implementati attraverso regole deterministiche o trasferimento LLM a pochi shot utilizzando Qwen2.5-7B. Ciò ha consentito di valutare entrambi i metodi di input in condizioni controllate e direttamente confrontabili.

Condizioni di test e risultati

Gli esperimenti sono stati condotti su Llama-3.1-8B; Qwen2.5-7B; Qwen3-8B; Mistral-7B-v0.3; e Phi-4, utilizzando cinque seeds. I sei benchmark utilizzati sono stati GSM8K; GSM-Symbolic; GSM1k; HumanEval; MMLU-Pro STEM; e TruthfulQA MC1.

Il set di test ha utilizzato 200 elementi per benchmark, con 164 elementi per l’intero set HumanEval. È stato utilizzato il decoding avido (scegliendo il token più probabile ogni volta) in modo che ogni prompt perturbato potesse essere confrontato con il suo corrispondente pulito nello stesso run del modello, producendo 550.000 risposte valutate in 17 cambi di prompt e due test di controllo (test di confronto utilizzati per isolare effetti specifici).

Sono state prese misure per assicurarsi che la contaminazione del set di test (sovrapposizione con i dati che il modello potrebbe aver visto durante l’addestramento) non si verificasse:

L’intero set di perturbazione utilizzato nello studio, che mostra come l’accuratezza è cambiata rispetto ai prompt puliti attraverso i cambiamenti di trascrizione vocale, errori della tastiera QWERTY e test di controllo. La prima riga fornisce l’accuratezza di base pulita, mentre le righe successive mostrano i cambiamenti di punti percentuali. Il rosso segna l’operatore più dannoso in ogni blocco e colonna, il blu il meno dannoso.

Il risultato più chiaro nello studio è che l’input vocale è stato più dannoso dell’input da tastiera nelle principali condizioni di test, con i cambiamenti di trascrizione vocale che riducono l’accuratezza del modello di circa tre volte di più rispetto agli errori di digitazione. I peggiori risultati sono stati quando le richieste vocali sono state automaticamente riscritte per suonare più pulite e concise, perché quella pulizia ha spesso cambiato la struttura della richiesta che il modello ha ricevuto.

Ciò conta, perché i risultati più deboli per la voce non sono stati principalmente causati da “rifiuti” di discorso ovvi: sebbene i riempitivi come “ehm” e “come” abbiano contato (poiché aggiungerli a prompt scritti puliti ha abbassato l’accuratezza), rimuovere i riempitivi dalle trascrizioni vocali non ha ripristinato le prestazioni.

Autopreservazione

Pertanto, il problema più grande è stato il modo in cui le richieste vocali sono state riorganizzate prima di raggiungere il modello.

Una domanda centrale per lo studio era se il modello ricevesse ancora abbastanza della richiesta originale per ricostruire l’intento dell’utente; gli errori di digitazione spesso danneggiano la “superficie” di una parola senza rimuoverla interamente, in modo che il contesto circostante possa ancora aiutare il modello a inferire cosa era inteso.

Al contrario, una trascrizione vocale “pulita” potrebbe sostituire la frase originale dell’utente con una versione più breve e più liscia che non conserva più le stesse relazioni tra i fatti.

Ciò è il motivo per cui gli errori della tastiera sono stati spesso meno dannosi: i ricercatori hanno scoperto che le lettere trasposte, le lettere duplicate, gli spazi mancanti e gli errori delle chiavi vicine hanno generalmente lasciato gran parte della parola originale recuperabile, mentre la pulizia vocale ha più spesso rimosso o riorganizzato le informazioni prima che il modello avesse la possibilità di interpretarle.

Perso nella traduzione

Un esempio di come un referente possa “perdersi” a causa di perturbazione in questi viaggi dall’utente al LLM, presentato nel documento, è dove la frase ‘lei ha dato una quantità uguale [di libri] ai suoi figli’ è stata reinterpretata come significante denaro (anziché libri). In questo caso, il termine “quantità” si è staccato dal suo referente e è stato riapplicato per errore alla sua associazione più comune (denaro):

Quanto della domanda originale sopravvive a ogni cambiamento di input. I punti grandi mostrano i tipi di perturbazione individuali, mentre i punti piccoli mostrano versioni più forti degli stessi errori della tastiera.

Questo effetto è stato più forte quando il modello ha dovuto costruire una risposta dalla richiesta, piuttosto che scegliere da opzioni già fornite: i compiti di aritmetica e generazione di codice hanno sofferto di più perché dipendevano dalla conservazione delle relazioni esatte nella richiesta, mentre i test a scelta multipla erano meno esposti a questo tipo di danno.

Gli autori concludono:

‘Abbiamo scoperto che parlare è il canale costoso, che ciò che danneggia è quanto della tokenizzazione originale della domanda viene distrutto e che né la contaminazione del set di test né l’adattamento leggero possono spiegare o riparare il danno.

‘Ne derivano diverse conclusioni. Se si digita, un modello di ragionamento assorbe gli errori. Se si detta, non lo fa, quindi la fraseologia che si parla è quella che il modello utilizza.

‘E se si costruiscono strumenti di dettatura, non si deve riformattare o riorganizzare ciò che l’utente ha detto: si deve rimuovere la disfluency in modo minimo e lasciare gli omofoni soli.

‘Quell’ultimo punto è il più importante, perché le interfacce di dettatura stanno diventando un modo predefinito per raggiungere un modello e il loro livello di riscrittura è il danno più grande che misuriamo e la cosa più economica da cambiare.’

Conclusione

Chiunque abbia mai dovuto trascrivere manualmente un’intervista (un’attività comune e solitaria per i giornalisti nell’era pre-AI) saprà quanto interpretativo possa essere il processo, a meno che l’intervistato o il parlante non sia straordinariamente articolato o – come spesso accade – stia semplicemente ripetendo la sua solita serie di aneddoti in modo meccanico.

A parte questi casi particolari, mentre parliamo con le persone, stiamo automaticamente scontando le disfluencies e calcolando il significato. Ciò rende inevitabilmente la trascrizione utile un atto interpretativo, che risulta in un testo che rappresenta le intenzioni del parlante meglio di una traslitterazione letterale e perfetta; ed è interessante notare che i ponti audio verso gli LLM lottano in modo simile per conservare o ottenere lo stesso significato degli equivalenti testuali.

È ragionevole aspettarsi che future strutture trarranno beneficio da ulteriori studi e (sperabilmente) dataset popolosi che aiuteranno a colmare le lacune delineate nel nuovo lavoro. Fino ad allora, lo studio indica che le comunicazioni vocali con l’AI potrebbero essere più adatte ai comandi brevi che hanno caratterizzato i sistemi di assistenza a livello di consumo.

Pubblicato per la prima volta mercoledì, 12 agosto 2026