Vocea este în prezent cea mai proastă modalitate de a comunica cu IA

Noi cercetări sugerează că metoda cea mai populară de a interacționa cu IA, descrisă în ficțiunea științifică, poate produce de fapt rezultate mai slabe decât chiar și prompturile prost scrise.

De la HAL la Deep Thought, de la C3P0 la Wall-E, forma idealizată a relațiilor dintre oameni și IA a fost întotdeauna centrată pe controlul vocal; și acest lucru s-a manifestat în lumea reală, de la sistemele de asistenți timpurii, cum ar fi Siri și Alexa, la interogarea și conversația bazată pe limbaj cu gama curentă de LLM-uri de frontieră.

Acestă idee a apărut în epoci mai puțin emancipate, în care – cu excepția autorilor și jurnaliștilor – actul de a scrie era considerat “muncă semicalificată” și era întreprins aproape exclusiv de femei – femeile însele rareori originând conținutul pe care îl scriau.

Puterea și agenția erau semnificate în schimb de discurs: ședințe și summit-uri. Părea evident, prin urmare, că, cu un limbaj complex care semnifică inteligență, cuvântul vorbit va deveni în mod inevitabil mediul natural al IA.

Pe lângă orice altă considerație, schimburile textuale nu erau bine adaptate pentru televiziune și filme; chiar și thrillerele științifico-fantastice îndrăznețe, cum ar fi Colossus: Proiectul Forbin (1970), care a descris un computer care răspunde la comenzi vocale umane sub formă de text scris, au trecut rapid la răspunsuri complet vocalizate:

O scenă din ‘Colossus: Proiectul Forbin’ (1970), care prezintă un supercomputer vast care depășește rapid granițele limbajului text, devenind vocal și despotic imediat după ce a fost pornit. Sursă: Universal Pictures

Să scriem sau să vorbim?

În ciuda faptului că principalele modele de IA oferă interfețe audio native pentru utilizatori, o nouă cercetare din SUA a concluzionat că vorbirea cu o IA este probabil să fie cea mai puțin eficientă modalitate de a obține rezultatele pe care le doriți de la aceasta – în special dacă vă așteptați la forme semnificative de ieșire, cum ar fi cod, în răspuns la întrebarea dvs.

Conform documentului, vorbirea cu un LLM, cum ar fi ChatGPT sau Gemini, produce în prezent rezultate mai slabe decât scrierea unei prompt sau a unei întrebări, chiar și atunci când promptul scris conține greșeli obișnuite.

Acest lucru se datorează faptului că intrarea vorbită este mai probabilă să fie restructurată de sistemele de transcriere în moduri care elimină informații de care modelul depinde. Acest lucru se întâmplă deoarece transcrierea din audio trebuie să elimine disfluente, cum ar fi “ăă” și “ca”, precum și tendința de a face începuturi false (adică, “a începe din nou”), precum și de a naviga în ambiguitățile gramaticale și construcția “neoficială” (adică, propoziții care se termină în propoziții noi, fără a fi finalizate în sine).

Autorii afirmă:

‘Vorbirea este acum o cale de primă clasă către un model de limbaj, și nu una de nișă. Agendenții de codare, cum ar fi Claude Code și Codex, acceptă instrucțiuni dictate. Asistenții de telefon, cum ar fi Google Assistant și Siri, direcționează o cerere vorbită către un model de limbaj LLM din spate. Interfețele de dictare, cum ar fi Typeless, adaugă un strat suplimentar de model de limbaj LLM care curăță și reformatează cererea vorbită a utilizatorului înainte de a fi trimisă.

‘În fiecare caz, modelul primește o transcriere, și în fiecare caz, vorbitorul nu poate să verifice stringul care a fost trimis în realitate. Orice ceea ce pipeline-ul de transcriere lasă în urmă sau rescrie este ceea ce modelul trebuie să răspundă.’

Acest lucru elimină orice preconcepție că intrarea scrisă este superioară pentru că este “nativă”; nu este nativă în niciun sens, deoarece a) este întotdeauna redactată într-un fel sau altul înainte de a fi transmisă către IA, și b) limbajul text este doar un component în spațiul latent care returnează un răspuns.

Experimentele studiului au arătat că greșelile obișnuite de scriere au avut doar un efect modest asupra performanței, în timp ce vorbirea conversațională, transcrierile curățate și, în special, transcrierile comprimate de IA, au cauzat scăderi mult mai mari ale acurateței în sarcinile de raționament și generare de cod.

Noua lucrare se intitulează Ar trebui să scriem sau să vorbim cu agenții LLM? Un studiu cuprinzător al perturbațiilor de intrare vocală și de tastatură, și provine de la patru autori de la Santa Monica College și Universitatea din California de Sud.

(Notă: Această lucrare particulară împletește “Metodă” și “Teste/Rezultate” într-un mod care nu poate fi ușor dezbătut în ordinea mea obișnuită de analiză. Prin urmare, sunt constrâns să comprim și să selectez cu o mână mai grea decât de obicei.)

Metodă

Un “pachet de perturbații” numit Motorul de variație a intrării umane (HIVE) a fost dezvoltat de autori, pentru a simula tipurile de erori introduse atunci când oamenii scriu prompturi pe o tastatură QWERTY sau le vorbesc printr-un sistem de transcriere vocală:

Schema conceptuală pentru Motorul de variație a intrării umane (HIVE). O promptă a utilizatorului ajunge la un model de limbaj prin voce, o tastatură QWERTY sau copiere și lipire directă, cu ultima servind ca referință “curată”. Culoarea identifică canalul de intrare, mai degrabă decât metoda de implementare, cu operatorii vocali care combină transferul de stil LLM cu reguli deterministice, în timp ce operatorii de tastatură se bazează în întregime pe reguli deterministice. Panoul din dreapta arată gama de răspunsuri pe care un model le poate produce sub intrare degradată. Sursă

HIVE modelează trei căi prin care prompturile ajung la un model de limbaj: prin voce; o tastatură QWERTY; sau copiere și lipire directă – cu ultima servind ca referință nemodificată în comparație cu toate celelalte intrări. Doi operatori suplimentari funcționează ca controale experimentale, prin rearanjarea întrebării și a contextului, sau prin permutarea opțiunilor de răspuns multiple.

Operatorii de perturbație înșiși sunt implementați prin reguli deterministice sau prin transfer de stil LLM cu puține exemple, folosind Qwen2.5-7B. Acest lucru a permis ambelor metode de intrare să fie evaluate în condiții controlate și direct comparabile.

Condiții de test și rezultate

Experimentele au fost efectuate pe Llama-3.1-8B; Qwen2.5-7B; Qwen3-8B; Mistral-7B-v0.3; și Phi-4, folosind cinci semințe. Cele șase benchmark-uri utilizate au fost GSM8K; GSM-Symbolic; GSM1k; HumanEval; MMLU-Pro STEM; și TruthfulQA MC1.

Setul de test a folosit 200 de articole pe benchmark, cu 164 de articole pentru setul complet HumanEval. Decodarea avidă (alegerea celui mai probabil token următor de fiecare dată) a fost utilizată, astfel încât fiecare prompt perturbat să poată fi comparat cu propriul său contrapart curat în aceeași execuție a modelului, producând 550.000 de răspunsuri notate pe 17 schimbări de prompt și două teste de control (teste de comparație utilizate pentru a izola efecte specifice).

Au fost luate măsuri pentru a se asigura că contaminarea setului de test (suprapunerea cu datele pe care modelul le-ar fi putut vedea în timpul antrenamentului) nu a avut loc:

Pachetul complet de perturbații utilizat în studiu, arătând cum s-a schimbat acuratețea față de prompturile curate pe schimbări de transcriere vocală, erori de tastatură QWERTY și teste de control. Primul rând oferă acuratețea de referință curată, în timp ce rândurile ulterioare arată modificări ale punctelor de procent. Roșu marchează operatorul cel mai dăunător din fiecare bloc și coloană, albastru cel mai puțin dăunător.

Rezultatul cel mai clar din studiu este că intrarea vocală a fost mai dăunătoare decât intrarea de la tastatură în condițiile de test principale, cu schimbările de vorbire reducând acuratețea modelului cu aproximativ de trei ori mai mult decât greșelile de tastare. Rezultatele cele mai slabe au provenit atunci când cererile vorbite au fost rescrise automat pentru a suna mai curate și mai concise, deoarece acea curățare a schimbat adesea structura cererii pe care modelul a primit-o.

Acest lucru contează, deoarece rezultatele mai slabe pentru voce nu au fost cauzate în primul rând de “deșeuri” evidente de vorbire: deși umplutorile, cum ar fi “ăă” și “ca”, au contat (deoarece adăugarea lor la prompturi scrise curate a scăzut acuratețea), eliminarea umplutorilor din transcrierile vorbite nu a restabilit performanța.

Autoprotecție

Prin urmare, problema mai mare a fost modul în care prompturile vorbite au fost restructurate înainte de a ajunge la model.

O întrebare centrală pentru studiu a fost dacă modelul a primit încă suficient din promptul original pentru a reconstitui intenția utilizatorului; greșelile de tastare au deteriorat adesea “suprafața” unui cuvânt fără a-l elimina în întregime, astfel încât contextul din jur a putut ajuta modelul să inferă ce a fost menționat.

În schimb, o transcriere “curățată” vocală poate înlocui frazarea originală a utilizatorului cu o versiune mai scurtă și mai netedă care nu mai păstrează aceleași relații între fapte.

Acesta este motivul pentru care greșelile de tastare au fost adesea mai puțin dăunătoare: cercetătorii au descoperit că literele transpuse, literele duplicate, spațiile lipsă și greșelile de tastare ale tastelor apropiate au lăsat de obicei intactă cea mai mare parte a cuvântului original, în timp ce curățarea vorbirii a eliminat sau reorganizat adesea informații înainte ca modelul să aibă ocazia să le interpreteze.

Pierdut în traducere

Un exemplu de modul în care un referent poate “fi pierdut” prin perturbație pe aceste călătorii de la utilizator la LLM, prezentat în document, este acela în care fraza “ea a dat o cantitate egală [de cărți] copiilor săi” a fost reinterpretată ca însemnând bani (și nu cărți). În acest caz, termenul “cantitate” a devenit detașat de referentul său și a fost aplicat greșit la asocierea sa cea mai comună (bani):

Cât din întrebarea originală supraviețuiește fiecare schimbare de intrare. Punctele mari arată tipuri individuale de perturbații, în timp ce punctele mici arată versiuni mai puternice ale acelorași erori de tastatură.

Acest efect a fost mai puternic atunci când modelul a trebuit să construiască un răspuns din prompt, mai degrabă decât să aleagă din opțiuni deja furnizate: sarcinile de aritmetică și generare de cod au suferit mai mult, deoarece au depins de păstrarea relațiilor exacte din cerere, în timp ce testele cu multiple opțiuni au fost mai puțin expuse la acest tip de deteriorare.

Autorii concluzionează:

‘Descoperim că vorbirea este canalul scump, că ceea ce costă este cât de mult din tokenizarea originală a întrebării o distruge, și că nici contaminarea setului de test, nici adaptarea ușoară nu explică sau repară prejudiciul.

‘Urmează câteva concluzii. Dacă tastați, un model de raționament absoarbe erorile dvs. Dacă dictați, nu o face. Prin urmare, frazarea pe care o vorbiți este frazarea cu care modelul lucrează.

‘Și dacă construiți unelte de dictare, nu reformatați sau restructurați ceea ce a spus utilizatorul: eliminați minim disfluencia și lăsați homofonii singuri.

‘Ultimul lucru contează cel mai mult, deoarece interfețele de dictare devin o modalitate implicită de a ajunge la un model, iar stratul lor de rescriere este cel mai mare prejudiciu pe care îl măsurăm și cel mai ieftin lucru de schimbat.’

Concluzie

Oricine a trebuit vreodată să transcrie manual un interviu (o trudă jurnalistică comună și singuratică în epoca pre-IA) va ști cât de interpretativ poate fi acest proces, cu excepția cazului în care intervievatul sau vorbitorul este extraordinar de articulat, sau – așa cum se întâmplă adesea – doar repetă lista obișnuită de anecdote într-un mod mecanic.

În afara unor astfel de cazuri specifice, atunci când vorbim cu oamenii, suntem automat discountând disfluente și calculând sensul. Acest lucru face inevitabil transcrierea utilă un act interpretativ, care rezultă în text care reprezintă intențiile vorbitorului mai bine decât o transliterare literală, perfectă din punct de vedere al vocalelor, ar putea; și este interesant de remarcat că podurile audio către LLM luptă în mod similar pentru a păstra sau obține același sens ca echivalentul text.

Este rezonabil să se aștepte ca cadrele viitoare să beneficieze de studii suplimentare și (sperăm) de seturi de date populate care vor ajuta la podirea golurilor descrise în noua lucrare. Până atunci, noul studiu indică faptul că comunicarea vocală cu IA poate fi mai potrivită pentru exact tipul de comenzi scurte care au caracterizat sistemele de “asistenți” de nivel consumator.

Publicat pentru prima dată miercuri, 12 august 2026