Hlas je v současné době nejhorším způsobem, jak komunikovat s umělou inteligencí

Nový výzkum naznačuje, že nejoblíbenější metoda komunikace s umělou inteligencí, často zobrazovaná ve sci-fi, může ve skutečnosti produkovat horší výsledky než i špatně napsané příkazy.

Od HALu po Deep Thought, od C3P0 po Wall-E, ideální forma vztahů mezi lidmi a umělou inteligencí vždy spočívala v řízení hlasem; a tato idea se projevila v reálném světě, od raných asistenčních systémů, jako jsou Siri a Alexa, až po jazykové dotazy a konverzace s aktuálními pokročilými LLM.

Tato idea vznikla v méně emancipovaných érách, kdy – s výjimkou autorů a novinářů – samotný akt psaní byl považován za “pološkolenou práci” a byl prováděn téměř výhradně ženami – a tyto ženy samy často neoriginují obsah, který psaly.

Moc a agentura byla reprezentována jiným způsobem: schůzemi a summity. Zdálo se tedy samozřejmé, že s komplexním jazykem označujícím inteligenci, že mluvené slovo se stane přirozeným médiem umělé inteligence.

Kromě jiných úvah nebyly textové výměny dobře přizpůsobeny televizi a filmům; ani odvážné sci-fi thrillery, jako je Colossus: The Forbin Project (1970), který zobrazoval počítač reagující na hlasové příkazy v podobě psaného textu, rychle přešli na zcela hlasové odpovědi:

Scéna z 'Colossus: The Forbin Project' (1970), zobrazující obrovský superpočítač, který rychle překročí hranice textového jazyka a stane se hlasovým a despottickým krátce po svém spuštění. Zdroj: Universal Pictures

Psát nebo mluvit?

Navzdory skutečnosti, že nejvýznamnější modely umělé inteligence nabízejí nativní audio rozhraní pro uživatele, nová studie z USA dospěla k závěru, že mluvení s umělou inteligencí je pravděpodobně nejméně efektivní způsob, jak získat výsledky, které chcete – zejména pokud očekáváte významné formy výstupu, jako je kód, v reakci na váš dotaz.

Podle studie mluvení k LLM, jako je ChatGPT nebo Gemini,目前 produkuje horší výsledky než psaní dotazu nebo příkazu, i když psaný dotaz obsahuje obyčejné chyby.

To je způsobeno tím, že mluvený vstup je více pravděpodobný restrukturován transkripčními systémy způsobem, který odstraňuje informace, které model závisí. To se děje, protože transkripce z audia musí odstranit disfluence, jako je “erm” a “like”, stejně jako tendenci k falešným startům (tj. “začínání znovu”), stejně jako navigaci ambiguitami gramatiky a “neformální” konstrukce (tj. vět, které končí v nových větách, bez dokončení v jejich vlastním právu).

Autoři uvádějí:

‘Mluvení je nyní první třída vstupu do jazykového modelu, spíše než niklová. Kódovací agenti, jako Claude Code a Codex, přijímají diktované instrukce. Telefonní asistenti, jako Google Assistant a Siri, směrují mluvenou žádost na LLM backend. Diktovací front-endy, jako Typeless, přidávají další LLM-poháněnou vrstvu, která čistí a reformátuje uživatelskou mluvenou žádost, než je odeslána.

‘V každém případě model obdrží transkript a v každém případě může mluvčí nezkontrolovat řetězec, který byl skutečně odeslán. Cokoliv transkripční potrubí zanechá nebo přepsá, je to, co model musí odpovědět.’

To vyvrací jakoukoli předchozí představu, že psaný vstup je lepší, protože je “rodný”; není rodný v žádném smyslu, protože a) je vždy buď tajně nebo otevřeně přepsán nějakým způsobem před přenosem do umělé inteligence a b) textový jazyk je pouze jednou součástí latentního prostoru, který vrací odpověď.

Studie zjistila, že obyčejné chyby při psaní měly pouze mírný vliv na výkon, zatímco konverzační řeč, vyčištěné transkripty a zejména AI-komprimované transkripty, konzistentně způsobovaly větší poklesy přesnosti v úkolech rozumného uvažování a generování kódu.

Nová práce se jmenuje Měli bychom psát nebo mluvit s LLM agenty? Komplexní studie hlasového a klávesového vstupního poškození a pochází od čtyř autorů z Santa Monica College a University of Southern California.

(Poznámka: Tato konkrétní studie propletuje “Metodu” a “Testy/Výsledky” způsobem, který nelze snadno rozlišit od mé obvyklé analýzy. Proto jsem omezen komprimovat a vybrat s těžší rukou, než je obvyklé.)

Metoda

Byl vyvinut “perturbační soubor” nazvaný Human Input Variation Engine (HIVE), aby simuloval typy chyb, které jsou zaváděny, když lidé buď píší příkazy na QWERTY klávesnici, nebo je mluví přes hlasový transkripční systém:

Konceptuální schéma pro Human Input Variation Engine (HIVE). Uživatelův příkaz dosáhne jazykového modelu přes hlas, QWERTY klávesnici nebo přímou kopírování a vložení, přičemž poslední slouží jako "čistá" referenční hodnota. Barva identifikuje vstupní kanál, nikoli metodu implementace, přičemž hlasoví operátoři kombinují few-shot LLM styl transferu a deterministické pravidla, zatímco klávesničtí operátoři se spoléhají výhradně na deterministické pravidla. Pravá panel ukazuje rozsah odpovědí, které může model produkovat pod degradovaným vstupem. Zdroj

HIVE modeluje tři cesty, kterými příkazy dosáhnou jazykového modelu: přes hlas; QWERTY klávesnici; nebo přímou kopírování a vložení – přičemž poslední slouží jako neupravená referenční hodnota, proti které jsou všechny ostatní vstupy porovnány. Dva další operátoři fungují jako experimentální kontroly, reorganizují otázku a její kontext, nebo permutují vícečetné odpovědní možnosti.

Perturbační operátoři sami jsou implementováni pomocí buď deterministických pravidel nebo few-shot LLM stylu transferu pomocí Qwen2.5-7B. To umožnilo vyhodnotit obě vstupní metody za kontrolovaných a přímo srovnatelných podmínek.

Testovací podmínky a výsledky

Experimenty byly spuštěny napříč Llama-3.1-8B; Qwen2.5-7B; Qwen3-8B; Mistral-7B-v0.3; a Phi-4, pomocí pěti seeds. Šest benchmarků použitých bylo GSM8K; GSM-Symbolic; GSM1k; HumanEval; MMLU-Pro STEM; a TruthfulQA MC1.

Testovací sada používala 200 položek na benchmark, s 164 položkami pro plnou sadu HumanEval. Greedy dekódování (výběr nejpravděpodobnějšího dalšího tokenu) bylo použito, aby se každá perturbovaná žádost mohla porovnat se svou vlastní čistou protějškovou v téže běhu modelu, produkující 550 000 ohodnocených odpovědí napříč sedmnácti změnami příkazu a dvěma kontrolními testy (porovnávacími testy používanými k izolaci specifických efektů).

Byly přijaty opatření, aby se zabránilo kontaminaci testovací sady (překryvu s daty, které model mohl vidět během trénování):

Celý perturbační soubor použitý ve studii, ukazující, jak se přesnost změnila proti čistým příkazům napříč změnami hlasové transkripce, chybami QWERTY klávesnice a kontrolními testy. První řádek poskytuje čistou základní přesnost, zatímco pozdější řádky ukazují procentní bodové změny. Červená označuje nejvíce poškozující operátor v každém bloku a sloupci, modrá nejmíň poškozující.

Nejpřímější výsledek studie je, že hlasový vstup byl více škodlivý než klávesnicový vstup napříč hlavními testovacími podmínkami, s hlasovými změnami snižujícími modelovou přesnost o zhruba třikrát více než chyby psaní. Nejhorší výsledky přišly, když byly mluvené žádosti automaticky přepsány, aby zněly čistěji a stručněji, protože tato úprava často měnila strukturu žádosti, kterou model obdržel.

To záleží, protože slabší výsledky pro hlas nebyly primárně způsobeny zjevným “odpadem” řeči: ačkoli fillery, jako je “erm” a “like”, měly význam (přidání jich do čistých psaných příkazů snížilo přesnost), odstranění fillerů ze mluvených transkriptů neobnovilo výkon.

Sebezáchova

Tím větší problém byl způsob, jakým byly mluvené příkazy reorganizovány předtím, než dosáhly modelu.

Centrální otázka pro studii byla, zda model stále obdrží dostatek původního příkazu, aby mohl rekonstruovat uživatelskou intenci; chyby psaní často poškozují “povrch” slova, aniž by odstranily slovo samo, takže okolní kontext může stále pomoci modelu inferovat, co bylo myšleno.

Naproti tomu “vyčištěný” hlasový transkript může nahradit původní formulaci uživatele kratší a hladší verzí ktará již nepreservationuje stejné vztahy mezi fakty.

To je důvod, proč byly chyby klávesnice často méně škodlivé: výzkumníci zjistili, že transponované písmena, duplikované písmena, chybějící mezery a chyby sousedních kláves obvykle ponechaly většinu původního znění obnovitelnou, zatímco úprava řeči často odstranila nebo reorganizovala informace, než model měl šanci je interpretovat.

Ztracený v překladu

Jedním z příkladů, jak referent může “ztratit se” perturbací na cestě od uživatele k LLM, je případ, kdy fráze ‘she gave an equal amount [of books] to her kids’ byla reinterpretována jako význam peněz (místo knih). V tomto případě se termín “amount” stal odpojeným od svého referenta a byl chybně aplikován na jeho nejčastější asociaci (peníze):

To, kolik z původní otázky přežije každou změnu vstupu. Velké tečky ukazují jednotlivé typy perturbací, zatímco malé tečky ukazují silnější verze stejné klávesnicové chyby.

Tento efekt byl nejvýraznější, když model musel sestrojit odpověď z příkazu, spíše než vybrat z možností, které již byly dodány: aritmetické a generovací úkoly kódu trpěly více, protože závisely na zachování přesných vztahů v žádosti, zatímco multiple-choice testy byly méně vystaveny tomuto typu poškození.

Autoři uzavírají:

‘Zjistili jsme, že mluvení je drahý kanál, že to, co poškození stojí, je to, kolik původní tokenizace otázky ničí, a že ani testovací sada kontaminace, ani lehká adaptace, nezajišťuje ani neopravuje poškození.

‘Následují několik závěrů. Pokud píšete, model absorbuje vaše chyby. Pokud diktujete, neabsorbuje. A pokud stavíte diktovací nástroje, neformátujte ani reorganizujte to, co uživatel řekl: odstraňte disfluenci minimálně a ponechte homofony samotné.

‘To poslední záleží nejvíce, protože diktovací front-endy se stávají standardním způsobem, jak dosáhnout modelu, a jejich přepisovací vrstva je největší poškození, které měříme, a zároveň nejlevnější věc, kterou lze změnit.’

Závěr

Kdokoli, kdo musel ručně přepisovat rozhovor (běžná a osamělá novinářská dřina v před-AI éře), bude vědět, jak interpretivní může být tento proces, pokud není mluvčí výjimečně artikulovaný, nebo – jak je často případ – prostě opakuje svou obvyklou sadu anekdot v mechanickém stylu.

Kromě takových konkrétních případů, když mluvíme s lidmi, automaticky diskontujeme disfluence a vypočítáváme význam. To nevyhnutelně činí užitečnou transkripci interpretativním aktem, vedoucím k textu, který reprezentuje mluvčího záměry lépe, než by mohla dosáhnout doslovná, samohlásková transliterace; a je zajímavé poznamenat, že audio mosty k LLM bojují podobně s tím, aby zachovaly nebo získaly stejný význam jako textové ekvivalenty.

Je rozumné předpokládat, že pozdější rámce budou mít prospěch z dalšího studia a (doufejme) populárních datových sad, které pomohou překlenout propasti nastíněné v nové práci. Do té doby nová studie naznačuje, že hlasová komunikace s umělou inteligencí může být vhodnější pro přesně ten typ krátkých příkazů, které charakterizují spotřebitelské “asistenční” systémy.

Poprvé publikováno ve středu 12. srpna 2026