Głos jest obecnie najgorszym sposobem komunikacji z AI

Naukowcy odkryli, że najpopularniejsza metoda komunikacji z AI, przedstawiana w filmach science fiction, może powodować gorsze wyniki niż nawet źle wpisane polecenia.

Od HAL do Deep Thought, od C3P0 do Wall-E, ideał relacji między ludźmi a AI zawsze opierał się na kontroli głosowej; ta idea przejawia się również w świecie rzeczywistym, od wczesnych systemów asystentów takich jak Siri i Alexa, po językowe zapytania i rozmowy z bieżącymi modelami LLM.

Pomysł ten pojawił się w mniej wyzwolonych epokach, kiedy – z wyjątkiem autorów i dziennikarzy – sam akt pisania był uważany za ‘półwykwalifikowaną pracę’, którą wykonywały prawie wyłącznie kobiety – a same kobiety rzadko tworzyły treści, które wpisywały.

Władza i agencja były sygnalizowane przez dyskurs: spotkania i szczyty. Wydawało się więc oczywiste, że złożony język sygnalizujący inteligencję, mowa będzie nieuniknionym medium AI.

Ponadto wymiana tekstowa nie była dobrze przystosowana do telewizji i filmów; nawet odważne filmy science fiction, takie jak Colossus: The Forbin Project (1970), które przedstawiały komputer odpowiadający na polecenia głosowe w postaci tekstu, szybko przechodziły na całkowicie głosowe odpowiedzi:

Scena z 'Colossus: The Forbin Project' (1970), przedstawiająca ogromny superkomputer, który szybko przekracza granice języka tekstowego, stając się głosowym i desporycznym zaraz po uruchomieniu. Źródło: Universal Pictures

Czy pisać, czy mówić?

Pomimo faktu, że czołowe modele AI oferują rodzime interfejsy audio dla użytkowników, nowe badania z USA ustaliły, że mówienie do AI jest najmniej skutecznym sposobem uzyskania pożądanych wyników – szczególnie jeśli oczekuje się znaczących form wyjściowych, takich jak kod, w odpowiedzi na zapytanie.

Według artykułu, mówienie do modelu LLM, takiego jak ChatGPT lub Gemini, obecnie daje gorsze wyniki niż wpisywanie polecenia lub zapytania, nawet jeśli wpisane polecenie zawiera błędy.

Wynika to z faktu, że dane wejściowe głosowe są bardziej prawdopodobne, aby zostać przebudowane przez systemy transkrypcji w sposób, który usuwa informacje, na które model się powołuje. To zachowanie występuje, ponieważ transkrypcja z audio musi usunąć nieścisłości, takie jak ‘erm’ i ‘like’, a także tendencję do fałszywych startów (tj. ‘rozpoczynania od nowa’), a także nawigację w niejasnościach gramatyki i ‘nieformalnej’ konstrukcji (tj. zdania, które kończą się nowymi zdaniem, bez ukończenia).

Autorzy stwierdzają:

‘Mówienie jest teraz pierwszorzędną ścieżką do modelu językowego, a nie niszową. Agenci kodujący, tacy jak Claude Code i Codex, akceptują dyktowane instrukcje. Asystenci telefoniczni, tacy jak Google Assistant i Siri, kierują mówione żądanie do modelu LLM. Front-endy dyktowania, takie jak Typeless, dodają kolejną warstwę LLM, która czyści i formatuje mówione żądanie użytkownika przed jego wysłaniem.

‘W każdym przypadku model otrzymuje transkrypcję, a w każdym przypadku użytkownik może nie przeczytać ciągu, który został wysłany. Cokolwiek transkrypcyjny potok pozostawia lub przepisuje, jest tym, co model musi odpowiedzieć.’

To rozprawia się z każdym wyobrażeniem, że dane wejściowe tekstowe są lepsze, ponieważ są ‘rodzimymi’; nie są one rdzenne w żadnym sensie, ponieważ a) zawsze są albo potajemnie, albo jawnie redagowane w jakiś sposób przed transmisją do AI, i b) język tekstowy jest tylko jednym składnikiem w latentnym przestrzeni, który zwraca odpowiedź.

Badania wykazały, że zwykłe błędy pisarskie miały tylko umiarkowany wpływ na wyniki, podczas gdy konwersacyjna mowa, oczyszczona transkrypcja i szczególnie skompresowana transkrypcja AI powodowały znacznie większe spadki dokładności w zadaniach rozumu i generowania kodu.

Nowa praca tytułuje się Czy powinniśmy pisać czy mówić do agentów LLM? Całościowe badanie perturbacji głosowych i klawiatury, i pochodzi od czterech autorów z Santa Monica College i Uniwersytetu Południowej Kalifornii.

(Uwaga: To szczególne badanie splata ‘Metodę’ i ‘Testy/Wyniki’ w sposób, który nie może być łatwo rozwikłany w moim zwykłym porządku analizy. Dlatego jestem zmuszony do kompresji i selekcji z cięższą ręką niż zwykle.)

Metoda

Zestaw perturbacji o nazwie Human Input Variation Engine (HIVE) został opracowany przez autorów, aby symulować rodzaje błędów wprowadzanych, gdy ludzie albo wpisują polecenia na klawiaturze QWERTY, albo mówią je przez system transkrypcji głosowej:

Koncepcyjny schemat dla Human Input Variation Engine (HIVE). Polecenie użytkownika dociera do modelu językowego przez głos, klawiaturę QWERTY lub bezpośredni kopiowanie i wklejanie, przy czym to ostatnie służy jako 'czysta' referencja. Kolor identyfikuje kanał wejściowy, a nie metodę implementacji, przy czym operatory głosowe łączą transfer w stylu LLM i reguły deterministyczne, podczas gdy operatory klawiatury opierają się wyłącznie na regułach deterministycznych. Prawy panel pokazuje zakres odpowiedzi, które model może wygenerować przy zdegradowanym wejściu. Źródło

HIVE modeluje trzy ścieżki, którymi polecenia docierają do modelu językowego: przez głos; klawiaturę QWERTY; lub bezpośredni kopiowanie i wklejanie – przy czym to ostatnie służy jako niewzmocniona referencja, z którą porównuje się wszystkie inne dane wejściowe. Dwa dodatkowe operatory funkcjonują jako kontrolne, przez rearanżowanie pytania i jego kontekstu lub permutację opcji odpowiedzi wielokrotnego wyboru.

Operatorzy perturbacji są implementowane za pomocą reguł deterministycznych lub transferu w stylu LLM przy użyciu Qwen2.5-7B. To pozwoliło na ocenę obu metod wejściowych w kontrolowanych i bezpośrednio porównywalnych warunkach.

Warunki testowe i wyniki

Eksperymenty zostały przeprowadzone na Llama-3.1-8B; Qwen2.5-7B; Qwen3-8B; Mistral-7B-v0.3; i Phi-4, przy użyciu pięciu nasion. Sześć benchmarków użytych to GSM8K; GSM-Symbolic; GSM1k; HumanEval; MMLU-Pro STEM; i TruthfulQA MC1.

Zestaw testowy składał się z 200 elementów na benchmark, z 164 elementami dla pełnego zestawu HumanEval. Greedy decoding (wybór najbardziej prawdopodobnego następnego tokenu) został użyty, aby każde perturbowane polecenie mogło być porównane z jego własną czystą odpowiedzią w tym samym uruchomieniu modelu, generując 550 000 ocenionych odpowiedzi na 17 zmian poleceń i dwa testy kontrolne (testy porównawcze używane do izolowania określonych efektów).

Zostały podjęte środki, aby zapobiec zanieczyszczeniu zestawu testowego (nakładaniu się z danymi, które model mógł zobaczyć podczas szkolenia):

Pełny zestaw perturbacji użyty w badaniu, pokazujący, jak dokładność zmienia się w porównaniu z czystymi poleceniami w przypadku zmian transkrypcji głosowej, błędów klawiatury i testów kontrolnych. Pierwszy wiersz podaje czystą bazową dokładność, podczas gdy późniejsze wiersze pokazują zmiany punktowe procentowe. Czerwony oznacza najbardziej szkodliwy operator w każdym bloku i kolumnie, niebieski najmniej szkodliwy.

Najbardziej wyraźny wynik w badaniu jest taki, że dane wejściowe głosowe były bardziej szkodliwe niż dane wejściowe klawiatury w głównych warunkach testowych, z zmianami opartymi na mowie, które zmniejszały dokładność modelu o około trzykrotnie więcej niż błędy pisarskie. Najgorsze wyniki pojawiły się, gdy mówione prośby były automatycznie przepisywane, aby brzmieć czystsze i bardziej zwięzłe, ponieważ ta czystość często zmieniała strukturę prośby, którą model otrzymywał.

To ma znaczenie, ponieważ słabsze wyniki dla głosu nie były głównie spowodowane oczywistymi ‘śmiecie’ mowy: chociaż wypełniacze, takie jak ‘um’ i ‘like’, miały znaczenie (ponieważ dodanie ich do czystych poleceń tekstowych obniżało dokładność), usuwanie wypełniaczy z transkrypcji mowy nie przywracało wyników.

Samozachowanie

Zatem większym problemem było sposób, w jaki polecenia głosowe były przebudowywane przed dotarciem do modelu.

Kluczowym pytaniem w badaniu było, czy model nadal otrzymywał wystarczająco dużo oryginalnego polecenia, aby odtworzyć intencję użytkownika; błędy pisarskie często uszkadzają ‘powierzchnię’ słowa bez usuwania go całkowicie, tak aby kontekst otaczający mógł nadal pomóc modelowi wywnioskować, co było zamierzone.

W przeciwieństwie do tego, ‘oczyszczona’ transkrypcja głosowa może zastąpić oryginalne sformułowanie użytkownika krótszym i gładszym, które nie zachowuje tych samych relacji między faktami.

To dlatego błędy klawiatury były często mniej szkodliwe: badacze stwierdzili, że przestawione litery, zdublowane litery, brakujące spacje i błędy sąsiednich klawiszy zwykle pozostawiały wiele oryginalnego sformułowania, podczas gdy oczyszczona transkrypcja głosowa częściej usuwała lub reorganizowała informacje, zanim model miał szansę je zinterpretować.

Zagubiony w tłumaczeniu

Jednym z przykładów, jak odniesienie może ‘zaginąć’ przez perturbację w tych podróżach od użytkownika do LLM, opisanym w artykule, jest gdy fraza ‘ona dała równą ilość [książek] swoim dzieciom’ była reinterpretowana jako oznaczająca pieniądze (zamiast książek). W tym przypadku termin ‘ilość’ został odłączony od swojego odniesienia i został błędnie zastosowany do jego najczęstszego skojarzenia (pieniądze):

Ile oryginalnego pytania przetrwa każdą zmianę wejściową. Duże kropki pokazują poszczególne typy perturbacji, podczas gdy małe kropki pokazują silniejsze wersje tych samych błędów klawiatury.

Ten efekt był najbardziej widoczny, gdy model musiał zbudować odpowiedź z polecenia, a nie wybrać spośród dostarczonych opcji: zadania arytmetyczne i generowania kodu były bardziej dotknięte, ponieważ zależały od zachowania dokładnych relacji w prośbie, podczas gdy testy wielokrotnego wyboru były mniej narażone na ten rodzaj uszkodzenia.

Autorzy stwierdzają:

‘Stwierdzamy, że mówienie jest drogą, która powoduje największe szkody, że to, co powoduje szkody, to ile oryginalnej tokenizacji pytania niszczy, i że ani zanieczyszczenie zestawu testowego, ani lekka adaptacja nie powodują ani nie naprawiają szkód.

‘Kilka wniosków wynika z tego. Jeśli piszesz, model rozumu pochłania twoje błędy. Jeśli dyktujesz, nie robi tego, więc sformułowanie, które mówisz, jest tym, z którym model pracuje.

‘A jeśli budujesz narzędzia dyktowania, nie formatuj ani nie reorganizuj tego, co użytkownik powiedział: usuń nieścisłości minimalnie i pozostaw homofony w spokoju.

‘Ostatnie jest najważniejsze, ponieważ front-endy dyktowania stają się domyślnym sposobem dotarcia do modelu, a ich warstwa przepisywania jest największym szkodą, którą mierzymy i najtańszą rzeczą do zmiany.’

Wnioski

Każdy, kto kiedykolwiek musiał ręcznie transkrybować wywiad (powszechny i samotny trud w erze przed-AI) wie, jak interpretatywny może być ten proces, chyba że wywiadowany lub mówiący jest niezwykle wymowny, lub – co często się zdarza – po prostu powtarza swoje zwyczajowe zestawienie anegdot w sposób odruchowy.

Ponadto, gdy rozmawiamy z ludźmi, automatycznie dyskontujemy nieścisłości i obliczamy znaczenie. To nieuniknienie sprawia, że użyteczna transkrypcja jest aktem interpretatywnym, wynikiem tekstu, który reprezentuje intencje mówcy lepiej niż dosłowna, samogłoskowa transliteracja; i jest interesujące zauważyć, że mosty audio do LLM zmagają się podobnie, aby zachować lub nawet uzyskać to samo znaczenie, co odpowiedniki tekstowe.

Ma to sens oczekiwać, że późniejsze ramy będą korzystać z dalszych badań i (mam nadzieję) ludnych zbiorów danych, które pomogą zmostkować przepaści opisane w nowej pracy. Do tego czasu nowe badanie wskazuje, że komunikacja głosowa z AI może być bardziej odpowiednia dla krótkich poleceń, które charakteryzowały systemy asystentów na poziomie konsumenta.

Pierwotnie opublikowane w środę, 12 sierpnia 2026