Ääni on tällä hetkellä huonoin tapa kommunikoida tekoälyjen kanssa

Uusi tutkimus osoittaa, että tieteiskirjallisuuden ja -elokuvien suosikkikuva tekoälyjärjestelmien kanssa vuorovaikuttamisesta voi johtaa huonompiin tuloksiin kuin jopa huonosti kirjoitetut ohjeet.

Tuottaja HAL:sta Deep Thoughtiin, C3P0:sta Wall-E:hen, ihmis- ja tekoälyjärjestelmien ihannetun suhteen muoto on aina keskittynyt ääni ohjaukseen; ja tämä on ilmennyt myös todellisessa maailmassa, alkuvaiheen avustimista, kuten Siri ja Alexa, kielen perusteella kysymiseen ja keskusteluun nykyisten eturintamien LLM:ien kanssa.

Tämä idea syntyi vähemmän vapautuneissa aikakausina, jolloin – kirjailijoita ja journalistien lukuun ottamatta – kirjoittaminen itseään pidettiin “puoliammattimaisena työnä”, ja se tehtiin lähes yksinomaan naisilla – ja naiset itse harvoin loivat sisältöä, jonka he kirjoittivat.

Valta ja toimivalta ilmaistiin sen sijaan puheena: kokouksilla ja huippukokouksilla. Näytti siis selvältä, että monimutkaisen kielen merkitsemällä älykkyyttä, puhuttu sana tulisi väistämättä olemaan tekoälyn luonnollinen väylä.

Muista huomioita lukuun ottamatta, tekstivaihto ei ollut sovelias TV- ja elokuville; jopa rohkeat SF-jännitys, kuten Colossus: The Forbin Project (1970), joka esitti tietokoneen, joka vastasi ihmisen äänikommenteihin kirjoitettuna, vaihtoi nopeasti kokonaan äänivastauksiin:

Kohtaus elokuvasta 'Colossus: The Forbin Project' (1970), jossa on valtava supertietokone, joka ylittää tekstipohjaisen kielen rajat ja tulee vokalisoiduksi ja despootiksi pian sen jälkeen, kun se on käynnistetty. Lähde: Universal Pictures

Kirjoitetaanko vai puhutaanko?

Vaikka maailman johtavilla tekoälymallilla on ääni-liittymät käyttäjille, uusi tutkimus Yhdysvalloista on johtanut siihen, että puhuminen tekoälyjärjestelmälle on todennäköisesti vähiten tehokas tapa saada halutut tulokset siitä – erityisesti, jos odotetaan merkittäviä tuloksia, kuten koodia, vastauksena kysymykseen.

Julkaisun mukaan puhumalla LLM:lle, kuten ChatGPT:lle tai Gemini:lle, tuottaa huonompia tuloksia kuin kirjoittaminen ohjeita tai kysymyksiä, jopa silloin, kun kirjoitettu ohje sisältää yleisiä virheitä.

Tämä johtuu siitä, että puhuttu syöte on todennäköisemmin uudelleenjärjestetty transkriptiojärjestelmillä tavoilla, jotka poistavat tietoa, josta malli riippuu. Tämä tapahtuu, koska äänityksestä on poistettava epäselvyyksiä, kuten “äh” ja “kuin”, sekä virheelliset aloitukset (ts. “aloittaminen uudelleen”), sekä navigointi epäselvyyksien ja “rennon” rakenteen (ts. lauseet, jotka päättyvät uusiin lauseisiin ilman omia päätöksiä) välillä.

Tekijät toteavat:

‘Puhuminen on nyt ensiluokkainen reitti kielen malliin, eikä enää niche. Koodausagentit, kuten Claude Code ja Codex, hyväksyvät diktoituja ohjeita. Puhelinavustajat, kuten Google Assistant ja Siri, ohjaavat puhuttua pyynnötä LLM-taustaan. Diktaattorin eturintama, kuten Typeless, lisää LLM:llä toimivan kerroksen, joka puhdistaa ja uudelleenmuotoilee käyttäjän puhuttua pyynnön ennen kuin se lähetetään.

‘Jokaisessa tapauksessa malli vastaanottaa transkriptin, ja jokaisessa tapauksessa puhuja ei välttämättä tarkista merkkijonoa, joka lähetettiin todella. Mitä transkriptioputki jättää taakse tai uudelleenkirjoittaa, on se, mitä malli on vastattava.’

Tämä poistaa käsityksen, että kirjoitettu syöte on ylempiarvoista, koska se on “alkuperäinen”; se ei ole alkuperäinen missään mielessä, koska a) se on aina joko salaa tai avoimesti uudelleenkirjoitettu jollain tavoin ennen lähettämistä tekoälylle, ja b) tekstikieli on vain yksi komponentti latentin tilassa, joka palauttaa vastauksen.

Tutkimuksen kokeet osoittivat, että tavalliset kirjoitusvirheet vaikuttivat vain kohtuullisesti suorituskykyyn, kun taas keskustelupuhe, puhdistetut transkriptit ja erityisesti tekoäly-pakkaus transkriptit aiheuttivat jatkuvasti suurempia tarkkuuden laskuja sekä päättely- että koodigenerointitehtävissä.

Uusi tutkimus on nimeltään Pitäisikö meidän kirjoittaa tai puhua LLM-agenteille? Kokonainen tutkimus ääni- ja näppäimistösyötteiden häiriöistä, ja se tulee neljältä tekijältä Santa Monica Collegesta ja Etelä-Kalifornian yliopistosta.

(Huomautus: Tämä tutkimus yhdistää “Menetelmän” ja “Testien/tuloksien” tavalla, jota ei voida helposti erottaa analyysini normaalista järjestyksestä. Siksi minun on pakko tiivistää ja valita enemmän kuin yleensä.)

Menetelmä

Tekijät kehittivät “häiriöpaketti”-nimisen työkalun, jota kutsutaan Human Input Variation Engine (HIVE):ksi, jotta voidaan simuloida virheitä, jotka ilmenevät, kun ihmiset joko kirjoittavat ohjeita QWERTY-näppäimistöllä tai puhuvat äänitranskriptiojärjestelmän kautta:

Käsitteellinen schema Human Input Variation Engine (HIVE):lle. Käyttäjän ohje saapuu kielen malliin äänen, QWERTY-näppäimistön tai suoran kopioimisen kautta, jälkimmäinen toimii puhdasviittauksena. Väri tunnistaa syötteen kanavan sen sijaan, että toteutusmenetelmä, ääniohjaimet yhdistävät vähän ammuntaa LLM-tyylin siirtoa ja deterministisiä sääntöjä, kun taas näppäimistöohjaimet luottavat täysin deterministisiin sääntöihin. Oikeanpuoleinen paneeli näyttää mallin vastausvalikoiman heikentyneen syötteen alla. Lähde

HIVE mallintaa kolmea reittiä, joita ohjeet seuraavat kielen malliin: äänen, QWERTY-näppäimistön tai suoran kopioimisen kautta – jälkimmäinen toimii muuttumattomana viittauksena, jota kaikki muut syötteet verrataan. Kaksi muuta operaattoria toimivat kokeellisina kontrollina, järjestämällä kysymyksen ja sen kontekstin uudelleen tai vaihtamalla monivalintavastausvaihtoehtoja.

Häiriöoperaattorit itse toteutetaan joko determinististen sääntöjen tai vähän ammuntaa LLM-tyylin siirron kautta Qwen2.5-7B:lla. Tämä mahdollisti molempien syötetapojen arvioinnin kontrolloiduissa ja suoraan vertailukelpoisissa olosuhteissa.

Testiolosuhteet ja tulokset

Kokeet suoritettiin Llama-3.1-8B:n, Qwen2.5-7B:n, Qwen3-8B:n, Mistral-7B-v0.3:n ja Phi-4:n kanssa, käyttäen viittä siemeniä. Kuusi käytettyä benchmarkia olivat GSM8K, GSM-Symbolic, GSM1k, HumanEval, MMLU-Pro STEM ja TruthfulQA MC1.

Testijoukko käytti 200 kohdetta kunkin benchmarkin kohdalla, ja 164 kohdetta koko HumanEval-joukon kohdalla. Greedy-dekoodaus (valitsemaan todennäköisin seuraava token joka kerta) käytettiin, jotta kunkin häiriöttyneen ohjeen voitiin verrata omaan puhdasviittaukseensa samassa mallin suorituksessa, tuottaen 550 000 arvioidulla vastausta 17 ohjeen muutoksen ja kahden kontrollikokeen (vertailukokeita, joita käytetään tiettyjen vaikutusten erottamiseen) kautta.

Toimenpiteet otettiin käyttöön varmistamaan, että testijoukon saastuminen (yhteys datan kanssa, jonka malli on saattanut nähdä koulutuksen aikana) ei tapahtunut:

Koko häiriöpaketti, jota tutkimuksessa käytettiin, näyttää, miten tarkkuus muuttui puhdasohjeisiin verrattuna äänitranskriptio- ja QWERTY-näppäimistövirheiden kautta. Ensimmäinen rivi antaa puhdasviiteen tarkkuuden, kun taas myöhemmät rivit näyttävät prosenttipisteen muutoksia. Punainen merkitsee eniten vahingoittavaa operaattoria kussakin lohkossa ja sarakkeessa, sininen vähiten vahingoittavaa.

Selvin tuloksen tutkimuksessa on, että äänisyöte oli vahingollisempaa kuin näppäimistösyöte pääasiallisissa testiolosuhteissa, ja puhuttujen pyyntöjen muuttaminen vähensi mallin tarkkuutta noin kolme kertaa enemmän kuin kirjoitusvirheet.

Tämä on merkittävää, koska heikommat tulokset äänestyksessä eivät johtuneet ensisijaisesti ilmeisistä puhesyötteiden “jäänteistä”: vaikka täytteet, kuten “äh” ja “kuin”, vaikuttivat (koska niiden lisääminen puhdas kirjoitettuihin ohjeisiin laski tarkkuutta), poistamalla täytteet puhutuista transkripteistä ei palautettu suorituskykyä.

Itsepuolustus

Suurempi ongelma oli puhuttujen ohjeiden uudelleenjärjestäminen ennen kuin ne saapuivat malliin.

Tutkimuksen keskeinen kysymys oli, vastaanottiko malli tarpeeksi alkuperäistä ohjetta palauttaakseen käyttäjän aikomusta; kirjoitusvirheet vahingoittivat usein “pinnan” sanaa ilman, että poistivat sanan kokonaan, joten ympäröivä konteksti voisi edelleen auttaa mallia ymmärtämään, mitä oli tarkoitettu.

Toisin sanoen, puhuttu transkripti voi korvata käyttäjän alkuperäisen sanamuodon lyhyemmällä ja sileämmällä version jonka ei enää säilytä samaa suhdetta faktojen välillä.

Tämä on syy, miksi näppäimistövirheet olivat usein vähemmän haitallisia: tutkijat totesivat, että transpoosiot, toistetut kirjaimet, puuttuvat välit ja lähellä olevat näppäimistövirheet jättivät usein alkuperäisen sanan suuren osan palautettavaksi, kun taas puhesyötteiden puhdistus poisti usein tai uudelleenjärjesti tietoa ennen kuin malli sai mahdollisuuden tulkita sitä.

Hävikki käännöksessä

Yksi esimerkki siitä, miten referentti voi “hävikkiä” häiriöiden kautta matkalla käyttäjältä LLM:lle, joka mainitaan tutkimuksessa, on, kun lause “hän antoi saman määrän [kirjoja] lapsilleen” tulkittiin tarkoittavan rahaa (eikä kirjoja): tässä tapauksessa termi “määrä” irtosi referentistaan ja sovellettiin virheellisesti sen yleisimpään yhdistämiseen (rahaan):

Kuinka paljon alkuperäisestä kysymyksestä selviää kussakin syötteen muutoksessa. Suuret pisteet edustavat yksittäisiä häiriötyyppejä, kun taas pienet pisteet edustavat voimakkaampia versioita samoista näppäimistövirheistä.

Tämä vaikutus oli voimakkain, kun mallin oli rakennettava vastaus pyynnöstä, eikä valittava valmiiksi annettujen vaihtoehtojen joukosta: aritmeettiset ja koodigenerointitehtävät kärsivät enemmän, koska ne riippuivat alkuperäisen pyynnön tarkan suhteen säilyttämisestä, kun taas monivalintakokeet olivat vähemmän alttiita tälle kaltaiselle vahingolle.

Tekijät toteavat:

‘Havaitsemme, että puhuminen on kallis kanava, että se, mitä vahinko maksaa, on se, kuinka paljon pyynnön alkuperäistä tokenisointia se tuhoaa, ja että kumpikaan testijoukon saastuminen eikä kevyt sopeutuminen selittävät tai korjaavat vahinkoa.

‘Useita johtopäätöksiä seuraa. Jos kirjoitat, päättelymalli absorboi virheesi. Jos diktaat, se ei tee sitä, joten sanamuoto, jota puhut, on se, josta malli toimii.

‘Ja jos rakennat diktaattorin eturintamia, älä muokkaa tai uudelleenjärjestä, mitä käyttäjä on sanonut: poista epäselvyyksiä vähän ja jätä homofonit yksin.

‘Viimeksi mainittu on tärkein, koska diktaattorin eturintamat ovat muodostumassa oletusmuodoksi mallin saavuttamiseksi, ja heidän uudelleenkirjoituskerroksensa on suurin vahinko, jonka mitataan, ja se on halvin asia muuttaa.’

Johtopäätös

Kukaan, joka on koskaan joutunut manuaalisesti transkriboimaan haastattelun (yksi yleinen ja yksinäinen journalistinen raskas työ ennen tekoälyä), tietää, kuinka tulkinnollinen prosessi voi olla, ellei haastateltava ole poikkeuksellisen selkeä tai – usein – vain toistaa tutun valikoiman anekdoottejaan muistinvaraisesti.

Erityistapauksia lukuun ottamatta, kun puhumme ihmisten kanssa, me olemme automaattisesti poistamassa epäselvyyksiä ja laskemassa merkitystä. Tämä tekee hyödyllisen transkription tulkinnolliseksi aktiksi, joka johtaa tekstiin, joka edustaa puhujan aikomusta paremmin kuin kirjaimellinen, täydellinen translitteraatio voisi; ja on mielenkiintoista huomata, että äänisillat LLM:lle kamppailevat samalla tavalla säilyttääkseen tai saadakseen saman merkityksen kuin tekstivastineensa.

On järkevää odottaa, että myöhemmät kehykset hyötyvät lisätutkimuksesta ja (toivottavasti) tiheämmistä tietokannoista, jotka auttavat siltojen rakentamisessa uudelleen tutkimuksessa kuvattuihin kuiluihin. Siihen asti uusi tutkimus osoittaa, että ääni-viestintä tekoälyn kanssa voi olla sovelias juuri sellaisiin lyhyisiin komentoihin, jotka ovat luonnehtineet kuluttajatasoisten “avustimien” järjestelmiä.

Julkaistu ensimmäisen kerran keskiviikkona, 12. elokuuta 2026