Nyt on enemmän kuin koskaan aikaisemmin aika älyvoimaisille puhepohjaisille järjestelmille. Mieti asiakaspalvelupuhelua. Pian kaikki jäykkyys ja epäjoustavuus katoavat – jäykät robottiäänet, “painaa yksi myyntiin” -tyyliset rajoittavat valikot, ärsyttävät kokemukset, jotka ovat saaneet meidät kaikki raivostumaan painamalla nollaa toiveikkaina puhuvan ihmisen agentin kanssa. (Tai, ottaen huomioon pitkät odotusajat, jotka siirtäminen ihmisen agentin kanssa voi aiheuttaa, meidät antautuneina puhelulle.)

Ei enää. Edistysaskelten ansiosta sekä transformer-pohjaisissa suurissa kielen mallissa (LLM) että automaattisessa puheentunnistusjärjestelmissä (ASR) ja teksti-puhe -järjestelmissä (TTS) tarkoittaa, että “seuraavan sukupolven” puhepohjaiset agentit ovat täällä – jos tiedät, miten rakentaa niitä.

Tänään tarkastelemme haasteita, joita kohtaa kuka tahansa, joka toivoo rakentavansa tällaisen huipputason puhepohjaisen keskusteluagentin.

Miksi puhe?

Ennen kuin ryhdytään asiaan, katsotaan nopeasti yleisiä puhepohjaisten agenttien (verrattuna tekstipohjaisiin vuorovaikutuksiin) viejä ja merkitystä. On monia syitä, miksi puhevuorovaikutus voi olla sopivampi kuin tekstipohjainen – näitä voivat olla esimerkiksi seuraavat:

• Ensisijainen tai tapa – puhuminen edelsi kirjoittamista kehityksellisesti ja historiallisesti

• Hidas tekstisyöttö – monet voivat puhua nopeammin kuin he voivat tekstata

• Käsittömät tilanteet – kuten ajaminen, urheilu tai astioiden pesu

• Kirjaimeton – vähintään kieli, jota agentti ymmärtää

• Vammaiset – kuten sokeus tai puhekyvyn puute

Aikakaudella, jota voidaan nähdä verkkokauppojen hallitsemana, puhe on edelleen voimakas kaupan väylä. Esimerkiksi JD Power -tutkimus hotellien asiakastyytyväisyydestä osoitti, että asiakkaat, jotka varasivat huoneensa puhelimitse, olivat tyytyväisempiä oleskeluunsa kuin ne, jotka varasivat huoneen verkossa matkailusivuston kautta tai suoraan hotellin verkkosivuilta.

Mutta interaktiiviset äänivasteet eli IVR:t eivät riitä. Zippian tutkimus vuonna 2023 osoitti, että 88 % asiakkaista suosittelee puheita, joissa on live-asiakaspalvelu, sen sijaan, että ne navigoivat automaattisessa puhelinvalikossa. Tutkimus osoitti myös, että asiakkaiden ärsyttävimmät asiat puhelinvalikoissa ovat kuunteleminen asiattomia vaihtoehtoja (69 %), kyvyttömyys kuvata ongelmaa (67 %), tehokkaan palvelun puute (33 %) ja sekavat vaihtoehdot (15 %).

Ja on avoimuutta käyttää puhepohjaisia apuja. Accenturen tutkimuksen mukaan noin 47 % kuluttajista on jo mukavasti käyttänyt puheapuja liiketoimintaa varten ja noin 31 % kuluttajista on jo käyttänyt puheapua liiketoimintaa varten.

Mikä tahansa syy, monille on puhevuorovaikutuksen suosimista – kunhan se on luonnollista ja mukavaa.

Mikä tekee hyvän puhepohjaisen agentin?

Karkeasti ottaen hyvä puhepohjainen agentti vastaa käyttäjälle tavalla, joka on:

• Asiayhtenäinen: perustuu oikeaan ymmärrykseen siitä, mitä käyttäjä sanoi/haluaisi. Huomaa, että joissakin tapauksissa agentin vastaus ei ole vain puhuttu vastaus, vaan jokin toiminto, joka liittyy taustajärjestelmään (esim. hotellihuoneen varaus, kun soittaja sanoo “Varaa se”).

• Tarkka: perustuu faktoihin (esim. sanoo, että hotellissa on vain tila 19. tammikuuta, jos siellä on)

• Selkeä: vastaus on ymmärrettävissä

• Ajankohtainen: viive, jota odottaisi ihmisen vuorovaikutuksesta

• Turvallinen: ei loukkaavaa tai sopimatonta kieltä, suojeltujen tietojen paljastamista jne.

Ongelma

Nykyiset puhepohjaiset automaattiset järjestelmät yrittävät täyttää edellä mainitut kriteerit kustannuksella, joka on a) erittäin rajoitettu ja b) erittäin ärsyttävä käyttää. Osa tästä johtuu korkeista odotuksista, jotka puhepohjainen vuorovaikutus luo, ja nämä odotukset kasvavat entisestään, mitä enemmän TTS-järjestelmien puheen laatu lähestyy ihmisen ääntä. Mutta nämä odotukset murskaantuvat järjestelmissä, jotka ovat laajasti käytössä tällä hetkellä. Miksi?

Yhdellä sanalla – joustamattomuus:

• Rajoitettu puhelu – käyttäjä on tyypillisesti pakotettu sanomaan asioita epäluonnollisesti: lyhyissä lauseissa, tiettyssä järjestyksessä, ilman turhia tietoja jne. Tämä tarjoaa vain vähän tai ei ollenkaan etua vanhaan numero-pohjaiseen valikkoon.

• Kapea, ei-inclusiivinen käsitys “hyväksytystä” puhetta – matala toleranssi slangi, uhmat ja jne.

• Ei takaisinmentä: jos jotain menee pieleen, voi olla vain vähän mahdollisuuksia “korjata” tai oikaista ongelmallista tietoa, mutta sen sijaan aloittaa alusta tai odottaa siirtoa ihmisen agentille.

• Tiukka vuoropuhelu – ei mahdollisuutta keskeyttää tai puhua agenttia

On selvää, että ihmiset pitävät näitä rajoituksia ärsyttävinä tai frustruoivina.

Ratkaisu:

Hyvät uutiset ovat, että modernit älyjärjestelmät ovat tarpeeksi voimakkaita ja nopeita parantamaan edellä mainittuja kokemuksia, sen sijaan, että lähestyvät (tai ylittävät!) ihmisen perustuvat asiakaspalvelun standardit. Tämä johtuu useista tekijöistä:

• Nopeampi, tehokkaampi laitteisto

• Parannukset ASR:ssa (korkeampi tarkkuus, melun, aksenttien ylittäminen jne.)

• Parannukset TTS:ssa (luonnollisen kuuloinen tai jopa kloonattu ääni)

• Generatiivisten LLM:ien saapuminen (luonnollisen kuuloinen keskustelut)

Se viimeinen kohta on pelinmuuttaja. Avainajatus oli, että hyvä ennustemalli voi toimia hyvänä generatiivisena mallina. Tekoäly voi saavuttaa lähes ihmisen tason keskustelusuorituskyvyn, jos se sanoo mitä tarpeeksi hyvä LLM ennustaa olevan todennäköisin asia, jonka hyvä asiakaspalveluagentti sanoo annetussa keskustelukontekstissa.

Tässä vaiheessa tulee kymmenet älystart-up -yritykset, jotka toivovat ratkaista puhepohjaisen keskusteluagentin ongelman yksinkertaisesti valitsemalla ja yhdistämällä valmiita ASR- ja TTS-moduuleja LLM-ytimeen. Tässä näkökulmassa ratkaisu on vain valita yhdistelmä, joka minimoi viiveen ja kustannukset. Ja totta, se on tärkeää. Mutta onko se tarpeeksi?

Ei niin nopeasti

On useita tarkkoja syitä, miksi yksinkertainen lähestymistapa ei toimi, mutta ne johtuvat kahdesta yleisestä kohdasta:

1. LLM:t eivät itsestään voi tarjota hyviä faktapohjaisia tekstikokemuksia, joita vaaditaan esimerkiksi asiakaspalvelun kaltaisissa yritysohjelmissa. Niinpä ne eivät voi itsestään tarjota sitä myöskään puhepohjaisille keskusteluille.

2. Vaikka LLM:t täydennetään tarvittavilla asioilla, jotka tekevät hyvän tekstipohjaisen keskusteluagentin, muuttaminen hyväksi puhepohjaiseksi keskusteluagentiksi vaatii enemmän kuin vain liittäminen parhaisiin ASR- ja TTS-moduuleihin.

Tarkastellaan tarkkaa esimerkkiä kummastakin haasteesta.

Haaste 1: Pitäminen aidossa

Kuten nyt laajalti tiedetään, LLM:t tuottavat toisinaan epätarkkaa tai “hallusinoitua” tietoa. Tämä on kohtalokasta monissa kaupallisissa sovelluksissa, vaikka se voi olla hyvä viihdesovelluksessa, jossa tarkkuus ei ole tärkeää.

On odotettavissa, että LLM:t joskus hallusinoivat, kun otetaan huomioon, että malleja, jotka on koulutettu vuosi (tai useampi) vanhasta datasta, käytetään vastausten luomiseen kysymyksiin, jotka eivät kuulu tai johdu suuresta (vaikka kuinka suuresta) datajoukosta, joka on vuosi (tai useampi) vanha. Kun soittaja kysyy “Mikä on jäsenyydeni numero?”, yksinkertainen esikoulutettu LLM voi vain luoda uskottavan kuulostavan vastauksen, ei tarkan.

Yleisimmät tavat ratkaista tämä ongelma ovat:

• Hienosäätö: Kouluta esikoulutettu LLM edelleen, tällä kertaa kaikilla alakohtaisilla tiedoilla, joita haluat sen vastaavan oikein.

• Ohjelmointi: Lisää lisätiedot/ohjeet LLM:än syötteeksi lisäksi keskusteluhistoriaan

• Hakujärjestelmän generointi (RAG): samanlainen kuin ohjelmointi, mutta data, jota lisätään ohjelmaan, määräytyy dynaamisesti vastaamalla nykyistä keskustelukontekstia (esim. asiakas on kysynyt “Onko hotellissa uima-allas?”) kohteen määrittämiseen koodatun indeksin kautta.

• Sääntöpohjainen ohjaus: samanlainen kuin RAG, mutta se, mitä lisätään (tai poistetaan) ohjelmasta, määräytyy koodatuilla (ja käsin kirjoitetuilla) säännöillä.

Huomaa, että yksi kokoonpano ei sovi kaikille. Se, mitä menetelmää käytetään, riippuu esimerkiksi alakohtaisista tiedoista, jotka ohjaavat agentin vastausta. Erityisesti se riippuu siitä, muuttuuko tieto usein (esim. asiakkaan nimi) vai harvoin (esim. alkuterveyteen: “Hei, kiitos kun soitit Hotel Budapestiin. Miten voin auttaa sinua tänään?”). Hienosäätö ei sovi jälkimmäiselle.

Mitä enemmän, integroimalla nämä menetelmät LLM:ään ja toisiinsa minimoiden viiveen ja kustannukset vaatii tarkkaa insinööritöitä. Esimerkiksi mallin RAG-suorituskyky voi parantua, jos se hienosäätetään siten, että se tukee tätä menetelmää.

Ei ole yllättävää, että kunkin menetelmän mukana tulee omat haasteensa. Esimerkiksi hienosäätö. Hienosäätö esikoulutetulla LLM:llä alakohtaisilla tiedoilla parantaa sen suorituskykyä noilla tiedoilla. Mutta hienosäätö muuttaa parametreja (painoja), jotka ovat esikoulutetun mallin (luultavasti melko hyvän) yleisen suorituskyvyn perusta. Tämä muutos aiheuttaa osan mallin aiemmasta tietämyksestä unohtamisen (tai “katastrofaalisen unohtamisen”). Tämä voi johtaa siihen, että malli antaa virheellisiä tai sopimattomia (jopa vaarallisia) vastauksia. Jos haluat, että agenttisi vastaa edelleen tarkasti ja turvallisesti, sinun tarvitsee hienosäätömenetelmä, joka lievittää katastrofaalista unohtamista.

Haaste 2: Päätepiste

Asiakkaan puhumisen lopettamisen määrittäminen on kriittinen luonnollisen keskustelun kulun kannalta. Samoin järjestelmän on käsiteltävä keskeytyksiä sulavasti, varmistaen, että keskustelu säilyy yhtenäisenä ja vastaa asiakkaan tarpeita. Tämän saavuttaminen ihmisen vuorovaikutuksen vertaiselle tasolle on monimutkainen tehtävä, mutta se on välttämätöntä luonnollisten ja miellyttävien keskustelukokemusten luomiseksi.

Toimiva ratkaisu vaatii suunnittelijoiden tarkastelemaan kysymyksiä, kuten:

• Kuinka kauan asiakkaan lopettamisen jälkeen agentin pitäisi odottaa, ennen kuin se päättää, että asiakas on lopettanut puhumisen?

• Riippuuko tämä siitä, onko asiakas valmis kokonaiseen lauseeseen?

• Mitä tehdä, jos asiakas keskeyttää agentin?

• Pitäisikö agentin olettaa, että se, mitä se sanoi, ei kuulunut asiakkaalle?

Nämä ongelmat, jotka liittyvät pääasiassa ajoitukseen, vaativat tarkkaa insinööritöitä LLM:n oikean vastauksen antamisen lisäksi.

Johtopäätös

Älyvoimaisen puhepohjaisen järjestelmän kehitys lupailee vallankumouksellista muutosta asiakaspalvelun dynamiikassa, korvaten vanhentuneet puhelinjärjestelmät edistyneillä LLM-, ASR- ja TTS-tekniikoilla. Haasteiden voittaminen hallusinoituneessa tiedossa ja kevyessä päätepisteessä on kuitenkin ratkaisevaa luonnollisten ja tehokkaiden puhevuorovaikutusten toimittamiseksi.

Asiakaspalvelun automaatio voi olla todellinen pelinmuuttaja yrityksille, mutta vain, jos se tehdään oikein. Vuonna 2024, erityisesti näiden uusien teknologioiden ansiosta, voimme lopulta rakentaa järjestelmiä, jotka voivat tuntua luonnollisilta ja sulavilta ja ymmärtää meitä tehokkaasti. Tämä vähentää odotusajoja ja parantaa nykyistä kokemusta, jonka meillä on puhebotien kanssa, ja merkitsee muuttuvaa aikaa asiakasviestinnässä ja palvelun laadussa.