Ora, più che mai, è il momento giusto per i sistemi vocali basati sull’intelligenza artificiale. Consideriamo una chiamata al servizio clienti. Presto, tutta la rigidità e l’inflexibilità saranno scomparse – le voci robotiche rigide, i menu di scelta del tipo “premi uno per le vendite”, le esperienze fastidiose che ci hanno fatto tutti premere freneticamente lo zero nella speranza di parlare con un agente umano. (O, dato i lunghi tempi di attesa che possono essere necessari per essere trasferiti a un agente umano, abbiamo rinunciato alla chiamata.)

Non più. I progressi non solo nei modelli di linguaggio basati su trasformatori (LLM) ma anche nel riconoscimento automatico del parlato (ASR) e nei sistemi di sintesi vocale (TTS) significano che gli “agenti vocali di nuova generazione” sono qui – se si sa come costruirli.

Oggi esaminiamo le sfide che si presentano a chiunque cerchi di costruire un agente conversazionale vocale all’avanguardia.

Perché la voce?

Prima di entrare nel vivo, diamo un’occhiata rapida agli aspetti generali e alla rilevanza degli agenti vocali (in contrapposizione alle interazioni basate sul testo). Ci sono molti motivi per cui un’interazione vocale potrebbe essere più adatta di una basata sul testo – questi possono includere, in ordine crescente di gravità:

• Preferenza o abitudine – il parlare precede lo sviluppo e la storia della scrittura

• Inserimento di testo lento – molte persone possono parlare più velocemente di quanto possano digitare

• Situazioni senza mani libere – come guidare, fare esercizio o lavare i piatti

• Analfabetismo – almeno nella lingua o nelle lingue che l’agente comprende

• Disabilità – come cecità o mancanza di controllo motorio non vocale

In un’epoca che sembra dominata dalle transazioni mediate dal sito web, la voce rimane un canale potente per il commercio. Ad esempio, uno studio recente di JD Power sulla soddisfazione dei clienti nel settore alberghiero ha scoperto che gli ospiti che hanno prenotato la loro camera per telefono erano più soddisfatti del loro soggiorno rispetto a coloro che hanno prenotato attraverso un’agenzia di viaggi online (OTA) o direttamente attraverso il sito web dell’hotel.

Ma le risposte interattive vocali, o IVR per brevità, non sono sufficienti. Uno studio del 2023 di Zippia ha scoperto che l’88% dei clienti preferisce le chiamate vocali con un agente umano invece di navigare in un menu telefonico automatizzato. Lo studio ha anche scoperto che le prime cose che infastidiscono le persone di più nei menu telefonici includono l’ascolto di opzioni non pertinenti (69%), l’incapacità di descrivere appieno il problema (67%), il servizio inefficiente (33%) e le opzioni confuse (15%).

E c’è un’apertura all’uso di assistenti vocali. Secondo uno studio di Accenture, circa il 47% dei consumatori è già a suo agio nell’uso di assistenti vocali per interagire con le aziende e circa il 31% dei consumatori ha già utilizzato un assistente vocale per interagire con un’azienda.

Qualunque sia il motivo, per molte persone c’è una preferenza e una domanda per un’interazione parlata – purché sia naturale e confortevole.

Cosa rende un buon agente vocale?

A grandi linee, un buon agente vocale dovrebbe rispondere all’utente in un modo che sia:

• Pertinente: basato su una comprensione corretta di ciò che l’utente ha detto/voleva. Nota che in alcuni casi, la risposta dell’agente non sarà solo una risposta parlata, ma una forma di azione attraverso l’integrazione con un backend (ad esempio, prenotare effettivamente una camera d’albergo quando il chiamante dice “Vai avanti e prenota”).

• Accurato: basato sui fatti (ad esempio, dire che c’è una camera disponibile all’hotel il 19 gennaio solo se c’è)

• Chiaro: la risposta dovrebbe essere comprensibile

• Tempestivo: con il tipo di latenza che ci si aspetta da un essere umano

• Sicuro: senza linguaggio offensivo o inappropriato, rivelazione di informazioni protette, ecc.

Il problema

I sistemi vocali automatizzati attuali tentano di soddisfare i criteri sopra menzionati a spese di a) essere molto limitati e b) molto frustranti da usare. Parte di ciò è il risultato delle alte aspettative che un contesto conversazionale vocale stabilisce, con tali aspettative che aumentano solo di più man mano che la qualità vocale nei sistemi TTS diventa indistinguibile dalle voci umane. Ma queste aspettative sono deluse nei sistemi ampiamente distribuiti attualmente. Perché?

In una parola – inflessibilità:

• Parlato limitato – l’utente è tipicamente costretto a dire cose in modo innaturale: in frasi brevi, in un ordine particolare, senza informazioni spurie, ecc. Ciò offre poco o nessun vantaggio rispetto al vecchio sistema di menu basato su numeri

• Nozione ristretta e non inclusiva di “parlato accettabile” – scarsa tolleranza per slang, uhms e ahs, ecc.

• Nessun ritorno indietro: se qualcosa va storto, potrebbe esserci poca possibilità di “riparare” o correggere il pezzo di informazione problematico, ma invece si deve ricominciare da capo o aspettare il trasferimento a un agente umano.

• Turni di conversazione rigidi – impossibilità di interrompere o parlare a un agente

È ovvio che le persone trovano queste limitazioni fastidiose o frustranti.

La soluzione:

La buona notizia è che i sistemi AI moderni sono potenti e veloci abbastanza per migliorare notevolmente le esperienze sopra menzionate, invece di avvicinarsi (o superare!) gli standard di servizio clienti basati su esseri umani. Ciò è dovuto a una varietà di fattori:

• Hardware più veloce e più potente

• Miglioramenti nel riconoscimento automatico del parlato (maggiore accuratezza, superamento del rumore, accenti, ecc.)

• Miglioramenti nella sintesi vocale (voci naturali o addirittura clonate)

• L’arrivo dei modelli di linguaggio generativi (conversazioni naturali)

Quell’ultimo punto è un vero e proprio cambiamento di gioco. L’intuizione chiave era che un buon modello predittivo può servire come un buon modello generativo. Un agente artificiale può avvicinarsi alle prestazioni conversazionali umane se dice ciò che un LLM sufficientemente buono prevede essere la cosa più probabile che un buon agente di servizio clienti umano direbbe nel dato contesto conversazionale.

Ecco l’arrivo di decine di startup di intelligenza artificiale che sperano di risolvere il problema dell’agente conversazionale vocale semplicemente selezionando e collegando moduli ASR e TTS pronti all’uso a un nucleo LLM. Da questo punto di vista, la soluzione è solo una questione di selezionare una combinazione che minimizzi la latenza e il costo. E naturalmente, questo è importante. Ma è sufficiente?

Non così veloce

Ci sono diverse ragioni specifiche per cui quell’approccio semplice non funzionerà, ma derivano da due punti generali:

1. Gli LLM non possono, da soli, fornire buone conversazioni basate su fatti del tipo richiesto per applicazioni aziendali come il servizio clienti. Quindi non possono, da soli, farlo per conversazioni vocali.

2. Anche se si integra gli LLM con ciò che è necessario per creare un buon agente conversazionale basato su testo, trasformare ciò in un buon agente conversazionale vocale richiede più che semplicemente collegarlo ai migliori moduli ASR e TTS che si possono permettere.

Esaminiamo un esempio specifico di ciascuna di queste sfide.

Sfida 1: Mantenere la realtà

Come è ormai ampiamente noto, gli LLM a volte producono informazioni inaccurate o “allucinate”. Ciò è disastroso nel contesto di molte applicazioni commerciali, anche se potrebbe essere adatto per un’applicazione di intrattenimento in cui l’accuratezza potrebbe non essere il punto.

Che gli LLM a volte allucinino è solo da aspettarsi, a riflettere. È una conseguenza diretta dell’uso di modelli addestrati con dati di un anno (o più) fa per generare risposte a domande su fatti che non fanno parte, o non sono implicati da, un set di dati (per quanto grande) che potrebbe essere vecchio di un anno o più. Quando il chiamante chiede “Qual è il mio numero di adesione?”, un semplice LLM pre-addestrato può generare solo una risposta plausibile, non una risposta accurata.

I modi più comuni per affrontare questo problema sono:

• Fine-tuning: addestrare ulteriormente l’LLM pre-addestrato, questa volta sui dati specifici del dominio che si desidera che possa rispondere correttamente.

• Ingegneria dei prompt: aggiungere i dati/instruzioni extra come input all’LLM, in aggiunta alla storia conversazionale

• Generazione aumentata con recupero (RAG): come l’ingegneria dei prompt, tranne che i dati aggiunti al prompt sono determinati sul volo dal confronto del contesto conversazionale attuale (ad esempio, il cliente ha chiesto “Il tuo hotel ha una piscina?”) con un indice di codifica dell’embedding dei dati specifici del dominio (che include, ad esempio, un file che dice: “Ecco le strutture disponibili in hotel: piscina, sauna, stazione di ricarica EV”).

• Controllo basato su regole: come RAG, ma ciò che deve essere aggiunto (o sottratto) al prompt non è recuperato da una memoria neurale ma è determinato da regole codificate manualmente (e codificate a mano).

Nota che un’unica soluzione non si adatta a tutti. Quale di questi metodi sarà appropriato dipenderà, ad esempio, dai dati specifici del dominio che stanno informando la risposta dell’agente. In particolare, dipenderà dal fatto che i dati cambino frequentemente (ad esempio, da chiamata a chiamata – ad esempio, il nome del cliente) o quasi mai (ad esempio, il saluto iniziale: “Ciao, grazie per aver chiamato l’Hotel Budapest. Come posso aiutarla oggi?”). Il fine-tuning non sarebbe appropriato per il primo, e RAG sarebbe una soluzione goffa per il secondo. Quindi qualsiasi sistema funzionante dovrà utilizzare una varietà di questi metodi.

Inoltre, l’integrazione di questi metodi con l’LLM e l’uno con l’altro in modo da minimizzare la latenza e il costo richiede un’ingegneria accurata. Ad esempio, le prestazioni RAG del vostro modello potrebbero migliorare se lo si addestra per facilitare quel metodo.

Potrebbe non sorprendere che ciascuno di questi metodi a sua volta introduce le proprie sfide. Ad esempio, prendiamo il fine-tuning. Il fine-tuning del vostro LLM pre-addestrato sui dati specifici del dominio migliorerà le sue prestazioni su quei dati, sì. Ma il fine-tuning modifica i parametri (pesi) che sono la base delle prestazioni generali (presumibilmente abbastanza buone) del modello pre-addestrato. Questa modifica causa quindi una dimenticanza (o “dimenticanza catastrofica”) di alcune delle conoscenze precedenti del modello. Ciò può portare il modello a fornire risposte inaccurate o inadeguate (anche insicure). Se si desidera che il proprio agente continui a rispondere in modo accurato e sicuro, è necessario un metodo di fine-tuning che mitighi la dimenticanza catastrofica.

Sfida 2: Endpointing

Determinare quando un cliente ha finito di parlare è fondamentale per un flusso di conversazione naturale. Allo stesso modo, il sistema deve gestire le interruzioni in modo elegante, assicurandosi che la conversazione rimanga coerente e risponda alle esigenze del cliente. Raggiungere ciò secondo uno standard paragonabile all’interazione umana è un compito complesso ma essenziale per creare esperienze conversazionali naturali e piacevoli.

Una soluzione che funziona richiede ai progettisti di considerare domande come queste:

• Quanto tempo dopo che il cliente ha smesso di parlare l’agente dovrebbe aspettare prima di decidere che il cliente ha smesso di parlare?

• Ciò dipende dal fatto che il cliente abbia completato una frase completa?

• Cosa fare se il cliente interrompe l’agente?

• In particolare, l’agente dovrebbe supporre che ciò che stava dicendo non sia stato sentito dal cliente?

Queste questioni, che hanno principalmente a che fare con il timing, richiedono un’ingegneria accurata al di là di quella coinvolta nell’ottenere una risposta corretta da un LLM.

Conclusione

L’evoluzione dei sistemi vocali basati sull’intelligenza artificiale promette un cambiamento rivoluzionario nella dinamica del servizio clienti, sostituendo i vecchi sistemi telefonici con tecnologie LLM, ASR e TTS avanzate. Tuttavia, superare le sfide relative alle informazioni allucinate e al endpointing sarà fondamentale per fornire interazioni vocali naturali ed efficienti.

L’automatizzazione del servizio clienti ha il potere di diventare un vero e proprio cambiamento di gioco per le aziende, ma solo se fatto correttamente. Nel 2024, in particolare con tutte queste nuove tecnologie, possiamo finalmente costruire sistemi che possano sembrare naturali e fluidi e comprendere noi in modo robusto. L’effetto netto ridurrà i tempi di attesa e migliorerà l’esperienza attuale che abbiamo con i bot vocali, segnando un’era trasformativa nel coinvolgimento e nella qualità del servizio clienti.