Agora, mais do que nunca, é o momento para sistemas de voz baseados em IA. Considere uma ligação para o atendimento ao cliente. Em breve, toda a rigidez e inflexibilidade serão eliminadas – as vozes robóticas rígidas, os menus de opções restritivas do tipo “pressione um para vendas”, as experiências irritantes que nos fizeram pressionar freneticamente o zero na esperança de falar com um agente humano. (Ou, dado os longos tempos de espera que podem ser necessários para ser transferido para um agente humano, desistir da ligação completamente.)

Não mais. Avanços não apenas em modelos de linguagem grandes baseados em transformadores (LLMs), mas também em reconhecimento automático de fala (ASR) e sistemas de texto-para-fala (TTS) significam que os “próximos” agentes de voz baseados em IA estão aqui – se você souber como construí-los.

Hoje, vamos dar uma olhada nos desafios que confrontam qualquer um que deseje construir um agente de voz conversacional de última geração.

Por que voz?

Antes de mergulhar, vamos dar uma olhada rápida nas atrações gerais e relevância dos agentes de voz baseados em IA (em oposição a interações baseadas em texto). Há muitos motivos pelos quais uma interação de voz pode ser mais apropriada do que uma interação baseada em texto – esses podem incluir, em ordem crescente de gravidade:

• Preferência ou hábito – falar precede o desenvolvimento da escrita historicamente

• Entrada de texto lenta – muitas pessoas podem falar mais rápido do que podem digitar

• Situções sem mãos – como dirigir, fazer exercícios ou lavar louça

• Analfabetismo – pelo menos na(s) língua(s) que o agente entende

• Deficiências – como cegueira ou falta de controle motor não vocal

Em uma era aparentemente dominada por transações mediadas por sites, a voz permanece um canal poderoso para o comércio. Por exemplo, um estudo recente da JD Power sobre satisfação do cliente na indústria hoteleira encontrou que os hóspedes que reservaram seu quarto por telefone estavam mais satisfeitos com sua estadia do que aqueles que reservaram por meio de uma agência de viagens online (OTA) ou diretamente pelo site do hotel.

Mas respostas interativas de voz, ou IVRs, não são suficientes. Um estudo de 2023 da Zippia encontrou que 88% dos clientes preferem ligações de voz com um agente ao vivo em vez de navegar em um menu de telefone automatizado. O estudo também encontrou que as principais coisas que irritam as pessoas mais sobre menus de telefone incluem ouvir opções irrelevantes (69%), incapacidade de descrever completamente o problema (67%), serviço ineficiente (33%) e opções confusas (15%).

E há uma abertura para usar assistentes de voz. De acordo com um estudo da Accenture, cerca de 47% dos consumidores já estão confortáveis usando assistentes de voz para interagir com empresas e cerca de 31% dos consumidores já usaram um assistente de voz para interagir com uma empresa.

Independentemente do motivo, para muitas pessoas, há uma preferência e demanda por interação falada – desde que seja natural e confortável.

O que torna um bom agente de voz baseado em IA?

Roughly speaking, um bom agente de voz baseado em IA deve responder ao usuário de uma maneira que seja:

• Relevante: Baseado em uma compreensão correta do que o usuário disse/quis. Note que, em alguns casos, a resposta do agente não será apenas uma resposta falada, mas alguma forma de ação por meio da integração com um backend (por exemplo, realmente reservar um quarto de hotel quando o chamador diz “Vá em frente e reserve”).

• Preciso: Baseado nos fatos (por exemplo, apenas diga que há um quarto disponível no hotel em 19 de janeiro se houver)

• Claro: A resposta deve ser compreensível

• Oportuno: Com a latência que se espera de um humano

• Seguro: Sem linguagem ofensiva ou inapropriada, revelação de informações protegidas, etc.

O problema

Os sistemas automatizados de voz baseados em IA atuais tentam atender aos critérios acima às custas de a) serem muito limitados e b) muito frustrantes de usar. Parte disso é resultado das altas expectativas que um contexto conversacional de voz estabelece, com essas expectativas apenas aumentando mais à medida que a qualidade de voz nos sistemas de TTS se torna indistinguível de vozes humanas. Mas essas expectativas são desfeitas nos sistemas que são amplamente implantados no momento. Por quê?

Em uma palavra – inflexibilidade:

• Fala limitada – o usuário é tipicamente forçado a dizer coisas de forma não natural: em frases curtas, em uma ordem específica, sem informações espúrias, etc. Isso oferece pouca ou nenhuma melhoria em relação ao antigo sistema de menu baseado em números

• Noção estreita e não inclusiva de “fala aceitável” – baixa tolerância a gírias, uhms e ahs, etc.

• Sem volta – se algo der errado, pode haver pouca chance de “reparar” ou corrigir a informação problemática, mas em vez disso ter que começar novamente ou esperar por uma transferência para um agente humano.

• Turnos rígidos – nenhuma capacidade de interromper ou falar com um agente

Vai sem dizer que as pessoas acham essas restrições irritantes ou frustrantes.

A solução:

A boa notícia é que os sistemas de IA modernos são poderosos e rápidos o suficiente para melhorar significativamente as experiências acima. Isso é devido a uma variedade de fatores:

• Hardware mais rápido e mais poderoso

• Melhorias no ASR (maior precisão, superando ruído, sotaques, etc.)

• Melhorias no TTS (vozes naturais ou até mesmo clonadas)

• A chegada de LLMs gerativas (conversas naturais)

Esse último ponto é um divisor de águas. A ideia-chave foi que um bom modelo preditivo pode servir como um bom modelo gerativo. Um agente artificial pode se aproximar do desempenho conversacional humano se disser o que um LLM suficientemente bom prevê ser a coisa mais provável que um bom agente de atendimento ao cliente humano diria no contexto conversacional dado.

Cue a chegada de dezenas de startups de IA que esperam resolver o problema do agente conversacional de voz baseado em IA simplesmente selecionando e conectando módulos de ASR e TTS prontos para uso a um núcleo de LLM. Nessa visão, a solução é apenas uma questão de selecionar uma combinação que minimize a latência e o custo. E, claro, isso é importante. Mas é suficiente?

Não tão rápido

Há várias razões específicas pelas quais essa abordagem simples não funcionará, mas elas derivam de dois pontos gerais:

1. Os LLMs, por si só, não podem fornecer boas conversas de texto baseadas em fatos do tipo necessário para aplicações empresariais como atendimento ao cliente. Portanto, eles não podem, por si só, fazer isso para conversas de voz baseadas em IA.

2. Mesmo se você suplementar os LLMs com o que é necessário para fazer um bom agente conversacional de texto, transformar isso em um bom agente conversacional de voz baseado em IA requer mais do que apenas conectar ao melhor módulo de ASR e TTS que você possa pagar.

Vamos dar uma olhada em um exemplo específico de cada um desses desafios.

Desafio 1: Mantendo a realidade

Como é amplamente conhecido, os LLMs às vezes produzem informações imprecisas ou “alucinadas”. Isso é desastroso no contexto de muitas aplicações comerciais, mesmo que possa ser bom para uma aplicação de entretenimento onde a precisão pode não ser o ponto.

Que os LLMs às vezes alucinem é apenas o que se espera, em retrospecto. É uma consequência direta de usar modelos treinados em dados de um ano (ou mais) para gerar respostas a perguntas sobre fatos que não fazem parte, ou são inferidos por, um conjunto de dados (por mais grande que seja) que pode ser um ano ou mais antigo. Quando o chamador pergunta “Qual é o meu número de associação?”, um LLM pré-treinado simples só pode gerar uma resposta que soe plausível, não precisa ser precisa.

As maneiras mais comuns de lidar com esse problema são:

• Ajuste fino: Treine o LLM pré-treinado ainda mais, desta vez em todos os dados específicos do domínio que você deseja que ele possa responder corretamente.

• Engenharia de prompt: Adicione os dados/instruções extras como entrada ao LLM, além do histórico conversacional

• Geração aumentada de recuperação (RAG): Como a engenharia de prompt, exceto que os dados adicionados ao prompt são determinados em tempo real, combinando o contexto conversacional atual (por exemplo, o cliente perguntou “O hotel tem piscina?”) com um índice de codificação de embedding de seus dados específicos do domínio (que inclui, por exemplo, um arquivo que diz: “Aqui estão as instalações disponíveis no hotel: piscina, sauna, estação de carregamento de veículos elétricos”).

• Controle baseado em regras: Como o RAG, mas o que é adicionado (ou subtraído) do prompt é determinado por regras codificadas em duro (e codificadas à mão) e não por uma memória neural.

Observe que um tamanho não se encaixa em todos. Qual desses métodos será apropriado dependerá, por exemplo, dos dados específicos do domínio que estão informando a resposta do agente. Em particular, dependerá de se os dados mudam com frequência (de ligação para ligação, digamos – por exemplo, nome do cliente) ou quase nunca (por exemplo, a saudação inicial: “Olá, obrigado por ligar para o Hotel Budapeste. Como posso ajudá-lo hoje?”). O ajuste fino não seria apropriado para o primeiro, e o RAG seria uma solução desajeitada para o último. Portanto, qualquer sistema de trabalho terá que usar uma variedade desses métodos.

O que é mais, integrar esses métodos com o LLM e entre si de uma maneira que minimize a latência e o custo requer engenharia cuidadosa. Por exemplo, o desempenho do RAG do seu modelo pode melhorar se você ajustar o modelo para facilitar esse método.

Pode não ser surpreendente que cada um desses métodos, por sua vez, introduza seus próprios desafios. Por exemplo, pegue o ajuste fino. Ajustar o LLM pré-treinado em seus dados específicos do domínio melhorará seu desempenho nesses dados, sim. Mas ajustar o modelo modifica os parâmetros (pesos) que são a base do desempenho geral (presumivelmente bastante bom) do modelo pré-treinado. Essa modificação, portanto, causa um “esquecimento” (ou “esquecimento catastrófico”) de alguns dos conhecimentos anteriores do modelo. Isso pode resultar no modelo dando respostas incorretas ou inapropriadas (até mesmo perigosas). Se você quiser que seu agente continue a responder com precisão e segurança, você precisará de um método de ajuste fino que mitigue o esquecimento catastrófico.

Desafio 2: Endpointing

Determinar quando um cliente terminou de falar é crítico para o fluxo de conversa natural. Da mesma forma, o sistema deve lidar com interrupções de forma elegante, garantindo que a conversa permaneça coerente e responsiva às necessidades do cliente. Alcançar isso para um padrão comparável à interação humana é uma tarefa complexa, mas é essencial para criar experiências conversacionais naturais e agradáveis.

Uma solução que funciona exige que os designers considerem questões como:

• Quanto tempo após o cliente parar de falar o agente deve esperar antes de decidir que o cliente parou de falar?

• Isso depende de o cliente ter completado uma frase completa?

• O que deve ser feito se o cliente interromper o agente?

• Em particular, o agente deve supor que o que estava dizendo não foi ouvido pelo cliente?

Essas questões, tendo principalmente a ver com tempo, exigem engenharia cuidadosa além daquela envolvida em obter um LLM para dar uma resposta correta.

Conclusão

A evolução dos sistemas de voz baseados em IA promete uma mudança revolucionária na dinâmica do atendimento ao cliente, substituindo sistemas de telefone antiquados por LLMs, ASR e TTS avançados. No entanto, superar os desafios de informações alucinadas e endpointing será fundamental para fornecer interações de voz naturais e eficientes.

A automação do atendimento ao cliente tem o poder de se tornar um verdadeiro divisor de águas para as empresas, mas apenas se for feita corretamente. Em 2024, particularmente com todas essas novas tecnologias, finalmente podemos construir sistemas que possam se sentir naturais e fluentes e entender robustamente. O efeito líquido reduzirá os tempos de espera e melhorará a experiência atual que temos com bots de voz, marcando uma era transformadora no engajamento e qualidade do serviço ao cliente.