Ryan McDonald, Cientista Chefe da ASAPP – Série de Entrevistas

Ryan McDonald é o Cientista Chefe da ASAPP. Ele é responsável por definir a direção dos grupos de pesquisa e ciência de dados para alcançar a visão da ASAPP de aumentar a atividade humana de forma positiva por meio do avanço da IA. O grupo está atualmente focado em avançar no campo do diálogo orientado para tarefas em situações do mundo real, como o atendimento ao cliente. Nesses ambientes dinâmicos, há muitas partes interagindo: a conversa entre o cliente e o agente; o ambiente e as ferramentas que o agente está usando; diferentes medidas de sucesso; uma ampla gama de necessidades e situações dos clientes. Otimizar esse ambiente para levar a resultados de qualidade para os clientes, agentes e empresas requer um investimento significativo em pesquisa em recuperação, geração de linguagem, otimização constrangida, aprendizado e, criticamente, avaliação.

Ryan tem trabalhado em compreensão de linguagem e aprendizado de máquina por mais de 20 anos. Seu trabalho de doutorado na Universidade da Pensilvânia se concentrou em novos métodos de aprendizado de máquina para previsão estruturada em PLN, mais notadamente extração de informações e análise sintática. Em Penn, sua pesquisa foi instrumental no crescimento dos campos de análise de dependência e adaptação de domínio na comunidade de PLN. Após seu doutorado, Ryan se juntou ao grupo de Pesquisa do Google (GOOGL ). Lá, ele pesquisou análise de sentimento e modelos de resumo para avaliações de consumidores, o que resultou em um dos primeiros sistemas de resumo de consumidor em grande escala consumido por milhões de usuários todos os dias.

A pesquisa de Ryan então se voltou para a compreensão de linguagem massivamente multilíngue. Inicialmente, sua pesquisa se concentrou em melhorar a tradução automática, mas a importância crescente da multilinguidade na recuperação de informações e assistentes digitais levou sua pesquisa para a internacionalização dessas tecnologias importantes. A equipe de Ryan foi instrumental no desenvolvimento do Google Assistant como uma tecnologia global. Durante esse tempo, ele também liderou o consórcio de Dependências Universais com um grande conjunto de colaboradores acadêmicos. Isso é, de longe, o maior consórcio de dados multilíngues destinado a recursos linguísticos sintáticos. Após mais de uma década trabalhando em produtos de consumo, Ryan mudou de direção para a empresa e liderou numerosos projetos de PLN e ML para melhorar os serviços de nuvem do Google, incluindo a API de PLN core, soluções para Call Center AI e descoberta de conhecimento da literatura científica. A pesquisa de Ryan sobre PLN e ML de empresa continua na ASAPP.

Ryan publicou mais de 100 artigos de pesquisa em jornais e conferências de alto nível que foram citados milhares de vezes. Ele ganhou prêmios de melhor artigo em conferências internacionais de premier (EMNLP, NAACL) por seu trabalho em análise sintática multilíngue. Seu livro “Análise de Dependência” serviu como um dos principais recursos pedagógicos em análise sintática por mais de uma década. Além de servir como presidente de área em quase todas as conferências de PLN e ML de nível 1, ele foi editor dos dois principais jornais do campo – Transactions of the Association for Computational Linguistics e Computational Linguistics. Ele aconselhou numerosos estudantes de doutorado e internos e deu palestras convidadas em conferências, workshops e universidades de premier em todo o mundo.

O que inicialmente o interessou em aprendizado de máquina e, mais especificamente, em processamento de linguagem natural?

Eu era um estudante de graduação com uma dupla especialização em ciência da computação e filosofia. Eu estava particularmente interessado na filosofia da IA, bem como nos aspectos mais práticos de como a IA funcionava. Eu tive a sorte de garantir um projeto de pesquisa com Gerald Penn na Universidade de Toronto, que se concentrou em resumir notícias para telefones celulares. Isso foi há mais de 20 anos e usou métodos muito primitivos pelos padrões de hoje. Gerald foi um grande mentor e me interessou nos modelos formais para a estrutura da linguagem (sintaxe e semântica). Eu fiquei fascinado pela complexidade da linguagem e os quadros matemáticos para explicar os fenômenos que os humanos analisam naturalmente todos os dias. Naquela época, os mecanismos de busca eram ubíquos, e eu podia ver o grande potencial para PLN e ML no futuro.

Você publicou mais de 100 artigos de pesquisa em jornais e conferências de alto nível que foram citados milhares de vezes. Em sua opinião, qual deles foi o mais influente?

Essa é sempre uma pergunta difícil de responder. E com o passar do tempo, acho que minha resposta muda. Se você me perguntasse alguns anos atrás, seria o trabalho que fiz sobre algoritmos de grafos para análise de dependência. Esse artigo, junto com o trabalho de Joakim Nivre, deu origem a mais de uma década de pesquisa rápida sobre análise de dependência sintática, o que teve um grande impacto na adoção de PLN em empresas de tecnologia, incluindo uma grande quantidade de trabalho que colegas e eu fizemos no Google para Pesquisa, Tradução, Assistente, etc.

No entanto, com a adoção rápida de redes neurais, o uso de representações sintáticas discretas da linguagem recuou. Eu agora diria que é o trabalho seminal que fiz com John Blitzer e Fernando Pereira sobre adaptação de domínio. Os métodos que usamos nesse artigo não são super relevantes hoje, no entanto, acho que esse artigo (junto com o trabalho contemporâneo de Hal Daume) solidificou a estruturação do problema e sua importância para o campo. Agora que eu trabalho exclusivamente em empresas, estou muito ciente dos problemas que levantamos naquela época e que ainda temos muito mais a resolver.

Você passou a maior parte de sua carreira no Google ajudando a construir tecnologias de PLN e ML de ponta e impulsionando-as para a produção. Quais foram algumas de suas principais conclusões dessa experiência?

Minha principal conclusão seria que, ao construir modelos de PLN e ML, você nunca pode prever quando as coisas darão errado. É necessário ser obcecado com os dados, análise de erros, métricas, etc. em todos os pontos do processo. Tentar adivinhar os pontos de dor é frequentemente inútil e geralmente é mais eficiente construir modelos de ponta a ponta o mais rápido possível e adaptar.

Como pesquisadores de PLN/ML, nos concentramos em onde o modelo pode quebrar e quais suposições de modelagem não se sustentarão quando a borracha atinge a estrada. Mas, frequentemente, é o processamento de dados ou a UX que é a chave para fazer produtos de PLN/ML bem-sucedidos. Somente quando esses são sólidos é que podemos realmente iterar sobre a qualidade para extrair todo o valor dos modelos.

No início de 2021, você se juntou à ASAPP como cientista chefe, uma empresa que oferece ferramentas de IA para empoderar os agentes de atendimento ao cliente. O que o atraiu para essa posição?

Para uma resposta mais completa, leia meu post de blog sobre esse tópico. Mas para sintetizar, os principais motivos são:

• Os problemas são difíceis. Os agentes que estão engajados em interações de atendimento ao cliente difíceis precisam trazer muita informação e experiência para resolver os problemas dos clientes. Construir modelos que adicionem valor sobre uma grande quantidade de conhecimento de domínio é difícil, especialmente quando os sinais são fracos. Por exemplo, a pontuação de satisfação do cliente foi baixa porque o agente fez algo errado ou porque o cliente estava apenas geralmente chateado?
• As empresas e os agentes que trabalham nesse espaço estão super animados com a IA que os ajudará a melhorar a experiência do cliente. Eles não lutam contra os avanços, mas os veem como ferramentas críticas para resolver problemas reais que eles têm. Ter esse tipo de parceiro engajado é incrível.
• Finalmente, ao contrário das tecnologias de consumo, o conjunto de domínios e problemas em um ambiente de empresa é tão heterogêneo que a adaptação (veja minha resposta à pergunta 2) é o problema que precisa ser resolvido. Não podemos simplesmente construir serviços para uma empresa ou uma indústria, mas para todas elas. Isso é um grande teste de estresse para o estado atual da IA.
• A ASAPP está singularmente focada nesse problema.

Poderia discutir a visão da ASAPP de aumentar a atividade humana de forma positiva por meio do avanço da IA?

Nossa hipótese central na ASAPP é que a IA não deve substituir os humanos, mas aumentá-los de forma positiva e produtiva. Essa visão é ampla e temos ambições de aplicá-la a todas as atividades humanas relevantes. No entanto, como essa é uma diretiva ampla, a primeira área que escolhemos focar é o domínio da experiência do cliente.

O domínio da experiência do cliente encarna todos os desafios e recompensas que vêm com o aumento da atividade humana. Os agentes estão engajados em tarefas de resolução de problemas complicados que exigem que eles sigam fluxos de trabalho, recuperem informações relevantes de bases de conhecimento de clientes e se adaptem a situações nuanciadas que um cliente pode encontrar. Isso dá origem a um enorme número de oportunidades para a IA melhorar esse processo. No entanto, achamos que é importante fazer isso de forma positiva, ou seja:

• O aumento acontece em pontos que são naturais e fluidos durante o curso do trabalho do agente. Isso é crítico. Se a IA estiver interferindo ou interrompendo em momentos inadequados ou com latência ruim, isso terá um efeito negativo na experiência do agente, pois eles precisarão conscientemente ignorar a IA.
• Mais criticamente, queremos que a IA alcance resultados positivos para todos os humanos envolvidos. Nesse caso, é o cliente, o agente e a organização. Os clientes querem que seus problemas sejam resolvidos de forma eficiente e eficaz. Os agentes querem fazer isso para os clientes. Além disso, os agentes estão fazendo um trabalho difícil, muitas vezes lidando com clientes insatisfeitos. A IA deve ajudá-los a equilibrar o trabalho e a carga cognitiva para diminuir a fadiga e o estresse e aumentar a satisfação no trabalho. Afinal, os agentes nos call centers têm uma das taxas de rotatividade mais altas (até 100% anual em alguns call centers) de qualquer trabalho na América. Finalmente, queremos resultados de negócios positivos para a empresa que opera o call center. Isso pode ser a satisfação do cliente, o volume de problemas que podem ser resolvidos em um dia ou até o volume de vendas.

Para os call centers, muitas vezes pensamos que os resultados positivos entre o cliente, o agente e a empresa estão em conflito. Mas uma boa IA ajudará a otimizar os três.

Poderia discutir a anatomia atual da IA em um call center?

Hoje, quase todos os estágios do seu contato com um call center têm alguma forma de IA impulsionando ou informando como o problema é abordado.

O primeiro passo é uma resposta de voz interativa (IVR) ou um chatbot. Isso é totalmente automático e seu objetivo principal é entender por que o cliente está ligando e roteá-lo adequadamente. Potencialmente, esses sistemas tentarão coletar o máximo de informações possível antes de enviar o cliente para um agente para maximizar a chance de que o agente possa resolver o problema rapidamente. Muitos bots modernos também podem resolver diretamente o problema do usuário sem precisar de um agente – chamado de “contenção” desde que a ligação nunca precise de intervenção humana. Isso pode ser alcançado recomendando FAQs ou simplesmente executando alguma tarefa simples para o cliente.

Depois disso, a ligação vai para o agente. Uma vez no agente, o papel principal da IA é guiar e fazer sugestões para o agente. O que eles devem dizer em seguida? Qual fluxo devem seguir? Quais artigos da base de conhecimento ajudarão a resolver o problema? Esses modelos são geralmente treinados em dados históricos e otimizados para algum indicador de desempenho-chave, que pode ser o tempo de manipulação (quão rapidamente o problema foi resolvido) ou a pontuação de satisfação do cliente (o cliente ficou satisfeito com a experiência).

Uma vez que a ligação ou chat está sobre, a IA ainda está em ação. Na maioria dos call centers, o agente deixará informações estruturadas e anotações sobre o que aconteceu durante a ligação. Isso é para fins de análise, mas também para qualquer agente subsequente que pegue o problema se ele não tiver sido resolvido. A IA ajuda com todas essas etapas.

Finalmente, em um call center, há supervisores que estão lá para ajudar os agentes e crescer suas habilidades. A IA pode ser crítica aqui. Em um call center com centenas de agentes lidando com milhares de ligações por dia, como os supervisores podem identificar os problemas que precisam de sua intervenção? Como eles podem entender o que aconteceu durante o dia? Como eles podem encontrar áreas de melhoria para os agentes para crescer suas habilidades?

Como a ASAPP ajuda a reduzir a rotatividade de funcionários em call centers?

Grandes empresas que oferecem bens e serviços de consumo gastam milhões, e às vezes bilhões de dólares por ano em call centers que atendem seus clientes, com o custo de mão de obra representando 80-90% dos custos totais. É um grande problema que impulsiona a rotatividade de agentes para 40% – e às vezes 100% ou mais – todos os anos.

Existe um estereótipo de que os agentes são indiferentes aos seus problemas e estão apenas passando pelo motions. Na pior das hipóteses, eles até podem estar obstruindo sua capacidade de resolver um problema. Nada pode estar mais longe da verdade. Os agentes, como todas as pessoas, derivam satisfação de ajudar os clientes a resolver seus problemas. Como você gostaria de passar seu dia, ouvindo “obrigados” robustos ou clientes que gritam? Em um estudo recente que realizamos, descobrimos que 90% dos agentes relataram que as ligações com os clientes fizeram seu dia, e a maioria disse que está satisfeita com seu trabalho. Mas os agentes querem as ferramentas e o treinamento necessários para fazer os clientes felizes. Os clientes infelizes levam a agentes frustrados, cansados e estressados. Isso é o principal motor da rotatividade.

A IA para aumentar os agentes durante uma ligação (como descrito anteriormente) já ajuda. Se o agente tiver as ferramentas e a orientação sobre como resolver efetivamente e rapidamente o problema do cliente, então as chances de que o cliente esteja satisfeito só podem ser maiores, o que, por sua vez, deve levar a uma maior satisfação no trabalho.

No entanto, a ASAPP não começa lá. Enquanto a orientação dinâmica em tempo real é crítica, o treinamento, o coaching e o feedback mais estruturados também são importantes. Muitos agentes treinam em novos problemas ou procedimentos “ao vivo”. Isso significa que eles recebem uma descrição do procedimento, mas só o veem na prática quando atendem uma ligação com um cliente real. Imagine que demos ao piloto o manual do avião e então dissemos para ele voar 300 passageiros para Denver? Por causa disso, estamos nos concentrando em usar a IA para ajudar a construir ferramentas para os agentes praticarem procedimentos e lidarem com situações difíceis antes de lidarem com clientes reais. Quando isso é combinado com feedback direcionado (ou por um supervisor ou automaticamente), isso permitirá que o agente cresça suas habilidades em um ambiente menos estressante.

Melhor IA para melhorar a satisfação do cliente em situações dinâmicas, bem como IA para treinamento fundamentado – é assim que a ASAPP se concentra no agente com o objetivo final de reduzir a rotatividade.

Quais são alguns exemplos dos tipos de resultados que podem ser alcançados incorporando a IA em um call center?

Como compartilhado acima, a IA pode ser uma tecnologia transformadora para aumentar a produtividade. Para uma companhia aérea dos EUA com a qual trabalhamos, vimos a produtividade do agente aumentar 86% e um aumento da produtividade organizacional (número total de interações em todos os canais de atendimento ao cliente dividido pelo trabalho necessário para atender a essas necessidades) de 127%. Para um operador de rede global que usa os serviços da ASAPP, as pontuações de promotor de rede aumentaram 45%. Para uma das principais empresas de cabo que usa os serviços da ASAPP, o custo por interação diminuiu 52%. Esses exemplos mostram como a IA pode aumentar a produtividade, melhorar a qualidade do atendimento ao cliente e diminuir os custos de negócios.

Qual é sua visão pessoal para o futuro da IA no local de trabalho?

A IA já é bastante prevalecente no local de trabalho. À medida que escrevo isso, os verificadores ortográficos e gramaticais, bem como a previsão de texto, estão me ajudando. Tenho filtros de spam e classificadores de mensagens em meus e-mails/ferramentas de mensagens. Uso a busca alimentada por IA para encontrar as informações relevantes que preciso para executar. Isso crescerá, bem como minha adoção, à medida que o número de recursos alimentados por IA e sua qualidade aumentar.

No entanto, eu chamaria esse tipo de aumento de IA de “atômico”. Ele certamente está me ajudando, mas em momentos precisos que permitem previsões de alta precisão. Eu certamente não posso pedir a uma IA que responda a essas perguntas, por exemplo – ainda 🙂

Mais seriamente, minha visão é ver a adoção de IA de ponta a ponta em todo o espaço de trabalho. Não quero dizer de ponta a ponta no sentido de modelagem de aprendizado de máquina. O que quero dizer é que a IA alimentará holisticamente tarefas grandes e complexas que estão sendo otimizadas para o objetivo geral e não apenas pontos atômicos durante o processo. A ASAPP já está trazendo isso para os call centers. Por exemplo, otimizamos o que o agente dirá em seguida com base em um conjunto holístico de fatores sobre onde o agente está na conversa e qual é o objetivo final. Mas além disso, imagine um cientista tentando escrever uma revisão sistemática de um tópico importante, um engenheiro de software construindo uma plataforma ou integrando sistemas complexos, um advogado escrevendo um breve legal, etc. No futuro, cada um desses profissionais confiará na IA para aumentar rapidamente sua eficácia nesses tarefas e otimizar os resultados desejados, liberando-os para desafios mais críticos.

Há algo mais que você gostaria de compartilhar sobre a ASAPP?

Nossa equipe de pesquisa na ASAPP tem um foco claro: estamos avançando na IA para aumentar a atividade humana para resolver problemas do mundo real para as empresas. Os pesquisadores da ASAPP trabalham para avançar fundamentalmente a ciência da PLN e ML em direção ao nosso objetivo de implantar soluções de IA específicas de domínio no mundo real e aplicar esses avanços aos nossos produtos. Eles aproveitam as grandes quantidades de dados gerados pelos nossos produtos e nossa capacidade de implantar recursos de IA em uso do mundo real para fazer e abordar perguntas de pesquisa fundamentais de novas maneiras.

Descubra nossos artigos recentes em https://www.asapp.com/ai-research/.

Obrigado pelas respostas detalhadas, leitores que desejam aprender mais devem visitar ASAPP.