Ryan McDonald, Científico Jefe en ASAPP – Serie de Entrevistas

Ryan McDonald es el Científico Jefe en ASAPP. Es responsable de establecer la dirección de los grupos de investigación y ciencia de datos para lograr la visión de ASAPP de aumentar la actividad humana de manera positiva a través del avance de la IA. El grupo se enfoca actualmente en avanzar en el campo del diálogo orientado a tareas en situaciones del mundo real, como el cuidado al cliente. En estos entornos dinámicos, hay muchas partes interactuantes: la conversación entre el cliente y el agente; el entorno y las herramientas que el agente está utilizando; diferentes medidas de éxito; una amplia gama de necesidades y situaciones de los clientes. Optimizar este entorno para llevar a resultados de calidad para los clientes, los agentes y las empresas requiere una importante inversión en investigación en recuperación, generación de lenguaje, optimización restringida, aprendizaje y, críticamente, evaluación.

Ryan ha estado trabajando en comprensión del lenguaje y aprendizaje automático durante más de 20 años. Su trabajo de doctorado en la Universidad de Pensilvania se centró en nuevos métodos de aprendizaje automático para predicción estructurada en PLN, más notablemente la extracción de información y el análisis sintáctico. En Penn, su investigación fue instrumental para crecer en los campos de análisis de dependencia y adaptación de dominio en la comunidad de PLN. Después de su doctorado, Ryan se unió al grupo de Investigación de Google (GOOGL ). Allí investigó el análisis de sentimiento y los modelos de resumen para reseñas de consumidores, lo que resultó en uno de los primeros sistemas de resumen de consumidores a gran escala consumidos por millones de usuarios todos los días.

La investigación de Ryan luego se centró en la comprensión del lenguaje masivamente multilingüe. Al principio, su investigación se centró en mejorar la traducción automática, pero la creciente importancia de la multilingüidad en la recuperación de información y los asistentes digitales llevó su investigación hacia la internacionalización de estas tecnologías importantes. El equipo de Ryan fue instrumental en el desarrollo del Asistente de Google como una tecnología global. Durante este tiempo, también encabezó el consorcio de Dependencias Universales con un gran conjunto de colaboradores académicos. Esto es, con mucho, el consorcio de datos multilingüe más grande destinado a recursos lingüísticos sintácticos. Después de más de una década trabajando en productos de consumo, Ryan cambió de dirección hacia la empresa y lideró numerosos proyectos de PLN y ML para mejorar los servicios en la nube de Google, incluyendo la API de PLN central, soluciones para Call Center AI y descubrimiento de conocimiento de la literatura científica. La investigación de Ryan sobre PLN y ML de empresa continúa en ASAPP.

Ryan ha publicado más de 100 artículos de investigación en revistas y conferencias de primer nivel que han sido citados miles de veces. Ha ganado premios de mejor artículo en conferencias internacionales de primer nivel (EMNLP, NAACL) por su trabajo en análisis sintáctico multilingüe. Su libro “Análisis de Dependencia” ha servido como uno de los principales recursos pedagógicos en análisis sintáctico durante más de una década. Además de servir como presidente de área en casi todas las conferencias y talleres de PLN y ML de primer nivel, ha sido editor de las dos principales revistas del campo: Transactions of the Association for Computational Linguistics y Computational Linguistics. Ha asesorado a numerosos estudiantes de doctorado e internos y ha dado charlas invitadas en conferencias, talleres y universidades de primer nivel en todo el mundo.

¿Qué te interesó inicialmente en el aprendizaje automático y, más específicamente, en el procesamiento del lenguaje natural?

Era un estudiante de pregrado con una doble especialización en ciencias de la computación y filosofía. Estaba particularmente interesado en la filosofía de la IA, así como en los aspectos más prácticos de cómo funcionaba la IA. Tuve la suerte de obtener un proyecto de investigación con Gerald Penn en la Universidad de Toronto, que se centró en resumir noticias para teléfonos móviles. Esto fue hace más de 20 años y utilizó métodos muy primitivos según los estándares de hoy. Gerald fue un gran mentor y me interesó en los modelos formales para la estructura del lenguaje (sintaxis y semántica). Me fascinaba la complejidad del lenguaje y los marcos matemáticos para explicar los fenómenos que los humanos analizan naturalmente todos los días. En ese momento, los motores de búsqueda eran ubicuos, y podía ver el gran potencial para el PLN y el ML en el futuro.

Has publicado más de 100 artículos de investigación en revistas y conferencias de primer nivel que han sido citados miles de veces. En tu opinión, ¿cuál de estos fue el artículo de investigación más influyente?

Esta es siempre una pregunta difícil de responder. Y con el tiempo, creo que mi respuesta cambia. Si me hubieras preguntado hace unos años, sería el trabajo que hice sobre el uso de algoritmos de grafos para análisis de dependencia. Este artículo, junto con el trabajo de Joakim Nivre, generó más de una década de investigación rápida sobre análisis de dependencia sintáctica, lo que tuvo un gran impacto en la adopción de PLN en empresas de tecnología, incluyendo una gran cantidad de trabajo que colegas y yo hicimos en Google para Search, Translate, Assistant, etc.

Sin embargo, con la adopción rápida de redes neuronales, el uso de representaciones sintácticas discretas del lenguaje ha disminuido. Ahora diría que es un trabajo seminal que hice con John Blitzer y Fernando Pereira sobre adaptación de dominio. Los métodos que usamos en ese artículo no son super relevantes hoy en día, sin embargo, creo que ese artículo (junto con el trabajo contemporáneo de Hal Daume) consolidó la formulación del problema y su importancia para el campo. Ahora que trabajo exclusivamente en la empresa, soy muy consciente de los problemas que planteamos en ese momento y que todavía tenemos mucho más que resolver.

Pasaste la mayor parte de tu carrera en Google ayudando a construir tecnologías de PLN y ML de última generación y llevándolas a producción. ¿Cuáles fueron algunos de tus principales conocimientos obtenidos de esta experiencia?

Mi principal conocimiento sería que, al construir modelos de PLN y ML, nunca se puede predecir cuándo las cosas saldrán mal. Es necesario estar obsesionado con los datos, el análisis de errores, las métricas, etc. en todos los puntos del proceso. Intentar adivinar los puntos de dolor es a menudo inútil y es más eficiente construir modelos de extremo a extremo lo más rápido posible y adaptar.

Como investigadores de PLN/ML, nos enfocamos en dónde puede fallar el modelo y qué suposiciones de modelado no se sostendrán cuando la goma toca el camino. Pero a menudo es el procesamiento de datos o la experiencia del usuario lo que es clave para hacer productos de PLN/ML exitosos. Solo cuando estos son sólidos podemos realmente iterar sobre la calidad para exprimir todo el valor de los modelos.

En principios de 2021, te uniste a ASAPP como científico jefe, una empresa que ofrece herramientas de IA para empoderar a los agentes de servicio al cliente. ¿Qué te atrajo a este puesto?

Para una respuesta más completa, lee mi publicación en el blog sobre este tema. Pero para sintetizar, las razones principales son:

• Los problemas son difíciles. Los agentes que se involucran en interacciones de servicio al cliente difíciles necesitan traer mucha información y experiencia a la conversación para resolver los problemas de los clientes. Construir modelos que agreguen valor sobre una gran cantidad de conocimiento de dominio es difícil, en particular cuando las señales son débiles. Por ejemplo, ¿la puntuación de satisfacción del cliente fue baja porque el agente hizo algo mal, o porque el cliente estaba simplemente molesto?
• Las empresas y los agentes que trabajan en este espacio están superentusiastas con la IA que les ayudará a mejorar la experiencia del cliente. No luchan contra los avances, sino que los ven como herramientas críticas para resolver problemas reales que tienen. Tener ese tipo de socio comprometido es increíble.
• Finalmente, a diferencia de las tecnologías de consumo, el conjunto de dominios y problemas en un entorno empresarial es tan heterogéneo que la adaptación (ver mi respuesta a la pregunta 2) es el problema que debe resolverse. No podemos simplemente construir servicios para una empresa o una industria, sino para todas ellas. Esto es una prueba de estrés tan grande para el estado actual de la IA.
• ASAPP se enfoca singularmente en este problema.

¿Podrías discutir la visión de ASAPP para aumentar la actividad humana de manera positiva a través del avance de la IA?

Nuestra hipótesis central en ASAPP es que la IA no debe reemplazar a los humanos, sino aumentarlos de manera positiva y productiva. Esta visión es amplia y tenemos ambiciones de aplicarla a toda actividad humana relevante. Sin embargo, como esta es una orden amplia, el primer área en la que hemos elegido centrarnos es el dominio de la experiencia del cliente.

El dominio de la experiencia del cliente encarna todos los desafíos y recompensas que conlleva aumentar la actividad humana. Los agentes se involucran en tareas de resolución de problemas complicadas que requieren que sigan flujos de trabajo, recuperen información relevante de las bases de conocimiento de los clientes y se adapten a situaciones matizadas en las que un cliente puede encontrarse. Esto da lugar a una gran cantidad de oportunidades para que la IA mejore ese proceso. Sin embargo, creemos que es importante hacerlo de una manera positiva, lo que significa:

• La mejora ocurre en puntos que son naturales y fluidos durante el curso del trabajo del agente. Esto es crítico. Si la IA está interfiriendo o interjectando en momentos incómodos o con poca latencia, esto en realidad tendrá un efecto negativo en la experiencia del agente, ya que tendrán que ignorar conscientemente la IA.
• Más críticamente, queremos que la IA logre resultados positivos para todos los humanos involucrados. En este caso, es el cliente, el agente y la organización. Los clientes quieren que sus problemas se resuelvan de manera eficiente y efectiva. Los agentes quieren hacer eso para los clientes. Además, los agentes están haciendo un trabajo difícil, a menudo lidiando con clientes insatisfechos. La IA debe ayudarlos a equilibrar el trabajo y la carga cognitiva para disminuir la fatiga y el agotamiento y aumentar la satisfacción laboral. Después de todo, los agentes en los centros de llamadas tienen una de las tasas de rotación más altas (hasta del 100% anual en algunos centros de llamadas) de cualquier trabajo en América. Finalmente, queremos resultados comerciales positivos para la empresa que opera el centro de llamadas. Esto puede ser la satisfacción del cliente, el rendimiento de los problemas que se pueden resolver en un día o incluso la cantidad de ventas.

Para los centros de llamadas, a menudo pensamos que los resultados positivos entre el cliente, el agente y la empresa están en conflicto entre sí. Pero la buena IA ayudará a optimizar los tres.

¿Podrías discutir la anatomía actual de la IA en un centro de llamadas?

Hoy en día, casi todos los pasos de su contacto con un centro de llamadas tienen alguna forma de IA que impulsa o informa cómo se aborda el problema.

El primer paso es una respuesta de voz interactiva (IVR) o un chatbot. Esto es completamente automático y su propósito principal es entender por qué un cliente está llamando y enrutarlo en consecuencia. Potencialmente, estos sistemas intentarán recopilar la mayor cantidad de información posible antes de enviar al cliente a un agente para maximizar la posibilidad de que el agente pueda resolver rápidamente el problema. Muchos bots modernos también pueden resolver directamente el problema del usuario sin necesidad de un agente, llamado “contención” ya que la llamada nunca necesita intervención humana. Esto se puede lograr recomendando preguntas frecuentes o simplemente ejecutando una tarea simple para el cliente.

Después de esto, la llamada va al agente. Una vez que llega al agente, el papel principal de la IA es guiar y hacer sugerencias al agente. ¿Qué deben decir a continuación? ¿Qué flujo deben seguir? ¿Qué artículos de la base de conocimiento ayudarán a resolver el problema? Estos modelos suelen estar entrenados en datos históricos y optimizados para algún indicador de rendimiento clave, que puede ser el tiempo de manejo (cuán rápido se resolvió el problema) o la puntuación de satisfacción del cliente (¿estuvo satisfecho el cliente con la experiencia?).

Una vez que la llamada o el chat ha terminado, la IA todavía está en funcionamiento. En la mayoría de los centros de llamadas, el agente dejará información estructurada y notas sobre lo que sucedió durante la llamada. Esto es para fines analíticos, pero también para cualquier agente que tome el problema si no se ha resuelto. La IA ayuda con todos estos pasos.

Finalmente, en un centro de llamadas, hay supervisores que están allí para ayudar a los agentes y crecer sus habilidades. La IA puede ser crítica aquí. En un centro de llamadas con cientos de agentes que manejan miles de llamadas al día, ¿cómo pueden los supervisores identificar los problemas que necesitan su intervención? ¿Cómo pueden entender lo que sucedió durante el día? ¿Cómo pueden encontrar áreas de mejora para los agentes para crecer sus habilidades? La IA puede ser crítica aquí.

¿Cómo ayuda ASAPP a reducir la rotación de empleados en los centros de llamadas?

Las grandes empresas que ofrecen bienes y servicios de consumo gastan millones, y a veces miles de millones de dólares cada año en centros de llamadas que atienden a sus clientes, con el costo laboral que representa el 80-90% de los costos totales. Es un gran problema que impulsa la rotación de agentes a ser del 40% – y a veces del 100% o más – cada año.

A menudo hay una caricatura de que los agentes son indiferentes a sus problemas y están pasando por los movimientos. En el peor de los casos, incluso obstaculizan la capacidad de resolver un problema. Nada puede estar más lejos de la verdad. Los agentes, como todas las personas, derivan satisfacción de ayudar a los clientes a resolver sus problemas. ¿Cómo preferirías pasar tu día, escuchando “gracias” robustos o clientes que gritan? En un estudio reciente que realizamos, encontramos que el 90% de los agentes informaron que las llamadas con los clientes hicieron que su día fuera, y la mayoría dijo que están satisfechos con sus trabajos. Pero los agentes quieren las herramientas y la capacitación necesarias para hacer que los clientes estén satisfechos. Los clientes insatisfechos llevan a agentes frustrados, agotados y estresados. Esto es el principal impulsor de la rotación.

La IA que aumenta a los agentes durante una llamada (como se describió anteriormente) ya ayuda. Si el agente tiene las herramientas y la orientación sobre cómo resolver eficazmente y rápidamente un problema para un cliente, entonces las posibilidades de que el cliente esté satisfecho solo pueden ser más altas, lo que a su vez debería conducir a una mayor satisfacción laboral.

Sin embargo, ASAPP no comienza allí. Mientras que la orientación dinámica en tiempo real es crítica, también es importante la capacitación, la tutoría y la retroalimentación más estructuradas. Muchos agentes se capacitan en nuevos problemas o procedimientos “en vivo”. Es decir, obtienen una descripción del procedimiento, pero solo lo ven en la práctica cuando toman una llamada con un cliente real. Imagina que les dimos a los pilotos el manual del avión y luego les dijimos que volaran 300 pasajeros a Denver. Debido a esto, nos estamos enfocando en usar la IA para ayudar a construir herramientas para que los agentes practiquen procedimientos y manejen situaciones difíciles antes de lidiar con clientes en vivo. Cuando esto se combina con retroalimentación dirigida (ya sea por un supervisor o automáticamente), esto permitirá que el agente crezca sus habilidades en un entorno menos estresante.

Una mejor IA para mejorar la satisfacción del cliente en situaciones dinámicas, así como la IA para la capacitación basada en la práctica: esa es la forma en que ASAPP se enfoca en el agente con el objetivo final de reducir la rotación.

¿Cuáles son algunos ejemplos de los resultados que se pueden lograr al incorporar la IA en un centro de llamadas?

Como se compartió anteriormente, la IA puede ser una tecnología transformadora para aumentar la productividad. Para una aerolínea de EE. UU. con la que trabajamos, vimos que la productividad del agente aumentó un 86% y un aumento del rendimiento organizacional (número total de interacciones en todos los canales de servicio al cliente dividido por la mano de obra gastada para satisfacer esas necesidades) del 127%. Para un operador de red global que utiliza los servicios de ASAPP, las puntuaciones de promotor neto (la voluntad de los clientes de recomendar los productos o servicios de una empresa a otros) aumentaron un 45%. Para una de las tres principales empresas de cable que utiliza ASAPP, el costo por interacción disminuyó un 52%. Estos ejemplos muestran cómo la IA puede aumentar la productividad, mejorar la calidad del servicio al cliente y disminuir los costos comerciales.

¿Cuál es tu visión personal para el futuro de la IA en el lugar de trabajo?

La IA ya es bastante prevalente en el lugar de trabajo. Mientras escribo esto, los revisores ortográficos y gramaticales, así como la autocompletar de texto, me están ayudando. Tengo filtros de spam y clasificadores de mensajes en mis herramientas de correo electrónico/mensajería. Uso la búsqueda impulsada por IA para encontrar la información relevante que necesito para ejecutar. Esto crecerá, así como mi adopción, a medida que aumente la cantidad de características y la calidad de las características impulsadas por IA.

Sin embargo, llamaría a este tipo de aumento de la IA “atómico”. Ciertamente me está ayudando, pero en momentos muy precisos que permiten predicciones de alta precisión. Ciertamente no puedo pedirle a una IA que responda a estas preguntas, por ejemplo -)

Más en serio, mi visión es ver la adopción de la IA de extremo a extremo en todo el espacio de trabajo. No me refiero a extremo a extremo en el sentido de modelado de aprendizaje automático. Lo que quiero decir es que la IA impulsará tareas grandes y complejas que se optimizan para el objetivo general y no solo para puntos atómicos durante el proceso. ASAPP ya está llevando esto a cabo en los centros de llamadas. Por ejemplo, optimizamos lo que el agente dirá a continuación en función de un conjunto holístico de factores sobre dónde se encuentra el agente en la conversación y cuál es el objetivo final. Pero más allá de eso, imagina a un científico que intenta escribir una revisión sistemática de un tema importante, un ingeniero de software que construye una plataforma o integra sistemas complejos, un abogado que escribe un escrito legal, etc. En el futuro, cada uno de estos profesionales confiará en la IA para aumentar rápidamente su eficacia en estas tareas y optimizar los resultados deseados, liberándolos para desafíos más críticos.

¿Hay algo más que te gustaría compartir sobre ASAPP?

Nuestro equipo de investigación en ASAPP tiene un enfoque claro: estamos avanzando en la IA para aumentar la actividad humana y abordar problemas del mundo real para las empresas. Los investigadores de ASAPP trabajan para avanzar fundamentalmente en la ciencia del PLN y el ML hacia nuestro objetivo de implementar soluciones de IA específicas de dominio en el mundo real, y para aplicar esos avances a nuestros productos. Utilizan las grandes cantidades de datos generados por nuestros productos, y nuestra capacidad para implementar características de IA en el uso del mundo real para hacer y abordar preguntas de investigación fundamentales de maneras novedosas.

Descubre nuestros artículos recientes en https://www.asapp.com/ai-research/.

Gracias por las respuestas detalladas, los lectores que deseen aprender más deben visitar ASAPP.