Un detector de mentiras basado en IA para conversaciones en centros de llamadas

Investigadores en Alemania han utilizado el aprendizaje automático para crear un sistema de análisis de audio destinado principalmente a actuar como un detector de mentiras basado en IA para clientes en comunicaciones de audio con personal de centros de llamadas y soporte.

El sistema utiliza un conjunto de datos de audio creado especialmente con grabaciones de audio de 40 estudiantes y profesores durante debates sobre temas controvertidos, incluida la moralidad de la pena de muerte y las tasas de matrícula. El modelo se entrenó en una arquitectura que utiliza Redes Neuronales Convolucionales (CNN) y Memoria a Corto Plazo (LSTM), y logró una tasa de precisión del 98%.

Aunque la intención declarada del trabajo cita la comunicación con los clientes, los investigadores admiten que efectivamente opera como un detector de mentiras de propósito general:

‘Los hallazgos son aplicables a una amplia gama de procesos de servicio y específicamente útiles para todas las interacciones con clientes que tienen lugar a través del teléfono. El algoritmo presentado se puede aplicar en cualquier situación en la que sea útil para el agente saber si un cliente está hablando con convicción.

‘Esto podría, por ejemplo, llevar a una reducción de reclamaciones de seguros dudosas o declaraciones falsas en entrevistas de trabajo. Esto no solo reduciría las pérdidas operativas para las empresas de servicios, sino que también alentaría a los clientes a ser más honestos.’

Generación del conjunto de datos

En ausencia de un conjunto de datos público adecuado en alemán, los investigadores – de la Universidad de Ciencias Aplicadas de Neu-Ulm (HNU) – crearon su propio material de origen. Se publicaron folletos en la universidad y en escuelas locales, y se seleccionaron 40 voluntarios con una edad mínima de 16 años. Los voluntarios recibieron un vale de 10 euros de Amazon.

Las sesiones se llevaron a cabo según un modelo de club de debate diseñado para polarizar la opinión y provocar respuestas fuertes alrededor de temas incendiarios, efectivamente modelando el estrés que puede ocurrir en conversaciones problemáticas de clientes por teléfono.

Los temas sobre los que los voluntarios tenían que hablar libremente durante tres minutos en público fueron:

– ¿Deberían reintroducirse la pena de muerte y las ejecuciones públicas en Alemania?
– ¿Deberían cobrarse tasas de matrícula que cubran los costos en Alemania?
– ¿Debería legalizarse el uso de drogas duras como la heroína y el cristal de metanfetamina en Alemania?
– ¿Deberían prohibirse las cadenas de restaurantes que sirven comida rápida insalubre, como McDonald’s o Burger King, en Alemania?

Preprocesamiento

El proyecto favoreció el análisis de características de habla acústica en un enfoque de Reconocimiento Automático del Habla (ASR) sobre un enfoque de NLP (donde se analiza el habla a nivel lingüístico, y se infiere la “temperatura” del discurso directamente del uso del lenguaje).

Las muestras extraídas y preprocesadas se analizaron inicialmente a través de Coeficientes Cepstrales de Frecuencia de Mel (MFCC), un método antiguo pero fiable que sigue siendo muy popular en el análisis del habla. Dado que el método se propuso por primera vez en 1980, es notablemente frugal en términos de recursos de computación para reconocer patrones recurrentes en el habla, y es resistente a varios niveles de calidad de captura de audio. Debido a que las sesiones se llevaron a cabo en plataformas de VOIP en condiciones de bloqueo en diciembre de 2020, fue importante tener un marco de grabación que pudiera tener en cuenta la mala calidad del audio cuando fuera necesario.

Es interesante destacar que las dos limitaciones técnicas mencionadas (recursos de CPU limitados a principios de la década de 1980 y las excentricidades de la conectividad de VOIP en un contexto de red congestionada) se combinan aquí para crear lo que es efectivamente un modelo “técnicamente escaso” que es (aparentemente) inusualmente robusto en ausencia de condiciones de trabajo ideales y recursos de alto nivel – imitando el ámbito objetivo para el algoritmo resultante.

Posteriormente, se aplicó un algoritmo de Transformada Rápida de Fourier (FFT) a los segmentos de audio para suministrar un perfil espectral de cada “marco de audio”, antes de asignar finalmente a la Escala de Mel.

Entrenamiento, Resultados y Limitaciones

Durante el entrenamiento, los vectores de características extraídos se pasan a una capa de red neuronal convolucional distribuida en el tiempo, se aplanan y luego se pasan a una capa de LSTM.

Arquitectura del proceso de entrenamiento para el detector de verdad de IA. Fuente: https://arxiv.org/ftp/arxiv/papers/2107/2107.11175.pdf

Finalmente, todos los neuronas están conectados entre sí para generar una predicción binaria sobre si el hablante está diciendo cosas que cree que son verdaderas.

En pruebas después del entrenamiento, el sistema logró un nivel de precisión de hasta el 98,91% en términos de discernimiento de la intención (donde el contenido hablado puede no reflejar la intención). Los investigadores consideran que el trabajo demuestra empíricamente la identificación de la convicción basada en patrones de voz, y que esto se puede lograr sin descomposición de lenguaje al estilo de NLP.

En cuanto a las limitaciones, los investigadores admiten que la muestra de prueba es pequeña. Aunque el documento no lo establece explícitamente, los datos de prueba de bajo volumen pueden reducir la aplicabilidad posterior en el caso de que las suposiciones, las características arquitectónicas y el proceso de entrenamiento general estén sobreajustados a los datos. El documento señala que seis de los ocho modelos construidos a lo largo del proyecto estaban sobreajustados en algún momento del proceso de aprendizaje, y que hay más trabajo por hacer para generalizar la aplicabilidad de los parámetros establecidos para el modelo.

Además, la investigación de este tipo debe tener en cuenta las características nacionales, y el documento señala que los sujetos alemanes involucrados en la generación de los datos pueden tener patrones de comunicación que no son directamente replicables en diferentes culturas – una situación que probablemente surgiría en cualquier estudio de este tipo en cualquier nación.