Baidu supera a Google y Microsoft, crea una nueva técnica para la comprensión del lenguaje

Baidu, una de las mayores empresas tecnológicas de China, ha desarrollado recientemente un nuevo método para enseñar a los sistemas de inteligencia artificial (IA) a comprender el lenguaje. Según un informe de TechnologyReview, la empresa recientemente superó a Microsoft (MSFT ) y Google (GOOGL ) en la competencia de Evaluación de Comprensión del Lenguaje General (GLUE), logrando resultados de vanguardia.

GLUE consta de nueve pruebas diferentes, cada una de las cuales mide una tarea diferente importante para la comprensión del lenguaje, como discernir los nombres de entidades en una oración y discernir en qué contexto se utiliza el pronombre “ello” cuando hay varios candidatos potenciales. El promedio de un ser humano suele obtener alrededor de 87 puntos en GLUE, de un total de 100. El nuevo modelo de Baidu, ERNIE, superó el umbral de 90 puntos.

Los investigadores siempre están tratando de mejorar el rendimiento de sus modelos en GLUE, por lo que es probable que el estándar actual establecido por Baidu sea superado pronto. Sin embargo, lo que hace que los logros de Baidu sean notables es que el enfoque de aprendizaje que utilizan parece poder generalizarse a otros idiomas. Aunque el modelo se desarrolló para interpretar el chino, los mismos principios lo hacen mejor para interpretar el idioma inglés. ERNIE significa “Representación mejorada a través de la integración del conocimiento”, y sigue el desarrollo del modelo de lenguaje BERT (“Representaciones de codificador bidireccional de transformadores”).

BERT estableció un nuevo estándar para la comprensión del lenguaje debido a que era un modelo bidireccional. Los modelos de lenguaje anteriores solo podían interpretar datos que fluían en una “dirección”, mirando una palabra que venía antes o después de la palabra objetivo como contexto. BERT pudo implementar un enfoque bidireccional que podía utilizar tanto las palabras anteriores como las posteriores en una oración para ayudar a determinar el significado de una palabra objetivo. BERT utiliza una técnica llamada “enmascaramiento” para hacer posible el análisis bidireccional, eligiendo una palabra en una oración y ocultándola, lo que divide las posibles pistas contextuales para esa palabra en pistas contextuales precedentes y siguientes.

En el idioma inglés, la palabra es la unidad semántica dominante; las personas miran las palabras completas en lugar de caracteres individuales para discernir el significado. Es posible eliminar una palabra de su contexto y que la palabra aún mantenga su significado, y el significado de los caracteres individuales es casi siempre el mismo. En contraste, el idioma chino se basa mucho más en cómo los caracteres se emparejan con otros caracteres al discernir el significado. Los caracteres pueden significar cosas diferentes dependiendo de los caracteres que los rodean.

El equipo de investigación de Baidu básicamente tomó el modelo que utilizó BERT y lo expandió, ocultando cadenas de caracteres en lugar de palabras completas. El sistema de IA también se entrenó para distinguir entre cadenas de caracteres aleatorias y cadenas de caracteres significativas para que se pudieran enmascarar las cadenas de caracteres correctas. Esto hace que ERNIE sea competente en la recuperación de información de un documento de texto y en la realización de traducción automática. El equipo de investigación también descubrió que su método de entrenamiento también resultó en un modelo que podía distinguir mejor las frases en inglés que muchos otros modelos. Esto se debe a que el inglés a veces, aunque raramente, utiliza combinaciones de palabras que expresan diferentes significados cuando se unen en comparación con cuando están solas. Los nombres propios y los modismos o expresiones coloquiales, como “chip off the old block”, son ejemplos de este tipo de fenómenos lingüísticos.

ERNIE utiliza varias otras técnicas de entrenamiento para optimizar el rendimiento, incluyendo el análisis del orden y la distancia de las oraciones al interpretar párrafos. También se utiliza un método de entrenamiento continuo, que permite a ERNIE entrenarse con nuevos datos y aprender nuevos patrones sin olvidar los conocimientos previamente adquiridos.

Baidu actualmente utiliza ERNIE para mejorar la calidad de los resultados de búsqueda. La arquitectura más reciente de ERNIE se detallará en un artículo que se presentará en la conferencia de la Asociación para el Avance de la Inteligencia Artificial de 2020.