Cómo se está mejorando el procesamiento del lenguaje a través del modelo BERT de código abierto de Google

Las Representaciones de Codificador Bidireccional desde Transformadores, conocidas como BERT, son un modelo de entrenamiento que ha mejorado drásticamente la eficiencia y el efecto de los modelos de NLP. Ahora que Google (GOOGL ) ha hecho que los modelos BERT sean de código abierto, permite la mejora de los modelos de NLP en todas las industrias. En este artículo, examinamos cómo BERT está convirtiendo a los modelos de NLP en una de las soluciones de inteligencia artificial más poderosas y útiles en el mundo de hoy.

Aplicando modelos BERT a la búsqueda

El motor de búsqueda de Google es mundialmente conocido por su capacidad para presentar contenido relevante y han hecho que este programa de procesamiento de lenguaje natural sea de código abierto para el mundo.

La capacidad de un sistema para leer e interpretar el lenguaje natural se está volviendo cada vez más vital a medida que el mundo produce nuevas datos de manera exponencial. La biblioteca de significados de palabras, frases y la capacidad general de presentar contenido relevante de Google es de código abierto. Más allá del procesamiento de lenguaje natural, su modelo BERT tiene la capacidad de extraer información de grandes cantidades de datos no estructurados y se puede aplicar para crear interfaces de búsqueda para cualquier biblioteca. En este artículo, veremos cómo se puede aplicar esta tecnología en el sector energético.

BERT (Representaciones de Codificador Bidireccional desde Transformadores) es un enfoque de pre-entrenamiento propuesto por el grupo de lenguaje de inteligencia artificial de Google, desarrollado para superar un problema común de los primeros modelos de NLP: la falta de datos de entrenamiento suficientes.

Expliquemos sin entrar en demasiados detalles:

Entrenando modelos

Las tareas de NLP de bajo nivel (por ejemplo, reconocimiento de entidades nombradas, segmentación de temas) y de alto nivel (por ejemplo, análisis de sentimiento, reconocimiento de voz) requieren conjuntos de datos anotados específicos de la tarea. Aunque son difíciles de obtener y costosos de ensamblar, los conjuntos de datos anotados juegan un papel crucial en el rendimiento de los modelos de redes neuronales tanto superficiales como profundas. Los resultados de inferencia de alta calidad solo se podían lograr cuando estaban disponibles millones o incluso miles de millones de ejemplos de entrenamiento anotados. Y ese era un problema que hacía que muchas tareas de NLP no fueran abordables. Hasta que se desarrolló BERT.

BERT es un modelo de representación de lenguaje de propósito general, entrenado en grandes corpus de texto no anotado. Cuando el modelo se expone a grandes cantidades de contenido de texto, aprende a entender el contexto y las relaciones entre las palabras en una oración. A diferencia de los modelos de aprendizaje anteriores que solo representaban el significado a nivel de palabra (banco significaría lo mismo en “cuenta bancaria” y “banco herboso”), BERT realmente se preocupa por el contexto. Es decir, lo que viene antes y después de la palabra en una oración. El contexto resultó ser una capacidad importante que faltaba en los modelos de NLP, con un impacto directo en el rendimiento del modelo. Diseñar un modelo consciente del contexto como BERT es conocido por muchos como el comienzo de una nueva era en NLP.

Entrenar a BERT en grandes cantidades de contenido de texto es una técnica conocida como pre-entrenamiento. Esto significa que los pesos del modelo se ajustan para tareas de comprensión de texto generales y que se pueden construir modelos más finos sobre él. Los autores han demostrado la superioridad de dicha técnica cuando emplearon modelos basados en BERT en 11 tareas de NLP y lograron resultados de estado del arte.

Modelos pre-entrenados

Lo mejor es: los modelos BERT pre-entrenados son de código abierto y están disponibles públicamente. Esto significa que cualquier persona puede abordar tareas de NLP y construir sus modelos sobre BERT. Nada puede superar eso, ¿verdad? Oh, espera: esto también significa que los modelos de NLP ahora se pueden entrenar (ajustar) en conjuntos de datos más pequeños, sin la necesidad de entrenar desde cero. El comienzo de una nueva era, de hecho.

Estos modelos pre-entrenados ayudan a las empresas a reducir el costo y el tiempo para implementar modelos de NLP para ser utilizados interna o externamente. La efectividad de los modelos de NLP bien entrenados se enfatiza por Michael Alexis, CEO de la empresa de construcción de cultura de equipo virtual, teambuilding.com.

“El mayor beneficio de NLP es la inferencia y el procesamiento de información escalable y consistente.” – Michael Alexis, CEO de teambuilding.com

Michael explica cómo NLP se puede aplicar a programas de fomento de la cultura, como rompehielos o encuestas. Una empresa puede obtener información valiosa sobre cómo está la cultura de la empresa analizando las respuestas de los empleados. Esto se logra no solo analizando el texto, sino también la anotación del texto. Esencialmente, el modelo también “lee entre líneas” para inferir emociones, sentimientos y perspectivas generales. BERT puede ayudar en situaciones como esta pre-entrenando modelos con una base de indicadores que pueden descubrir las sutilezas del lenguaje y proporcionar información más precisa.

Mejorando las consultas

La capacidad de modelar el contexto ha convertido a BERT en un héroe de NLP y ha revolucionado la búsqueda de Google en sí. A continuación, se muestra una cita del equipo de productos de búsqueda de Google y sus experiencias de prueba, mientras ajustaban BERT para entender la intención detrás de una consulta.

“Aquí hay algunos ejemplos que demuestran la capacidad de BERT para entender la intención detrás de su búsqueda. Aquí está una búsqueda para ‘2019 brasileño viajero a EE. UU. necesita una visa’. La palabra ‘a’ y su relación con las otras palabras en la consulta son particularmente importantes para entender el significado. Se trata de un brasileño que viaja a EE. UU. y no al revés. Anteriormente, nuestros algoritmos no entendían la importancia de esta conexión y devolvían resultados sobre ciudadanos estadounidenses que viajan a Brasil. Con BERT, la búsqueda puede comprender esta sutileza y saber que la palabra muy común ‘a’ realmente importa mucho aquí, y podemos proporcionar un resultado mucho más relevante para esta consulta.” – Entendiendo búsquedas mejor que nunca antes, de Pandu Nayak, fellow de Google y vicepresidente de Búsqueda.

Ejemplo de búsqueda BERT, antes y después. Fuente blog

En nuestro último artículo sobre NLP y OCR, hemos ilustrado algunos usos de NLP en el sector inmobiliario. También hemos mencionado cómo “las herramientas de NLP son ideales para la extracción de información”. Veamos el sector energético y cómo las tecnologías de NLP disruptivas como BERT permiten nuevos casos de uso de aplicaciones.

Los modelos de NLP pueden extraer información de grandes cantidades de datos no estructurados

Una forma en que los modelos de NLP se pueden utilizar es para la extracción de información crítica de datos de texto no estructurados. Los correos electrónicos, revistas, notas, registros y informes son todos ejemplos de fuentes de datos de texto que son parte de las operaciones diarias de las empresas. Algunos de estos documentos pueden resultar cruciales en los esfuerzos organizacionales para aumentar la eficiencia operativa y reducir costos.

Al intentar implementar mantenimiento predictivo de turbinas eólicas, informes de fallas pueden contener información crítica sobre el comportamiento de diferentes componentes. Pero como diferentes fabricantes de turbinas eólicas tienen diferentes normas de recopilación de datos (es decir, los informes de mantenimiento vienen en diferentes formatos e incluso idiomas), identificar manualmente los elementos de datos relevantes podría volverse costoso para el propietario de la planta. Las herramientas de NLP pueden extraer conceptos, atributos y eventos relevantes del contenido no estructurado. Luego, se pueden emplear análisis de texto para encontrar correlaciones y patrones en diferentes fuentes de datos. Esto da a los propietarios de la planta la oportunidad de implementar un mantenimiento predictivo basado en medidas cuantitativas identificadas en sus informes de fallas.

Los modelos de NLP pueden proporcionar interfaces de búsqueda de lenguaje natural

De manera similar, los geocientíficos que trabajan para empresas de petróleo y gas suelen necesitar revisar muchos documentos relacionados con operaciones de perforación pasadas, registros de pozos y datos sísmicos. Como dichos documentos también vienen en diferentes formatos y suelen estar dispersos en varias ubicaciones (tanto físicas como digitales), pierden mucho tiempo buscando la información en los lugares equivocados. Una solución viable en tal caso sería una interfaz de búsqueda impulsada por NLP, que permitiría a los usuarios buscar datos en lenguaje natural. Luego, un modelo de NLP podría correlacionar datos en cientos de documentos y devolver un conjunto de respuestas a la consulta. Los trabajadores pueden validar la salida en función de su propio conocimiento experto y la retroalimentación mejorarían aún más el modelo.

Sin embargo, también hay consideraciones técnicas para implementar dichos modelos. Un aspecto sería que el lenguaje específico de la industria puede confundir a los modelos de aprendizaje tradicionales que no tienen la comprensión semántica adecuada. En segundo lugar, el rendimiento de los modelos puede verse afectado por el tamaño del conjunto de datos de entrenamiento. Es cuando los modelos pre-entrenados como BERT pueden ser beneficiosos. Las representaciones contextuales pueden modelar el significado de palabra adecuado y eliminar cualquier confusión causada por términos específicos de la industria. Al utilizar modelos pre-entrenados, es posible entrenar la red en conjuntos de datos más pequeños. Esto ahorra tiempo, energía y recursos que de otro modo habrían sido necesarios para el entrenamiento desde cero.

¿Y sobre su propio negocio?

¿Puede pensar en alguna tarea de NLP que podría ayudarlo a reducir costos y aumentar la eficiencia operativa?

El equipo de ciencia de datos de Blue Orange Digital está encantado de ajustar BERT para su beneficio también.