La PNL aumenta con los modelos Transformer | Un análisis completo de T5, BERT y GPT

El procesamiento del lenguaje natural (PNL) ha experimentado algunos de los avances más impactantes en los últimos años, principalmente debido a la arquitectura transformadora. Estos avances no sólo han mejorado las capacidades de las máquinas para comprender y generar el lenguaje humano, sino que también han redefinido el panorama de numerosas aplicaciones, desde motores de búsqueda hasta IA conversacional.

Para apreciar plenamente la importancia de los transformadores, primero debemos mirar hacia atrás, a los predecesores y los componentes básicos que sentaron las bases de esta arquitectura revolucionaria.

Técnicas tempranas de PNL: los cimientos antes de los transformadores

Incrustaciones de Word: de One-Hot a Word2Vec

En los enfoques tradicionales de PNL, la representación de las palabras era a menudo literal y carecía de cualquier forma de comprensión semántica o sintáctica. La codificación one-hot es un excelente ejemplo de esta limitación.

La codificación one-hot es un proceso mediante el cual las variables categóricas se convierten en una representación vectorial binaria donde solo un bit está "activo" (establecido en 1) mientras que todos los demás están "fríos" (establecidos en 0). En el contexto de PNL, cada palabra en un vocabulario está representada por vectores one-hot donde cada vector es el tamaño del vocabulario, y cada palabra está representada por un vector con todos 0 y un 1 en el índice correspondiente a esa palabra en la lista de vocabulario.

Ejemplo de codificación One-Hot

Supongamos que tenemos un vocabulario minúsculo con sólo cinco palabras: [“rey”, “reina”, “hombre”, “mujer”, “niño”]. Los vectores de codificación one-hot para cada palabra se verían así:

• “rey” -> [1, 0, 0, 0, 0]
• “reina” -> [0, 1, 0, 0, 0]
• “hombre” -> [0, 0, 1, 0, 0]
• “mujer” -> [0, 0, 0, 1, 0]
• “niño” -> [0, 0, 0, 0, 1]

Representación matemática

si denotamos $V$ como el tamaño de nuestro vocabulario y wi como la representación vectorial única de la i-ésima palabra en el vocabulario, la representación matemática de wi sería:

wi =[0,0,...,1,...,0,0] $\text{donde la i-ésima posición es 1 y todas las demás posiciones son 0.}$

La principal desventaja de la codificación one-hot es que trata cada palabra como una entidad aislada, sin relación con otras palabras. Da como resultado vectores dispersos y de alta dimensión que no capturan ninguna información semántica o sintáctica sobre las palabras.

La introducción de incrustaciones de palabras, sobre todo Word2Vec, fue un momento crucial en la PNL. Desarrollado por un equipo de Google dirigido por Tomas Mikolov en 2013, Word2Vec representaba palabras en un espacio vectorial denso, capturando relaciones sintácticas y semánticas entre palabras en función de su contexto dentro de grandes corpus de texto.

A diferencia de la codificación one-hot, Word2Vec produce vectores densos, normalmente con cientos de dimensiones. Las palabras que aparecen en contextos similares, como “rey” y “reina”, tendrán representaciones vectoriales más cercanas entre sí en el espacio vectorial.

A modo de ilustración, supongamos que hemos entrenado un modelo Word2Vec y ahora representamos palabras en un espacio tridimensional hipotético. Las incrustaciones (que normalmente son más que 3D pero aquí reducidas para simplificar) podrían verse así:

• “rey” -> [0.2, 0.1, 0.9]
• “reina” -> [0.21, 0.13, 0.85]
• “hombre” -> [0.4, 0.3, 0.2]
• “mujer” -> [0.41, 0.33, 0.27]
• “niño” -> [0.5, 0.5, 0.1]

Si bien estos números son ficticios, ilustran cómo palabras similares tienen vectores similares.

Representación matemática

Si representamos la incrustación Word2Vec de una palabra como vw , y nuestro espacio de incrustación tiene $d$ dimensiones, entonces vw se puede representar como:

vw =[v1 ,v2 ,...,vd ] donde cada vi  es un número de punto flotante que representa una característica de la palabra en el espacio de incrustación.

Relaciones Semánticas

Word2Vec puede incluso capturar relaciones complejas, como analogías. Por ejemplo, la famosa relación capturada por las incrustaciones de Word2Vec es:

$\text{vector(“rey”) – vector(“hombre”) + vector(“mujer”)}\approx \text{vector(“reina”)}$

Esto es posible porque Word2Vec ajusta los vectores de palabras durante el entrenamiento para que las palabras que comparten contextos comunes en el corpus se coloquen cerca en el espacio vectorial.

Word2Vec utiliza dos arquitecturas principales para producir una representación distribuida de palabras: Bolsa continua de palabras (CBOW) y Skip-Gram. CBOW predice una palabra objetivo a partir de las palabras de contexto que la rodean, mientras que Skip-Gram hace lo contrario, prediciendo palabras de contexto a partir de una palabra objetivo. Esto permitió que las máquinas comenzaran a comprender el uso y el significado de las palabras de una manera más matizada.

Modelado de secuencias: RNN y LSTM

A medida que avanzaba el campo, la atención se centró en la comprensión de secuencias de texto, lo cual era crucial para tareas como la traducción automática, el resumen de texto y el análisis de sentimientos. Las redes neuronales recurrentes (RNN) se convirtieron en la piedra angular de estas aplicaciones debido a su capacidad para manejar datos secuenciales manteniendo una forma de memoria.

Sin embargo, los RNN no estaban exentos de limitaciones. Lucharon con dependencias a largo plazo debido al problema del gradiente evanescente, donde la información se pierde en secuencias largas, lo que dificulta el aprendizaje de correlaciones entre eventos distantes.

Redes de memoria a corto plazo (LSTM), introducidas por Sepp Hochreiter y Jürgen Schmidhuber en 1997, abordó este problema con una arquitectura más sofisticada. Los LSTM tienen puertas que controlan el flujo de información: la puerta de entrada, la puerta de olvido y la puerta de salida. Estas puertas determinan qué información se almacena, actualiza o descarta, lo que permite a la red preservar dependencias a largo plazo y mejorar significativamente el rendimiento en una amplia gama de tareas de PNL.

Aquí hay una comparación más detallada de los modelos T5, BERT y GPT en varias dimensiones:

1. Tokenización y vocabulario

• BERTI: Utiliza tokenización de WordPieza con un tamaño de vocabulario de alrededor de 30,000 tokens.
• GPT: Emplea codificación de pares de bytes (BPE) con un vocabulario de gran tamaño (por ejemplo, GPT-3 tiene un tamaño de vocabulario de 175,000 XNUMX).
• T5: Utiliza tokenización SentencePiece que trata el texto como sin formato y no requiere palabras segmentadas previamente.

2. Objetivos previos al entrenamiento

• BERTI: Modelado de lenguaje enmascarado (MLM) y predicción de la siguiente oración (NSP).
• GPT: Modelado de lenguaje causal (CLM), donde cada token predice el siguiente token de la secuencia.
• T5: Utiliza un objetivo de eliminación de ruido donde se reemplazan tramos aleatorios de texto con una ficha centinela y el modelo aprende a reconstruir el texto original.

3. Representación de entrada

• BERTI: Las incrustaciones de token, segmento y posición se combinan para representar la entrada.
• GPT: Se combinan incrustaciones de tokens y posicionales (sin incrustaciones de segmentos, ya que no está diseñado para tareas de pares de oraciones).
• T5: Solo incrustaciones de tokens con codificaciones posicionales relativas agregadas durante las operaciones de atención.

4. Mecanismo de atención

• BERTI: Utiliza codificaciones posicionales absolutas y permite que cada token atienda a todos los tokens a la izquierda y a la derecha (atención bidireccional).
• GPT: También utiliza codificaciones posicionales absolutas pero restringe la atención únicamente a los tokens anteriores (atención unidireccional).
• T5: Implementa una variante del transformador que utiliza polarizaciones de posición relativa en lugar de incrustaciones posicionales.

5. Arquitectura modelo

• BERTI: Arquitectura de solo codificador con múltiples capas de bloques transformadores.
• GPT: Arquitectura de solo decodificador, también con múltiples capas pero diseñada para tareas generativas.
• T5: Arquitectura codificador-decodificador, donde tanto el codificador como el decodificador están compuestos por capas de transformador.

6. Enfoque de ajuste

• BERTI: adapta los estados ocultos finales del modelo previamente entrenado para tareas posteriores con capas de salida adicionales según sea necesario.
• GPT: Agrega una capa lineal en la parte superior del transformador y realiza ajustes en la tarea posterior utilizando el mismo objetivo de modelado de lenguaje causal.
• T5: Convierte todas las tareas a un formato de texto a texto, donde el modelo se ajusta para generar la secuencia objetivo a partir de la secuencia de entrada.

7. Datos y escala de entrenamiento

• BERTI: Capacitado en BooksCorpus y Wikipedia en inglés.
• GPT: GPT-2 y GPT-3 se han entrenado en diversos conjuntos de datos extraídos de Internet, y GPT-3 se ha entrenado en un corpus aún más grande llamado Common Crawl.
• T5: Entrenado en el “Colossal Clean Crawled Corpus”, que es una versión grande y limpia del Common Crawl.

8. Manejo del Contexto y Bidireccionalidad

• BERTI: Diseñado para comprender el contexto en ambas direcciones simultáneamente.
• GPT: Capacitado para comprender el contexto en dirección hacia adelante (de izquierda a derecha).
• T5: Puede modelar contexto bidireccional en el codificador y unidireccional en el decodificador, apropiado para tareas de secuencia a secuencia.

9. Adaptabilidad a las tareas posteriores

• BERTI: Requiere capas principales específicas de la tarea y ajustes para cada tarea posterior.
• GPT: Es de naturaleza generativa y se le puede solicitar que realice tareas con cambios mínimos en su estructura.
• T5: Trata cada tarea como un problema de “texto a texto”, lo que la hace inherentemente flexible y adaptable a nuevas tareas.

10. Interpretabilidad y explicabilidad

• BERTI: La naturaleza bidireccional proporciona ricas incorporaciones contextuales, pero puede ser más difícil de interpretar.
• GPT: El contexto unidireccional puede ser más sencillo de seguir, pero carece de la profundidad del contexto bidireccional.
• T5: El marco codificador-decodificador proporciona una separación clara de los pasos de procesamiento, pero su análisis puede resultar complejo debido a su naturaleza generativa.

El impacto de los transformadores en la PNL

Los transformadores han revolucionado el campo de la PNL al permitir que los modelos procesen secuencias de datos en paralelo, lo que aumentó drásticamente la velocidad y la eficiencia del entrenamiento de grandes redes neuronales. Introdujeron el mecanismo de autoatención, que permite a los modelos sopesar la importancia de cada parte de los datos de entrada, independientemente de la distancia dentro de la secuencia. Esto condujo a mejoras sin precedentes en una amplia gama de tareas de PNL, incluidas, entre otras, la traducción, la respuesta a preguntas y el resumen de textos.

La investigación continúa ampliando los límites de lo que pueden lograr los modelos basados ​​en transformadores. GPT-4 y sus contemporáneos no sólo son de mayor escala sino también más eficientes y capaces debido a los avances en la arquitectura y los métodos de capacitación. Técnicas como el aprendizaje de pocas oportunidades, donde los modelos realizan tareas con ejemplos mínimos, y métodos para un aprendizaje por transferencia más efectivo están a la vanguardia de la investigación actual.

Los modelos de lenguaje como los basados ​​en transformadores aprenden de datos que pueden contener sesgos. Los investigadores y profesionales están trabajando activamente para identificar, comprender y mitigar estos sesgos. Las técnicas van desde conjuntos de datos de capacitación seleccionados hasta ajustes posteriores a la capacitación destinados a lograr equidad y neutralidad.