Llama 2: Una inmersión profunda en el desafío de código abierto a ChatGPT

Los Modelos de Lenguaje Grande (LLM) capaces de realizar tareas de razonamiento complejas han mostrado promesa en dominios especializados como la programación y la escritura creativa. Sin embargo, el mundo de los LLM no es simplemente un paraíso de plug-and-play; existen desafíos en la usabilidad, la seguridad y las demandas computacionales. En este artículo, nos sumergiremos profundamente en las capacidades de Llama 2, mientras proporcionamos una guía detallada para configurar este LLM de alto rendimiento a través de Hugging Face y T4 GPUs en Google Colab.

Desarrollado por Meta con su asociación con Microsoft (MSFT ), este modelo de lenguaje grande de código abierto tiene como objetivo redefinir los ámbitos de la inteligencia artificial generativa y la comprensión del lenguaje natural. Llama 2 no es solo otro modelo estadístico entrenado en terabytes de datos; es la encarnación de una filosofía. Una que enfatiza el enfoque de código abierto como la columna vertebral del desarrollo de la IA, particularmente en el espacio de la inteligencia artificial generativa.

Llama 2 y su sustituto optimizado para diálogos, Llama 2-Chat, vienen equipados con hasta 70 mil millones de parámetros. Pasan por un proceso de afinamiento diseñado para alinearlos estrechamente con las preferencias humanas, lo que los hace más seguros y efectivos que muchos otros modelos públicamente disponibles. Este nivel de granularidad en el afinamiento es a menudo reservado para LLM “cerrados” de “producto”, como ChatGPT y BARD, que no están generalmente disponibles para escrutinio o personalización pública.

Inmersión técnica profunda en Llama 2

Para entrenar el modelo Llama 2; al igual que sus predecesores, utiliza una arquitectura de transformador auto-regresivo, pre-entrenado en un corpus extenso de datos auto-supervisados. Sin embargo, agrega una capa adicional de sofisticación al utilizar el Aprendizaje de Refuerzo con Retroalimentación Humana (RLHF) para alinear mejor con el comportamiento y las preferencias humanas. Esto es computacionalmente costoso pero vital para mejorar la seguridad y la efectividad del modelo.

Arquitectura de entrenamiento de Meta Llama 2

Pre-entrenamiento y eficiencia de datos

La innovación fundamental de Llama 2 radica en su régimen de pre-entrenamiento. El modelo toma pistas de su predecesor, Llama 1, pero introduce varias mejoras cruciales para elevar su rendimiento. Notablemente, un aumento del 40% en el número total de tokens entrenados y una expansión de dos veces en la longitud de contexto destacan. Además, el modelo aprovecha la atención de consulta agrupada (GQA) para amplificar la escalabilidad de inferencia.

Afinamiento supervisado (SFT) y Aprendizaje de Refuerzo con Retroalimentación Humana (RLHF)

Llama-2-Chat ha sido rigurosamente afinado utilizando tanto SFT como RLHF. En este contexto, SFT sirve como un componente integral del marco de RLHF, afinando las respuestas del modelo para alinearlas estrechamente con las preferencias y expectativas humanas.

OpenAI ha proporcionado una ilustración informativa que explica las metodologías SFT y RLHF empleadas en InstructGPT. Al igual que LLaMa 2, InstructGPT también aprovecha estas técnicas de entrenamiento avanzadas para optimizar el rendimiento de su modelo.

El paso 1 en la imagen a continuación se centra en el Afinamiento Supervisado (SFT), mientras que los pasos posteriores completan el proceso de Aprendizaje de Refuerzo con Retroalimentación Humana (RLHF).

Instruction-GPT

El Afinamiento Supervisado (SFT) es un proceso especializado destinado a optimizar un LLM pre-entrenado para una tarea de flujo descendente específica. A diferencia de los métodos no supervisados, que no requieren validación de datos, SFT emplea un conjunto de datos que ha sido pre-validado y etiquetado.

Generalmente, crear estos conjuntos de datos es costoso y consume mucho tiempo. El enfoque de Llama 2 fue la calidad sobre la cantidad. Con solo 27,540 anotaciones, el equipo de Meta logró niveles de rendimiento competitivos con los anotadores humanos. Esto se alinea bien con estudios recientes que muestran que incluso conjuntos de datos limitados pero limpios pueden impulsar resultados de alta calidad.

En el proceso de SFT, el LLM pre-entrenado se expone a un conjunto de datos etiquetado, donde los algoritmos de aprendizaje supervisado entran en juego. Los pesos internos del modelo se recalibran en función de gradientes calculados a partir de una función de pérdida específica de la tarea. Esta función de pérdida cuantifica las discrepancias entre las salidas predichas del modelo y las etiquetas de verdad real.

Esta optimización permite que el LLM comprenda los patrones y matices intrincados incrustados en el conjunto de datos etiquetado. En consecuencia, el modelo no es solo una herramienta generalizada, sino que evoluciona hacia un activo especializado, hábil para realizar la tarea objetivo con un alto grado de precisión.

El aprendizaje de refuerzo es el siguiente paso, destinado a alinear el comportamiento del modelo más estrechamente con las preferencias humanas.

La fase de afinamiento aprovechó el Aprendizaje de Refuerzo con Retroalimentación Humana (RLHF), empleando técnicas como Muestreo de Importancia y Optimización de Política Proximal para introducir ruido algorítmico, evitando así los óptimos locales. Este afinamiento iterativo no solo mejoró el modelo, sino que también alineó su salida con las expectativas humanas.

Llama 2-Chat utilizó un protocolo de comparación binaria para recopilar datos de preferencia humana, marcando una tendencia notable hacia enfoques más cualitativos. Este mecanismo informó los Modelos de Recompensa, que se utilizan posteriormente para afinar el modelo de inteligencia artificial conversacional.

Atención Fantasma: Diálogos de varias vueltas

Meta introdujo una nueva función, Atención Fantasma (GAtt), diseñada para mejorar el rendimiento de Llama 2 en diálogos de varias vueltas. Esto resuelve efectivamente el problema persistente de pérdida de contexto en conversaciones en curso. GAtt actúa como un ancla, vinculando las instrucciones iniciales a todos los mensajes de usuario posteriores. Combinado con técnicas de aprendizaje de refuerzo, ayuda a producir respuestas consistentes, relevantes y alineadas con el usuario a lo largo de diálogos más largos.

Desde el repositorio de Meta Git utilizando download.sh

1. Visite el sitio web de Meta: Navegue hasta el sitio oficial de Llama 2 de Meta y haga clic en ‘Descargar el modelo’
2. Rellene los detalles: Lea y acepte los términos y condiciones para continuar.
3. Confirmación de correo electrónico: Una vez que se envíe el formulario, recibirá un correo electrónico de Meta con un enlace para descargar el modelo desde su repositorio de Git.
4. Ejecutar download.sh: Clone el repositorio de Git y ejecute el script download.sh. Este script lo pedirá que se autentique utilizando una URL de Meta que caduca en 24 horas. También elegirá el tamaño del modelo: 7B, 13B o 70B.

Desde Hugging

1. Reciba el correo electrónico de aceptación: Después de obtener acceso desde Meta, vaya a Hugging Face.
2. Solicite acceso: Elija el modelo deseado y envíe una solicitud para otorgar acceso.
3. Confirmación: Espere un correo electrónico de ‘acceso concedido’ dentro de 1-2 días.
4. Generar tokens de acceso: Navegue hasta ‘Configuración’ en su cuenta de Hugging Face para crear tokens de acceso.

La versión 4.31 de Transformers es completamente compatible con LLaMa 2 y abre muchas herramientas y funcionalidades dentro del ecosistema de Hugging Face. Desde scripts de entrenamiento e inferencia hasta cuantificación de 4 bits con bitsandbytes y Afinamiento de Parámetros Eficiente (PEFT), la herramienta es extensa. Para empezar, asegúrese de estar en la última versión de Transformers y haber iniciado sesión en su cuenta de Hugging Face.

Aquí hay una guía simplificada para ejecutar la inferencia del modelo LLaMa 2 en un entorno Google Colab, aprovechando un tiempo de ejecución de GPU:

Modelo de Google Colab – T4 GPU

Instalación del paquete

<p>!pip install transformers
!huggingface-cli login

Importar las bibliotecas de Python necesarias.

from transformers import AutoTokenizer
import transformers
import torch

Inicializar el modelo y el tokenizador

En este paso, especifique qué modelo Llama 2 utilizará. Para esta guía, utilizamos meta-llama/Llama-2-7b-chat-hf.

model = "meta-llama/Llama-2-7b-chat-hf"
tokenizer = AutoTokenizer.from_pretrained(model)

Configurar la canalización

Utilice la canalización de Hugging Face para la generación de texto con configuraciones específicas:

pipeline = transformers.pipeline(
"text-generation",
model=model,
torch_dtype=torch.float16,
device_map="auto")

Generar secuencias de texto

Finalmente, ejecute la canalización y genere una secuencia de texto basada en su entrada:

sequences = pipeline(
'¿Quiénes son los contribuyentes clave en el campo de la inteligencia artificial?\n',
do_sample=True,
top_k=10,
num_return_sequences=1,
eos_token_id=tokenizer.eos_token_id,
max_length=200)
for seq in sequences:
print(f"Resultado: {seq['generated_text']}")

Interfaz de usuario de A16Z para LLaMa 2

Andreessen Horowitz (A16Z) ha lanzado recientemente una interfaz de chatbot de vanguardia basada en Streamlit para Llama 2. Alojada en GitHub, esta interfaz de usuario conserva el historial de chat de sesión y también proporciona la flexibilidad de seleccionar entre varios puntos finales de API de Llama 2 alojados en Replicate. Este diseño centrado en el usuario tiene como objetivo simplificar las interacciones con Llama 2, lo que lo convierte en una herramienta ideal tanto para desarrolladores como para usuarios finales. Para aquellos interesados en experimentar esto, hay una demo en vivo disponible en Llama2.ai.

LLaMa2.ai

Llama 2: ¿Qué lo hace diferente de los modelos GPT y su predecesor Llama 1?

Variación en escala

A diferencia de muchos modelos de lenguaje que ofrecen escalabilidad limitada, Llama 2 ofrece una variedad de opciones para modelos con parámetros variados. El modelo se escala desde 7 mil millones hasta 70 mil millones de parámetros, proporcionando así una serie de configuraciones para satisfacer diversas necesidades computacionales.

Longitud de contexto mejorada

El modelo tiene una longitud de contexto aumentada de 4K tokens en comparación con Llama 1. Esto permite que retenga más información, mejorando así su capacidad para comprender y generar contenido más complejo y extenso.

Atención de consulta agrupada (GQA)

La arquitectura utiliza el concepto de GQA, diseñado para acelerar el proceso de cálculo de atención al almacenar en caché pares de tokens anteriores. Esto mejora efectivamente la escalabilidad de inferencia del modelo para mejorar la accesibilidad.

Medidas de rendimiento

Análisis de rendimiento de los modelos Llama 2-Chat con ChatGPT y otros competidores

Llama 2 ha establecido un nuevo estándar en las métricas de rendimiento. No solo supera a su predecesor, Llama 1, sino que también ofrece una competencia significativa a otros modelos como Falcon y GPT-3.5.

El modelo Llama 2-Chat más grande, el 70B, también supera a ChatGPT en el 36% de los casos y coincide en el rendimiento en otro 31,5% de los casos. Fuente: Artículo

Código abierto: El poder de la comunidad

Meta y Microsoft pretenden que Llama 2 sea más que un producto; lo ven como una herramienta impulsada por la comunidad. Llama 2 es gratuito para acceder tanto para investigación como para fines no comerciales. Están buscando democratizar las capacidades de la IA, haciéndolas accesibles para startups, investigadores y empresas. Un enfoque de código abierto permite la “depuración de crowdsourcing” del modelo. Los desarrolladores y éticos de la IA pueden probar el modelo a fondo, identificar vulnerabilidades y ofrecer soluciones a un ritmo acelerado.

Aunque los términos de licencia para LLaMa 2 son en general permisivos, existen excepciones. Las grandes empresas con más de 700 millones de usuarios mensuales, como Google, requieren autorización explícita de Meta para su utilización. Además, la licencia prohíbe el uso de LLaMa 2 para la mejora de otros modelos de lenguaje.

Desafíos actuales con Llama 2

1. Generalización de datos: Tanto Llama 2 como GPT-4 a veces vacilan en un rendimiento uniformemente alto en tareas divergentes. La calidad y diversidad de los datos son tan cruciales como el volumen en estos escenarios.
2. Transparencia del modelo: Dado los contratiempos anteriores con la IA que produce salidas engañosas, explorar la lógica de decisión detrás de estos modelos complejos es fundamental.

Código Llama – El lanzamiento más reciente de Meta

Meta anunció recientemente Code Llama, que es un modelo de lenguaje grande especializado en programación con tamaños de parámetros que van desde 7B hasta 34B. Similar a ChatGPT Code Interpreter; Code Llama puede simplificar los flujos de trabajo de los desarrolladores y hacer que la programación sea más accesible. Acomoda varios lenguajes de programación y viene en variaciones especializadas, como Code Llama-Python para tareas específicas de Python. El modelo también ofrece diferentes niveles de rendimiento para satisfacer diversas necesidades de latencia. Con licencia abierta, Code Llama invita a la comunidad a contribuir con mejoras continuas.

https://about.fb.com/news/2023/08/code-llama-ai-for-coding/

Conclusión

Este artículo lo ha llevado a través de la configuración de un modelo Llama 2 para la generación de texto en Google Colab con soporte de Hugging Face. El rendimiento de Llama 2 está impulsado por una serie de técnicas avanzadas, desde arquitecturas de transformadores auto-regresivos hasta Aprendizaje de Refuerzo con Retroalimentación Humana (RLHF). Con hasta 70 mil millones de parámetros y características como Atención Fantasma, este modelo supera los estándares actuales de la industria en ciertas áreas, y con su naturaleza de código abierto, allana el camino para una nueva era en la comprensión del lenguaje natural y la inteligencia artificial generativa.