Llama 3.1: El modelo de inteligencia artificial de código abierto más avanzado de Meta – Todo lo que necesita saber

Meta ha presentado Llama 3.1, su último y más avanzado modelo de lenguaje grande, lo que supone un importante salto en las capacidades y accesibilidad de la inteligencia artificial. Este nuevo lanzamiento se alinea con el compromiso de Meta de hacer que la inteligencia artificial sea accesible de forma abierta, como enfatizó Mark Zuckerberg, quien cree que la inteligencia artificial de código abierto es beneficiosa para los desarrolladores, Meta y la sociedad en general.

Para presentar Llama 3.1, Mark Zuckerberg escribió un post de blog detallado titulado “La inteligencia artificial de código abierto es el camino hacia adelante“, en el que describe su visión para el futuro de la inteligencia artificial. Dibuja un paralelo entre la evolución de Unix a Linux y la trayectoria actual de la inteligencia artificial, enfatizando que la inteligencia artificial de código abierto finalmente liderará la industria. Zuckerberg destaca las ventajas de la inteligencia artificial de código abierto, incluyendo la personalización, la eficiencia de costos, la seguridad de los datos y la evitación del bloqueo de proveedores.

Cree que el desarrollo de código abierto fomenta la innovación, crea un ecosistema robusto y garantiza un acceso equitativo a la tecnología de inteligencia artificial. Zuckerberg también aborda las preocupaciones sobre la seguridad, argumentando que la inteligencia artificial de código abierto, a través de la transparencia y la supervisión comunitaria, puede ser más segura que los modelos cerrados como los modelos GPT de OpenAI.

El compromiso de Meta con la inteligencia artificial de código abierto tiene como objetivo construir las mejores experiencias y servicios, libres de las limitaciones de los ecosistemas cerrados. Concluye invitando a los desarrolladores y organizaciones a unirse para construir un futuro en el que la inteligencia artificial beneficie a todos, promoviendo la colaboración y el avance continuo.

Resumen de los puntos clave

• Compromiso de accesibilidad abierta: Meta continúa su dedicación a la inteligencia artificial de código abierto, con el objetivo de democratizar el acceso y la innovación.
• Capacidades mejoradas: Llama 3.1 cuenta con una expansión de la longitud de contexto a 128K, admite ocho idiomas y presenta Llama 3.1 405B, el primer modelo de inteligencia artificial de código abierto de nivel frontera.
• Flexibilidad y control sin precedentes: Llama 3.1 405B ofrece capacidades de nivel de estado que rivalizan con los modelos de código cerrado líderes, permitiendo nuevos flujos de trabajo como la generación de datos sintéticos y la destilación de modelos.
• Soporte de ecosistema integral: Con más de 25 socios, incluyendo importantes empresas tecnológicas como AWS, NVIDIA (NVDA ) y Google Cloud, Llama 3.1 está listo para su uso inmediato en diversas plataformas.

Visión general de Llama 3.1

Capacidades de nivel de estado

Llama 3.1 405B está diseñado para rivalizar con los mejores modelos de inteligencia artificial disponibles hoy en día. Excela en conocimiento general, controlabilidad, matemáticas, uso de herramientas y traducción multilingüe. Se espera que este modelo impulse la innovación en campos como la generación de datos sintéticos y la destilación de modelos, ofreciendo oportunidades sin precedentes para el crecimiento y la exploración.

Modelos mejorados

El lanzamiento incluye versiones mejoradas de los modelos de 8B y 70B, que ahora admiten varios idiomas y tienen longitudes de contexto extendidas de hasta 128K. Estas mejoras permiten aplicaciones avanzadas como la resumen de textos largos, agentes conversacionales multilingües y asistentes de codificación.

Disponibilidad de código abierto

Fiels a su filosofía de código abierto, Meta está haciendo que estos modelos estén disponibles para su descarga en Meta y Hugging Face. Los desarrolladores pueden utilizar estos modelos para una variedad de aplicaciones, incluyendo la mejora de otros modelos, y pueden ejecutarlos en entornos diversos, desde locales hasta despliegues en la nube.

Evaluaciones y arquitectura del modelo

Evaluaciones extensivas

Llama 3.1 se sometió a pruebas rigurosas en más de 150 conjuntos de datos de referencia en varios idiomas y se comparó con modelos líderes como GPT-4 y Claude 3.5 Sonnet. Los resultados muestran que Llama 3.1 es competitivo en una amplia gama de tareas, consolidando su lugar entre los modelos de inteligencia artificial de nivel superior.

Técnicas de entrenamiento avanzadas

El entrenamiento del modelo de 405B involucró el procesamiento de más de 15 billones de tokens utilizando más de 16.000 GPU H100. Meta adoptó un modelo de transformador de decodificador estándar con procedimientos de post-entrenamiento iterativos, incluyendo ajuste fino supervisado y optimización de preferencia directa, para lograr datos sintéticos de alta calidad y un rendimiento superior.

Inferencia eficiente

Para admitir la inferencia de producción a gran escala, los modelos de Llama 3.1 se cuantificaron de 16 bits a 8 bits, reduciendo los requisitos computacionales y permitiendo que el modelo se ejecute de manera eficiente en un solo nodo de servidor.

Ajuste de instrucciones y chat

Meta se centró en mejorar la capacidad del modelo para seguir instrucciones detalladas y mantener altos niveles de seguridad. Esto involucró varias rondas de alineación sobre el modelo preentrenado, utilizando la generación de datos sintéticos y técnicas de procesamiento de datos rigurosas para garantizar salidas de alta calidad en todas las capacidades.

El sistema Llama

Llama 3.1 es parte de un sistema más amplio diseñado para funcionar con varios componentes, incluyendo herramientas externas. Meta tiene como objetivo proporcionar a los desarrolladores la flexibilidad para crear aplicaciones y comportamientos personalizados. El lanzamiento incluye Llama Guard 3 y Prompt Guard para una mayor seguridad y seguridad.

API de pila Llama

Meta está lanzando una solicitud de comentarios sobre la API de pila Llama, una interfaz estándar para facilitar el uso de los modelos de Llama por parte de proyectos de terceros. Esta iniciativa tiene como objetivo simplificar la interoperabilidad y reducir las barreras para los desarrolladores y los proveedores de plataformas.

Construyendo con Llama 3.1 405B

Llama 3.1 405B ofrece capacidades extensas para los desarrolladores, incluyendo inferencia en tiempo real y por lotes, ajuste fino supervisado, evaluación de modelos, entrenamiento continuo, generación aumentada de recuperación (RAG), llamada a funciones y generación de datos sintéticos. El primer día, los desarrolladores pueden comenzar a construir con estas características avanzadas, respaldadas por socios como AWS, NVIDIA y Databricks.

Prueba Llama 3.1 hoy

Los modelos de Llama 3.1 están disponibles para su descarga y desarrollo inmediato. Meta anima a la comunidad a explorar el potencial de estos modelos y contribuir al creciente ecosistema. Con medidas de seguridad robustas y acceso de código abierto, Llama 3.1 está listo para impulsar la próxima ola de innovación en inteligencia artificial.

Conclusión

Llama 3.1 representa un hito importante en la evolución de la inteligencia artificial de código abierto, ofreciendo capacidades y flexibilidad sin precedentes. El compromiso de Meta con la accesibilidad abierta garantiza que más personas puedan beneficiarse de los avances en inteligencia artificial, fomentando la innovación y el despliegue equitativo de la tecnología. Con Llama 3.1, las posibilidades para nuevas aplicaciones y investigaciones son vastas, y Meta espera con interés los desarrollos innovadores que la comunidad logrará con esta poderosa herramienta.

Los lectores que deseen obtener más información deben leer el post de blog detallado de Mark Zuckerberg.