Snowflake Arctic: El modelo LLM de vanguardia para la inteligencia empresarial de AI

Las empresas de hoy en día están explorando cada vez más formas de aprovechar los modelos de lenguaje grande (LLM) para aumentar la productividad y crear aplicaciones inteligentes. Sin embargo, muchas de las opciones de LLM disponibles son modelos genéricos que no están diseñados para necesidades empresariales especializadas como el análisis de datos, la codificación y la automatización de tareas. Entonces, entra en escena Snowflake Arctic – un modelo LLM de vanguardia diseñado y optimizado específicamente para los casos de uso empresarial básicos.

Desarrollado por el equipo de investigación de AI de Snowflake, Arctic empuja los límites de lo que es posible con una formación eficiente, rentabilidad y un nivel sin precedentes de apertura. Este modelo revolucionario sobresale en los benchmarks empresariales clave mientras requiere mucho menos poder computacional en comparación con los LLM existentes. Analicemos qué hace que Arctic sea un juego cambiador para la inteligencia empresarial de AI.

Inteligencia empresarial redefinida En su núcleo, Arctic se centra en ofrecer un rendimiento excepcional en las métricas que realmente importan para las empresas – codificación, consultas SQL, seguimiento de instrucciones complejas y generación de resultados basados en hechos. Snowflake ha combinado estas capacidades críticas en una métrica de “inteligencia empresarial” novedosa.

Los resultados hablan por sí mismos. Arctic cumple o supera a modelos como LLAMA 7B y LLAMA 70B en los benchmarks de inteligencia empresarial mientras utiliza menos de la mitad del presupuesto computacional para la formación. De manera notable, a pesar de utilizar 17 veces menos recursos computacionales que LLAMA 70B, Arctic logra la paridad en pruebas especializadas como la codificación (HumanEval+, MBPP+), la generación de SQL (Spider) y el seguimiento de instrucciones (IFEval).

Pero la capacidad de Arctic va más allá de simplemente aprobar los benchmarks empresariales. Mantiene un rendimiento sólido en la comprensión general del lenguaje, el razonamiento y la aptitud matemática en comparación con los modelos entrenados con presupuestos computacionales exponencialmente más altos como DBRX. Esta capacidad holística hace que Arctic sea una opción insuperable para abordar las diversas necesidades de AI de una empresa.

La innovación

Arquitectura híbrida de transformador Dense-MoE ¿Cómo construyó el equipo de Snowflake un LLM tan capaz y eficiente? La respuesta se encuentra en la arquitectura de vanguardia de Arctic, el transformador híbrido Dense Mixture-of-Experts (MoE).

Los modelos de transformador denso tradicionales se vuelven cada vez más costosos de entrenar a medida que crece su tamaño, con requisitos computacionales que aumentan linealmente. El diseño MoE ayuda a sortear esto utilizando múltiples redes neuronales feed-forward paralelas (expertos) y solo activando un subconjunto para cada token de entrada.

Sin embargo, simplemente utilizar una arquitectura MoE no es suficiente – Arctic combina ingeniosamente las fortalezas de los componentes denso y MoE. Empareja un codificador de transformador denso de 10 mil millones de parámetros con una capa de perceptrón multicapa residual MoE de 128 expertos. Este modelo híbrido denso-MoE totaliza 480 mil millones de parámetros, pero solo 17 mil millones están activos en cualquier momento dado utilizando la puerta de enlace superior 2.

Las implicaciones son profundas – Arctic logra una calidad de modelo y capacidad sin precedentes mientras sigue siendo notablemente eficiente en términos computacionales durante la formación y la inferencia. Por ejemplo, Arctic tiene un 50% menos de parámetros activos que los modelos como DBRX durante la inferencia.

Pero la arquitectura del modelo es solo una parte de la historia. La excelencia de Arctic es el resultado de varias técnicas y conocimientos pioneros desarrollados por el equipo de investigación de Snowflake:

1. Plan de estudios de datos de formación enfocado en la empresa A través de una experimentación exhaustiva, el equipo descubrió que las habilidades genéricas como el razonamiento común deben aprenderse temprano, mientras que las especializaciones más complejas como la codificación y el SQL se adquieren mejor más tarde en el proceso de formación. El plan de estudios de datos de Arctic sigue un enfoque de tres etapas que imita los progresos de aprendizaje humano.

Los primeros teratokens se centran en construir una base general amplia. Los siguientes 1,5 teratokens se concentran en desarrollar habilidades empresariales a través de datos diseñados para SQL, tareas de codificación y más. Los últimos teratokens refinan aún más las especializaciones de Arctic utilizando conjuntos de datos refinados.

2. Elección óptima de arquitectura Mientras que los MoE prometen una mejor calidad por computación, elegir las configuraciones correctas es crucial pero poco entendido. A través de una investigación detallada, Snowflake aterrizó en una arquitectura que emplea 128 expertos con puerta de enlace superior 2 en cada capa después de evaluar los intercambios de calidad y eficiencia.

Aumentar el número de expertos proporciona más combinaciones, lo que mejora la capacidad del modelo. Sin embargo, esto también aumenta los costos de comunicación, por lo que Snowflake aterrizó en 128 expertos “condensados” activados a través de la puerta de enlace superior 2 como el equilibrio óptimo.

3. Diseño de sistema coherente Pero incluso una arquitectura de modelo óptima puede ser socavada por cuellos de botella del sistema. Así que el equipo de Snowflake innovó aquí también – diseñando la arquitectura del modelo de la mano con los sistemas subyacentes de formación y inferencia.

Para una formación eficiente, los componentes denso y MoE se estructuraron para permitir la superposición de la comunicación y el cálculo, ocultando los costos de comunicación sustanciales. En el lado de la inferencia, el equipo aprovechó las innovaciones de NVIDIA para permitir una implementación altamente eficiente a pesar de la escala de Arctic.

Técnicas como la cuantificación FP8 permiten ajustar el modelo completo en un solo nodo de GPU para la inferencia interactiva. Los lotes más grandes involucran las capacidades de paralelismo de Arctic en varios nodos mientras siguen siendo impresionantemente eficientes en términos computacionales gracias a sus 17 mil millones de parámetros activos compactos.

Con una licencia Apache 2.0, los pesos y el código de Arctic están disponibles sin restricciones para cualquier uso personal, de investigación o comercial. Pero Snowflake ha ido mucho más allá, abriendo el código fuente de sus recetas de datos completas, implementaciones de modelos, consejos y conocimientos de investigación profundos que impulsan a Arctic.

El “Libro de recetas de Arctic” es una base de conocimientos integral que cubre todos los aspectos de la construcción y optimización de un modelo MoE grande como Arctic. Destila los conocimientos clave en la fuente de datos, el diseño de la arquitectura del modelo, el diseño del sistema coherente, los esquemas de formación y inferencia optimizados y más.

Desde la identificación de planes de estudios de datos óptimos hasta la arquitectura de MoE mientras se co-optimizan compiladores, programadores y hardware – este cuerpo extenso de conocimientos democratiza las habilidades que anteriormente estaban confinadas a laboratorios de AI de élite. El Libro de recetas de Arctic acelera las curvas de aprendizaje y capacita a las empresas, investigadores y desarrolladores en todo el mundo para crear sus propios modelos LLM personalizados, rentables y eficientes para prácticamente cualquier caso de uso.

Introducción a Arctic

Para las empresas interesadas en aprovechar Arctic, Snowflake ofrece múltiples caminos para comenzar rápidamente:

Inferencia sin servidor: Los clientes de Snowflake pueden acceder al modelo Arctic de forma gratuita en Snowflake Cortex, la plataforma de AI completamente administrada de la empresa. Más allá de eso, Arctic está disponible en todos los catálogos de modelos principales como AWS, Microsoft Azure, NVIDIA y más.

Comience desde cero: Los pesos del modelo y las implementaciones de código abierto permiten a los desarrolladores integrar directamente a Arctic en sus aplicaciones y servicios. El repositorio de Arctic proporciona ejemplos de código, tutoriales de implementación, recetas de afinación y más.

Construya modelos personalizados: Gracias a las guías exhaustivas del Libro de recetas de Arctic, los desarrolladores pueden construir sus propios modelos MoE personalizados desde cero, optimizados para cualquier caso de uso especializado utilizando los conocimientos obtenidos del desarrollo de Arctic.

Una nueva era de AI empresarial abierta Arctic es más que solo otro modelo de lenguaje poderoso – anuncia una nueva era de capacidades de AI especializadas, rentables y abiertas diseñadas específicamente para la empresa.

Desde la revolución del análisis de datos y la productividad de la codificación hasta el impulso de la automatización de tareas y la creación de aplicaciones más inteligentes, el ADN empresarial de Arctic lo convierte en una opción insuperable sobre los LLM genéricos. Y al abrir el código fuente no solo del modelo, sino de todo el proceso de investigación y desarrollo detrás de él, Snowflake está fomentando una cultura de colaboración que elevará todo el ecosistema de AI.

A medida que las empresas adoptan cada vez más la inteligencia artificial generativa, Arctic ofrece un plan audaz para desarrollar modelos objetivamente superiores para las cargas de trabajo de producción y los entornos empresariales. Su combinación de investigación de vanguardia, eficiencia sin precedentes y una ética de apertura inquebrantable establece un nuevo estándar en la democratización del potencial transformador de la IA.

Aquí hay una sección con ejemplos de código sobre cómo utilizar el modelo Snowflake Arctic:

Trabajar con Arctic

Ahora que hemos cubierto lo que hace que Arctic sea verdaderamente innovador, analicemos cómo los desarrolladores y científicos de datos pueden comenzar a aprovechar este modelo poderoso.
Fuera de la caja, Arctic está disponible preentrenado y listo para implementar a través de los principales centros de modelos como Hugging Face y plataformas de AI de socios. Pero su verdadero poder emerge cuando se personaliza y se ajusta para sus casos de uso específicos.

La licencia Apache 2.0 de Arctic proporciona la libertad total de integrarlo en sus aplicaciones, servicios o flujos de trabajo de AI personalizados. Analicemos algunos ejemplos de código utilizando la biblioteca de transformadores para comenzar:

Inferencia básica con Arctic

Para casos de uso de generación de texto rápido, podemos cargar Arctic y ejecutar una inferencia básica muy fácilmente:

<p>from transformers import AutoTokenizer, AutoModelForCausalLM</p>

<p># Cargar el tokenizador y el modelo
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")</p>

<p># Crear una entrada simple y generar texto
input_text = "Aquí hay una pregunta básica: ¿Cuál es la capital de Francia?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")</p>

<p># Generar respuesta con Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)</p>

print(generated_text)

Esto debería producir algo como:

“La capital de Francia es París. París es la ciudad más grande de Francia y el centro económico, político y cultural del país. Es hogar de famosos lugares como la Torre Eiffel, el Museo del Louvre y la Catedral de Notre-Dame.”

Como puedes ver, Arctic entiende sin problemas la consulta y proporciona una respuesta detallada y basada en hechos que aprovecha sus robustas capacidades de comprensión del lenguaje.

Ajuste para tareas especializadas

Mientras que es impresionante fuera de la caja, Arctic realmente brilla cuando se personaliza y se ajusta en sus datos propietarios para tareas especializadas. Snowflake ha proporcionado recetas exhaustivas que cubren:

• Curación de datos de entrenamiento de alta calidad adaptados para su caso de uso
• Implementación de planes de estudios de entrenamiento personalizados en varias etapas
• Aprovechamiento de enfoques de ajuste eficientes como LoRA, P-Tuning o FactorizedFusion
• Optimizaciones para discernir habilidades SQL, codificación u otras habilidades empresariales clave

Aquí hay un ejemplo de cómo ajustar Arctic en sus propios conjuntos de datos de codificación utilizando LoRA y las recetas de Snowflake:

<p>from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training</p>

<p># Cargar el modelo Arctic base
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)</p>

<p># Inicializar configuración de LoRA
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)</p>

<p># Preparar modelo para ajuste de LoRA
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)</p>

<p># Sus conjuntos de datos de codificación
data = load_coding_datasets()</p>

<p># Ajustar con las recetas de Snowflake
train(model, data, ...)</p>

Este código ilustra cómo puede cargar Arctic, inicializar una configuración de LoRA adaptada para la generación de código y luego ajustar el modelo en sus conjuntos de datos de codificación propietarios aprovechando la guía de Snowflake.

Personalizado y ajustado, Arctic se convierte en una fuerza poderosa privada sintonizada para ofrecer un rendimiento sin precedentes en sus flujos de trabajo y necesidades empresariales clave.