Snowflake Arctic: Kurumsal AI için Devrim Nitelikli LLM

Bugün, şirketler büyük dil modellerini (LLM’ler) kullanarak verimliliği artırmak ve akıllı uygulamalar oluşturmak için yollar araştırmaktadır. Ancak mevcut birçok LLM seçeneği, veri analizi, kodlama ve görev otomasyonu gibi özel kurumsal ihtiyaçlar için tasarlanmamıştır. Snowflake Arctic, kurumsal kullanım durumları için özel olarak tasarlanmış ve optimize edilmiş bir LLM’dir.

Snowflake’ın AI araştırma ekibi tarafından geliştirilen Arctic, sınırları zorlamanın yeni bir yolu sunuyor. Etkili eğitim, maliyet etkinliği ve benzersiz bir açık düzeyiyle, bu devrimci model, anahtar kurumsal standartlarda mükemmel performans gösterirken mevcut LLM’lere kıyasla çok daha az hesaplama gücü gerektirir. Arctic’in kurumsal AI için oyun değiştirici olduğunu keşfedelim.

Kurumsal Zeka Yeniden Tanımlanmıştır. Arctic, temelde, kodlama, SQL sorgulama, karmaşık talimatları takip etme ve temellendirilmiş, gerçek tabanlı çıktılar üretme gibi şirketler için gerçekten önemli olan performans ölçümlerinde mükemmel performans sağlamak için tasarlanmıştır. Snowflake, bu kritik yetenekleri bir “kurumsal zeka” metriğine birleştirmiştir.

Sonuçlar kendileri için konuşuyor. Arctic, LLAMA 7B ve LLAMA 70B gibi modellerle kurumsal zeka standartlarında eşdeğer veya daha iyi performans gösterirken, eğitim için moins half hesap bütçesini kullanıyor. Şaşırtıcı bir şekilde, LLAMA 70B’den 17 kat daha az hesaplama kaynağı kullanarak, Arctic, kodlama (HumanEval+, MBPP+), SQL oluşturma (Spider) ve talimatları takip etme (IFEval) gibi uzmanlaştırılmış testlerde eşitlik sağlar.

Ancak Arctic’in yetenekleri sadece kurumsal standartlarda değil, genel dil anlama, akıl yürütme ve matematiksel yeteneklerde de diğer modellere kıyasla güçlü performansını sürdürür. Bu bütüncül yetenek, Arctic’i şirketlerin çeşitli AI ihtiyaçları için eşsiz bir seçim haline getirir.

İnovasyon

Yoğun-MoE Hibritleştirilmiş Transformer. Snowflake ekibinin böyle yetenekli ve verimli bir LLM nasıl inşa ettiğini merak ediyorsunuz. Cevap, Arctic’in yenilikçi Dense Mixture-of-Experts (MoE) Hibritleştirilmiş Transformer mimarisinde yatıyor.

Geleneksel yoğun transformer modelleri büyüdükçe eğitim için giderek daha pahalı hale gelir ve hesaplamalar lineer olarak artar. MoE tasarımı, her girişte yalnızca bir alt kümesini etkinleştiren birden fazla paralel feed-forward ağ (uzman) kullanarak bu sorunu aşar.

Ancak sadece MoE mimarisini kullanmak yeterli değildir – Arctic, yoğun ve MoE bileşenlerinin güçlerini akıllıca birleştirir. 10 milyar parametreli yoğun transformer kodlayıcı ile 128 uzmanlı geri kalan MoE çok katmanlı perceptron (MLP) katmanını birleştirir. Bu yoğun-MoE hibrit model, 480 milyar parametre toplamına sahiptir, ancak her zaman yalnızca 17 milyar parametre aktiftir ve üst-2 geçit kullanır.

Sonuçlar derinlemesine – Arctic, önceden görülmemiş model kalitesi ve kapasiteye ulaşırken, eğitim ve çıkarım sırasında şaşırtıcı bir şekilde hesaplamada verimlidir. Örneğin, Arctic, DBRX gibi modellere kıyasla çıkarımda %50 daha az aktif parametreye sahiptir.

Ancak model mimarisi, hikayenin sadece bir parçasıdır. Arctic’in mükemmelliği, Snowflake araştırma ekibi tarafından geliştirilen birkaç öncü teknik ve anlayışın bir sonucudur:

1. Kurumsal Odaklı Eğitim Verileri Müfredatı. Geniş kapsamlı deneyimler yoluyla, ekip, genel becerilerin erken öğrenilmesi gerektiğini, kodlama ve SQL gibi daha karmaşık uzmanlıkların ise eğitim sürecinin daha ileriki aşamalarında edinilmesi gerektiğini keşfetti. Arctic’in veri müfredatı, insan öğrenme ilerlemelerini taklit eden üç aşamalı bir yaklaşımı takip eder.

İlk teratokenler, geniş bir genel temel oluşturmaya odaklanır. Sonraki 1.5 teratokenler, SQL, kodlama görevleri ve daha fazlası için verileri geliştirerek kurumsal becerileri geliştirmeye odaklanır. Son teratokenler, rafine edilmiş veri kümeleri kullanarak Arctic’in uzmanlıklarını daha da rafine eder.

2. Optimal Mimari Seçimler. MoE’ler, hesaplamaya göre daha iyi kalite vaat ediyor, ancak doğru yapılandırmaları seçmek kritiktir, ancak kötü anlaşılmıştır. Ayrıntılı bir araştırma yoluyla, Snowflake, her katmanda üst-2 geçit kullanarak 128 uzmanla çalışan bir mimariye ulaştı.

Uzman sayısını artırmak, daha fazla kombinasyon sağlar ve model kapasitesini artırır. Ancak bu, iletişim maliyetlerini de artırır, bu nedenle Snowflake, 128 “yoğunlaştırılmış” uzmanın optimal denge olarak belirlendiğini tespit etti.

3. Sistem Eş Tasarımı. Ancak optimal bir model mimarisi, altta yatan eğitim ve çıkarım sistemlerindeki engeller tarafından engellenmemelidir. Snowflake ekibi burada da inovasyon gösterdi – model mimarisini, temel eğitim ve çıkarım sistemleriyle el ele tasarladı.

Etkin eğitim için, yoğun ve MoE bileşenleri, önemli iletişim yüklerini gizleyerek hesaplamayla örtüşmeyi mümkün kılacak şekilde yapılandırıldı. Çıkarım tarafında, ekip, NVIDIA’ (NVDA ) nın yeniliklerini kullanarak Arctic’in ölçeklerine rağmen son derece verimli bir şekilde dağıtımını mümkün kıldı.

Teknikler gibi FP8 kuantizasyonu, tam modeli tek bir GPU düğümünde etkileşimli çıkarım için yerleştirilmesini sağlar. Daha büyük toplu işler, Arctic’in paralellik yeteneklerini birden fazla düğüm boyunca kullanırken, 17B aktif parametreleri sayesinde仍然 olarak hesaplamada verimlidir.

Apache 2.0 lisansı ile, Arctic’in ağırlıkları ve kodu, kişisel, araştırma veya ticari kullanım için engelsiz olarak mevcuttur. Ancak Snowflake, Arctic’in tam veri tariflerini, model uygulamalarını, ipuçlarını ve Arctic’i güçlendirerek derin araştırma içgörülerini açık kaynak olarak yayınladı.

“Arctic Tarif Kitabı”, büyük ölçekli bir MoE modeli gibi Arctic’i inşa etme ve optimize etme konusundaki her yönü kapsayan kapsamlı bir bilgi tabanıdır. Veri kaynaklarından, model mimari tasarımı ve sistem eş tasarımı, optimize edilmiş eğitim ve çıkarım şemalarına kadar, bu kapsamlı bilgi, AI’nin dönüşümsel potansiyelini demokratikleştirmek için becerileri previously elit AI laboratuvarlarına mahsus olan becerileri dünya çapındaki işletmeler, araştırmacılar ve geliştiricilere açıyor.

Arctic Tarif Kitabı, öğrenme eğrilerini hızlandırıyor ve işletmeleri, araştırmacıları ve geliştiricileri,几乎 her kullanım durumu için kendi maliyet etkin, özel LLM’lerini yaratmaya güçlendiriyor.

Arctic ile Başlamak

Arctic’i kullanmak isteyen şirketler için, Snowflake birden fazla hızlı başlangıç yolu sunuyor:

Sunucusuz Çıkarım: Snowflake müşterileri, şirketin tamamen yönetilen AI platformu Snowflake Cortex’te Arctic modeline ücretsiz olarak erişebilir. Ayrıca, Arctic tüm büyük model kataloglarında gibi AWS, Microsoft Azure, NVIDIA ve daha fazlasında mevcuttur.

Sıfırdan Başlamak: Açık kaynak model ağırlıkları ve uygulamaları, geliştiricilerin Arctic’i doğrudan uygulamalarına ve hizmetlerine entegre etmesini sağlar. Arctic deposu, kod örnekleri, dağıtım öğreticileri, fine-tuning tarifleri ve daha fazlasını sunar.

Özel Modeller Oluşturun: Arctic Tarif Kitabı’nın kapsamlı rehberleri sayesinde, geliştiriciler, herhangi bir özel kullanım durumu için optimize edilmiş kendi MoE modellerini oluşturmak için Arctic’in geliştirilmesinden elde edilen içgörülerden yararlanabilir.

Açık Kurumsal AI’nin Yeni Bir Dönemi. Arctic, sadece güçlü bir dil modeli değil, aynı zamanda şirketler için özel, maliyet etkin ve açık AI yeteneklerine doğru yeni bir dönemin habercisidir.

Veri analitiğinden kodlama verimliliğine, görev otomasyonundan daha akıllı uygulamalara güç katmak için, Arctic’in kurumsal öncelikli DNA’sı, onu genel LLM’ler üzerinde eşsiz bir seçim haline getirir. Ve sadece modeli değil, arkasındaki tüm AR-GE sürecini açık kaynak olarak yayınlamak, AI ekosistemini yükseltecek bir işbirliği kültürünü teşvik ediyor.

Şirketler giderek daha fazla olarak üretken AI’yi benimsedikçe, Arctic, üretim iş yükleri ve kurumsal ortamlar için üstün modeller geliştirmek için cesur bir plan sunuyor. Araştırma, verimlilik ve açık bir etosun birleşimi, AI’nin dönüşümsel potansiyelini demokratikleştirmede yeni bir standardı belirliyor.

Burada Snowflake Arctic modelini kullanma konusunda kod örnekleri içeren bir bölüm var:

Arctic ile El Ele

Artık Arctic’in gerçekten devrim niteliği taşıyan özelliklerini kapsamlı bir şekilde ele aldığımıza göre, geliştiricilerin ve veri bilimcilerin bu güçlü modeli nasıl kullanabileceğini keşfedelim.

Özel Görevler için Fine-Tuning

Arctic, kutudan çıktığında etkileyici bir performans gösterir, ancak gerçekten parladığı an, özelleştirilip sizin özel kullanım durumunuz için fine-tune edildiğinde ortaya çıkar. Snowflake, geniş kapsamlı tarifler sunuyor:

• Özel kullanım durumunuz için yüksek kaliteli eğitim verilerini toplamak
• Özelleştirilmiş çok aşamalı eğitim müfredatlarını uygulamak
• Verimli LoRA, P-Tuning veya Faktörleştirilmiş Füzyon fine-tuning yaklaşımlarından yararlanmak
• SQL, kodlama veya diğer anahtar kurumsal beceriler için optimizasyonlar

Aşağıda, LoRA ve Snowflake’in tariflerini kullanarak kendi kodlama veri kümelerinizde Arctic’i fine-tune etme örneği verilmiştir:

Arctic’i yükleyin ve bir LoRA yapılandırması oluşturun:

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training

model = AutoModelForCausalLM.from_pretrained(“Snowflake/snowflake-arctic-instruct”, load_in_8bit=True)
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=[“query_key_value”],
lora_dropout=0.05,
bias=”none”,
task_type=”CAUSAL_LM”
)

model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)

Verilerinizi yükleyin ve fine-tune edin:

data = load_coding_datasets()
train(model, data, …)

Bu kod, Arctic’i yükleyerek, kod oluşturma için özelleştirilmiş bir LoRA yapılandırması oluşturup, ardından sizin kodlama veri kümelerinizde fine-tune etmenin kolaylığını gösteriyor.

Arctic’in Hızlı İnovasyon Döngüsü

Arctic’in en etkileyici yönlerinden biri, Snowflake’ın AI araştırma ekibinin bu öncü modeli dünyaya sunmak için harcadığı kısa süre. Projenin başlangıcından açık kaynak yayımına kadar всего sadece üç ay sürdü ve benzer büyük dil modellerinin eğitiminde kullanılan hesap bütçesinin yalnızca yaklaşık sekizde biri kullanıldı.

Arctic Ailesi ve Gömme

Arctic, Snowflake’ın kurumsal LLM alanında sadece başlangıç noktası. Şirket, endüstri lideri metin gömme modelleri ailesini de açık kaynak olarak yayınladı. Arctic Gömme modelleri, MTEB (metin alıntı) standardında state-of-the-art alıntı doğruluğuna ulaşır ve diğer önde gelen gömme modellerini geride bırakır.

Arctic LLM’yi tamamlayan bu gömme modeller, şirketlerin güçlü soru-cevap ve alıntı-augmente edilmiş üretim çözümleri oluşturmasına olanak tanır. Snowflake, AI ekosistemini zenginleştirmek için işbirliği kültürünü teşvik etmeye devam ediyor.