Snowflake Arctic: Kurumsal Yapay Zeka için Son Teknoloji LLM

Günümüzde şirketler, üretkenliği artırmak ve akıllı uygulamalar oluşturmak için büyük dil modellerinden (LLM'ler) yararlanmanın yollarını giderek daha fazla araştırıyor. Ancak mevcut LLM seçeneklerinin çoğu, veri analizi, kodlama ve görev otomasyonu gibi kurumsal ihtiyaçlara göre uyarlanmamış genel modellerdir. Girmek Kar Tanesi Arktik – temel kurumsal kullanım durumları için özel olarak tasarlanmış ve optimize edilmiş son teknoloji ürünü bir LLM.

Snowflake'teki yapay zeka araştırma ekibi tarafından geliştirilen Arctic, verimli eğitim, maliyet etkinliği ve benzersiz düzeyde açıklıkla mümkün olanın sınırlarını zorluyor. Bu devrim niteliğindeki model, mevcut LLM'lere kıyasla çok daha az bilgi işlem gücü gerektirirken, temel kurumsal kıyaslamalarda öne çıkıyor. Arctic'i kurumsal yapay zeka açısından ezber bozan şeyin ne olduğuna bakalım.

Kurumsal Zeka Yeniden Tanımlandı Arctic özünde, işletmeler için gerçekten önemli olan kodlama, SQL sorgulama, karmaşık talimat takibi ve temelli, gerçeklere dayalı çıktılar üretme gibi metriklerde olağanüstü performans sağlamaya odaklanmıştır. Snowflake bu kritik yetenekleri bir romanda birleştirdi “kurumsal zeka” metrik.

Sonuçlar kendileri için konuşuyor. Arctic, eğitim için bilgi işlem bütçesinin yarısından azını kullanırken, kurumsal zeka kıyaslamalarında LLAMA 7B ve LLAMA 70B gibi modelleri karşılıyor veya onlardan daha iyi performans gösteriyor. kullanılmasına rağmen dikkate değer bir şekilde LLAMA 17B'den 70 kat daha az bilgi işlem kaynağıArctic, kodlama (HumanEval+, MBPP+), SQL oluşturma (Spider) ve talimat izleme (IFEval) gibi özel testlerde eşitlik sağlıyor.

Ancak Arctic'in becerisi kurumsal kriterlerin ötesine geçiyor. DBRX gibi katlanarak artan bilgi işlem bütçeleriyle eğitilen modellerle karşılaştırıldığında genel dil anlayışı, akıl yürütme ve matematiksel yetenek açısından güçlü performansı korur. Bu bütünsel yetenek, Arctic'i bir işletmenin çeşitli yapay zeka ihtiyaçlarının üstesinden gelmek için rakipsiz bir seçim haline getiriyor.

Yenilik

Yoğun MoE Hibrit Transformatör Peki Snowflake ekibi nasıl bu kadar inanılmaz derecede yetenekli ve verimli bir Yüksek Lisans (LLM) oluşturdu? Cevap, Arctic'in son teknoloji Yoğun Uzmanlar Karması (MoE) Hibrit Transformatör mimarisinde yatıyor.

Geleneksel yoğun transformatör modellerinin boyutları büyüdükçe eğitilmesi giderek daha maliyetli hale geliyor ve hesaplama gereksinimleri doğrusal olarak artıyor. MoE tasarımı, birden fazla paralel ileri besleme ağı (uzmanlar) kullanarak ve her giriş jetonu için yalnızca bir alt kümeyi etkinleştirerek bu durumun aşılmasına yardımcı olur.

Ancak yalnızca MoE mimarisini kullanmak yeterli değildir; Arctic, hem yoğun hem de MoE bileşenlerinin güçlü yönlerini ustaca birleştirir. 10 milyar parametre yoğun transformatör kodlayıcıyı 128 uzman artık MoE çok katmanlı algılayıcı (MLP) katmanıyla eşleştirir. Bu yoğun MoE hibrit modelinin toplamı 480 milyar parametredir ancak herhangi bir zamanda ilk 17 geçitlemeyi kullanarak yalnızca 2 milyarı aktiftir.

Bunun sonuçları çok derin: Arctic, eğitim ve çıkarım sırasında dikkate değer derecede bilgi işlem verimliliğini korurken, benzeri görülmemiş bir model kalitesi ve kapasitesine ulaşıyor. Örneğin Arctic, çıkarım sırasında DBRX gibi modellere göre %50 daha az aktif parametreye sahiptir.

Ancak model mimarisi hikayenin yalnızca bir kısmı. Arctic'in mükemmelliği, Snowflake araştırma ekibi tarafından geliştirilen birçok öncü teknik ve anlayışın sonucudur:

1. Kurumsal Odaklı Eğitim Veri Müfredatı Kapsamlı deneyler sonucunda ekip, sağduyulu muhakeme gibi genel becerilerin erken dönemde öğrenilmesi gerektiğini, kodlama ve SQL gibi daha karmaşık uzmanlıkların ise eğitim sürecinde daha sonra edinilmesinin daha iyi olduğunu keşfetti. Arctic'in veri müfredatı, insanın öğrenme ilerlemelerini taklit eden üç aşamalı bir yaklaşımı izliyor.

İlk teratokenler geniş bir genel taban oluşturmaya odaklanıyor. Sonraki 1.5 teratoken, SQL, kodlama görevleri ve daha fazlası için özel olarak hazırlanmış veriler aracılığıyla kurumsal becerilerin geliştirilmesine odaklanıyor. Son teratokenler, geliştirilmiş veri kümelerini kullanarak Arctic'in uzmanlıklarını daha da geliştiriyor.

2. Optimum Mimari Seçimler MoE'ler bilgi işlem başına daha iyi kalite vaat ederken, doğru yapılandırmaların seçilmesi çok önemlidir ancak tam olarak anlaşılamamıştır. Detaylı araştırma sonucunda Snowflake, kalite-verimlilik dengelerini değerlendirdikten sonra her katmanda ilk 128'ye giren 2 uzmanın çalıştığı bir mimariye ulaştı.

Uzman sayısının arttırılması daha fazla kombinasyon sağlayarak model kapasitesini arttırır. Ancak bu aynı zamanda iletişim maliyetlerini de artırıyor, bu nedenle Snowflake, optimum denge olarak ilk 128 geçiş yoluyla etkinleştirilen 2 dikkatle tasarlanmış "yoğunlaştırılmış" uzmana ulaştı.

3. Sistem Ortak Tasarımı Ancak en uygun model mimarisi bile sistem darboğazları nedeniyle zayıflayabilir. Dolayısıyla Snowflake ekibi burada da yenilik yaptı; model mimarisini temeldeki eğitim ve çıkarım sistemleriyle birlikte tasarladı.

Verimli eğitim için yoğun ve MoE bileşenleri, örtüşen iletişim ve hesaplamayı mümkün kılacak ve önemli iletişim giderlerini gizleyecek şekilde yapılandırıldı. Çıkarım tarafında ekip, Arctic'in ölçeğine rağmen yüksek verimli dağıtım sağlamak için NVIDIA'nın yeniliklerinden yararlandı.

FP8 nicemleme gibi teknikler, etkileşimli çıkarım için tam modelin tek bir GPU düğümüne yerleştirilmesine olanak tanır. Daha büyük gruplar, Arctic'in çoklu düğümlerdeki paralellik yeteneklerini kullanırken, kompakt 17B aktif parametreleri sayesinde etkileyici düzeyde bilgi işlem verimliliğini korur.

Apache 2.0 lisansı ile Arctic'in ağırlıkları ve kodları herhangi bir kişisel, araştırma veya ticari kullanım için kontrolsüz olarak mevcuttur. Ancak Snowflake çok daha ileri gitti ve Arctic'e güç veren tüm veri tariflerini, model uygulamalarını, ipuçlarını ve derin araştırma içgörülerini açık kaynak olarak kullandı.

"Arktik Yemek Kitabı”, Arctic gibi büyük ölçekli bir MoE modelinin oluşturulması ve optimize edilmesinin her yönünü kapsayan kapsamlı bir bilgi tabanıdır. Veri kaynağı kullanımı, model mimarisi tasarımı, sistem ortak tasarımı, optimize edilmiş eğitim/çıkarım şemaları ve daha pek çok alanda temel öğrenmeleri özetler.

Optimum veri müfredatlarının belirlenmesinden MoE'lerin tasarlanmasına ve aynı zamanda derleyicilerin, zamanlayıcıların ve donanımın birlikte optimize edilmesine kadar bu kapsamlı bilgi birikimi, daha önce elit yapay zeka laboratuvarlarıyla sınırlı olan becerileri demokratikleştirir. Arctic Cookbook, öğrenme süreçlerini hızlandırır ve dünya çapındaki işletmelere, araştırmacılara ve geliştiricilere, neredeyse her kullanım durumu için kendi uygun maliyetli, özel Yüksek Lisans Programlarını oluşturma konusunda güç verir.

Arctic'e Başlarken

Arctic'ten yararlanmak isteyen şirketler için Snowflake, hızlı bir başlangıç ​​yapmak için birden fazla yol sunuyor:

Sunucusuz Çıkarım: Snowflake müşterileri, şirketin tamamen yönetilen yapay zeka platformu Snowflake Cortex'te Arctic modeline ücretsiz olarak erişebilir. Bunun ötesinde Arctic, AWS, Microsoft Azure, NVIDIA ve daha fazlası gibi tüm önemli model kataloglarında mevcuttur.

Sıfırdan Başlayın: Açık kaynak model ağırlıkları ve uygulamaları, geliştiricilerin Arctic'i doğrudan uygulamalarına ve hizmetlerine entegre etmelerine olanak tanır. Arctic deposu kod örnekleri, dağıtım eğitimleri, ince ayar tarifleri ve daha fazlasını sağlar.

Özel Modeller Oluşturun: Arctic Cookbook'un kapsamlı kılavuzları sayesinde geliştiriciler, Arctic'in geliştirilmesinden edinilen bilgileri kullanarak herhangi bir özel kullanım durumu için optimize edilmiş kendi özel MoE modellerini sıfırdan oluşturabilirler.

Açık Kurumsal Yapay Zekada Yeni Bir Çağ Arctic, başka bir güçlü dil modelinden daha fazlasıdır; kuruluş için özel olarak tasarlanmış açık, uygun maliyetli ve uzmanlaşmış yapay zeka yeteneklerinde yeni bir çağın habercisidir.

Arctic'in kurumsal DNA'sı, veri analitiğinde devrim yaratma ve kodlama verimliliğinden görev otomasyonunu güçlendirmeye ve daha akıllı uygulamalara kadar, onu genel LLM'ler karşısında rakipsiz bir seçim haline getiriyor. Snowflake, yalnızca modeli değil, arkasındaki tüm Ar-Ge sürecini de açık kaynak kullanarak, tüm yapay zeka ekosistemini geliştirecek bir işbirliği kültürünü teşvik ediyor.

İşletmeler üretken yapay zekayı giderek daha fazla benimserken Arctic, üretim iş yükleri ve kurumsal ortamlar için nesnel olarak üstün modeller geliştirmek için cesur bir plan sunuyor. En son araştırmaların, eşsiz verimliliğin ve kararlı açık ahlakın birleşimi, yapay zekanın dönüştürücü potansiyelini demokratikleştirmede yeni bir ölçüt belirliyor.

Snowflake Arctic modelinin nasıl kullanılacağına ilişkin kod örneklerini içeren bir bölüm:

Arctic ile Uygulamalı Çalışma

Artık Arctic'i gerçekten çığır açıcı yapan şeyin ne olduğunu ele aldığımıza göre, geliştiricilerin ve veri bilimcilerin bu güçlü modeli nasıl uygulamaya koyabileceklerine bakalım.
Kutudan çıktığı haliyle Arctic, Hugging Face ve ortak yapay zeka platformları gibi büyük model merkezleri aracılığıyla önceden eğitilmiş ve dağıtılmaya hazır olarak mevcuttur. Ancak gerçek gücü, özel kullanım durumlarınıza göre özelleştirildiğinde ve ince ayar yapıldığında ortaya çıkar.

Arctic'in Apache 2.0 lisansı, onu uygulamalarınıza, hizmetlerinize veya özel AI iş akışlarınıza entegre etme konusunda tam özgürlük sağlar. Başlamak için transformatör kitaplığını kullanarak bazı kod örneklerini inceleyelim:
Arktik ile Temel Çıkarım

Hızlı metin oluşturma kullanım durumları için Arctic'i yükleyebilir ve temel çıkarımı çok kolay bir şekilde çalıştırabiliriz:

from transformers import AutoTokenizer, AutoModelForCausalLM
# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")
# Create a simple input and generate text
input_text = "Here is a basic question: What is the capital of France?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
# Generate response with Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

Bu şunun gibi bir çıktı vermelidir:

"Fransa'nın başkenti Parisdir. Paris, Fransa'nın en büyük şehri ve ülkenin ekonomik, politik ve kültürel merkezidir. Eyfel Kulesi, Louvre Müzesi ve Notre-Dame Katedrali gibi ünlü simge yapılara ev sahipliği yapıyor.”

Gördüğünüz gibi Arctic, sorguyu sorunsuz bir şekilde anlıyor ve güçlü dil anlama yeteneklerini kullanarak ayrıntılı, temelli bir yanıt sağlıyor.

Uzmanlaşmış Görevler için İnce Ayarlama

Kutudan çıktığı haliyle etkileyici olmasına rağmen Arctic, özelleştirilmiş görevler için özel verileriniz üzerinde kişiselleştirildiğinde ve ince ayarlar yapıldığında gerçekten parlıyor. Snowflake aşağıdakileri kapsayan kapsamlı tarifler sunmuştur:

• Kullanım durumunuza göre uyarlanmış yüksek kaliteli eğitim verilerinin seçilmesi
• Özelleştirilmiş çok aşamalı eğitim müfredatlarının uygulanması
• Verimli LoRA, P-Tuning veya FactorizedFusion ince ayar yaklaşımlarından yararlanma
• SQL, kodlama veya diğer temel kurumsal becerilerin ayırt edilmesine yönelik optimizasyonlar

LoRA ve Snowflake'in tariflerini kullanarak Arctic'te kendi kodlama veri kümelerinizde nasıl ince ayar yapacağınıza dair bir örnek:

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training
# Load base Arctic model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)
# Initialize LoRA configs
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
# Prepare model for LoRA finetuning
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)
# Your coding datasets
data = load_coding_datasets()
# Fine-tune with Snowflake's recipes
train(model, data, ...)

Bu kod, Arctic'i zahmetsizce nasıl yükleyebileceğinizi, kod oluşturma için özel olarak tasarlanmış bir LoRA yapılandırmasını nasıl başlatabileceğinizi ve ardından Snowflake'in rehberliğinden yararlanarak özel kodlama veri kümelerinizde modele nasıl ince ayar yapabileceğinizi gösterir.

Özelleştirilmiş ve ince ayarlı Arctic, temel kurumsal iş akışlarınız ve paydaş ihtiyaçlarınızda benzersiz performans sunmak üzere ayarlanmış özel bir güç merkezi haline gelir.