Snowflake Arctic: The Cutting-Edge LLM pikeun Enterprise AI

Perusahaan ayeuna beuki ngajalajah cara pikeun ngamangpaatkeun model basa ageung (LLM) pikeun ningkatkeun produktivitas sareng nyiptakeun aplikasi anu cerdas. Nanging, seueur pilihan LLM anu sayogi mangrupikeun modél umum anu henteu cocog pikeun kabutuhan perusahaan khusus sapertos analisis data, coding, sareng otomatisasi tugas. Lebetkeun Snowflake Arktik - LLM canggih anu dirancang sareng dioptimalkeun pikeun kasus panggunaan perusahaan inti.

Dimekarkeun ku tim peneliti AI di Snowflake, Arktik ngadorong wates-wates naon anu mungkin ku palatihan efisien, éféktivitas biaya, sareng tingkat kabuka anu teu aya tandinganana. Modél revolusioner ieu unggul dina tolok ukur perusahaan utama bari meryogikeun kakuatan komputasi anu langkung handap dibandingkeun sareng LLM anu tos aya. Hayu urang teuleum kana naon anu ngajadikeun Arktik janten game-changer pikeun perusahaan AI.

Enterprise Intelligence Redefined Dina inti na, Arktik laser-fokus kana delivering kinerja luar biasa dina metrics nu sabenerna penting pikeun perusahaan - coding, querying SQL, instruksi kompléks nuturkeun, sarta ngahasilkeun grounded, kaluaran dumasar-fakta. Snowflake parantos ngagabungkeun kamampuan kritis ieu kana novel "kecerdasan perusahaan"métrik.

Hasilna nyarios sorangan. Arktik nyumponan atanapi ngaunggulan modél sapertos LLAMA 7B sareng LLAMA 70B dina tolok ukur kecerdasan perusahaan bari nganggo kirang ti satengah anggaran komputasi pikeun latihan. Luar biasa, sanajan ngamangpaatkeun 17 kali leuwih saeutik sumberdaya itungan ti LLAMA 70B, Arktik ngahontal parity dina tés husus kawas coding (HumanEval +, MBPP +), generasi SQL (Spider), sarta instruksi handap (IFEval).

Tapi kamampuan Arktik langkung seueur ngan ukur tolok ukur perusahaan. Éta ngajaga kinerja anu kuat dina pamahaman basa umum, penalaran, sareng kamampuan matematika dibandingkeun sareng modél anu dilatih kalayan anggaran komputasi anu langkung luhur sapertos DBRX. Kamampuhan holistik ieu ngajantenkeun Arktik pilihan anu teu tiasa ditandingkeun pikeun ngatasi kabutuhan AI anu rupa-rupa hiji perusahaan.

The Inovasi

Padet-MoE Hybrid Transformer Jadi kumaha tim Snowflake ngawangun LLM incredibly sanggup acan efisien? Jawabanna aya dina arsitektur Transformer Hibrid Campuran-of-Ahli Arktik anu canggih.

Modél trafo padet tradisional janten langkung mahal pikeun ngalatih nalika ukuranana ningkat, sareng syarat komputasi ningkat sacara linier. Desain MoE mantuan ngagilekkeun ieu ku ngamangpaatkeun sababaraha jaringan feed-maju paralel (ahli) sarta ngan ngaktipkeun sawaréh pikeun tiap token input.

Tapi, ngan ukur nganggo arsitéktur MoE henteu cekap - Arktik ngagabungkeun kakuatan komponén padet sareng MoE sacara cerdik. Nyapasangkeun 10 milyar parameter trafo padet encoder sareng 128 ahli residual MoE multi-layer perceptron (MLP) lapisan. Modél hibrida padet-MoE ieu jumlahna aya 480 milyar parameter tapi ngan 17 milyar anu aktip iraha waé nganggo top-2 gating.

Implikasi anu jero - Arktik ngahontal kualitas model unprecedented jeung kapasitas bari tetep luar biasa itung-efisien salila latihan jeung inferensi. Contona, Arktik boga 50% leuwih saeutik parameter aktif ti model kawas DBRX salila inferensi.

Tapi arsitéktur modél ngan ukur hiji bagian tina carita. Kaunggulan Arktik mangrupikeun puncak tina sababaraha téknik sareng wawasan anu dikembangkeun ku tim peneliti Snowflake:

1. Kurikulum Data Pelatihan Fokus Perusahaan Ngaliwatan ékspérimén éksténsif, tim mendakan yén kaahlian generik sapertos nalar akal sehat kedah diajar awal, sedengkeun spésialisasi anu langkung kompleks sapertos coding sareng SQL paling saé dicandak engké dina prosés pelatihan. Kurikulum data Arktik nuturkeun pendekatan tilu-tahap anu niru kamajuan diajar manusa.

The teratokens munggaran difokuskeun ngawangun basa umum lega. 1.5 teratokens salajengna konsentrasi dina ngamekarkeun kaahlian perusahaan ngaliwatan data tailored pikeun SQL, tugas coding, sarta leuwih. The teratokens final salajengna nyaring spésialisasi Arktik ngagunakeun datasets refined.

2. Pilihan Arsitéktur Optimal Sedengkeun MoEs janji kualitas hadé per komputasi, milih konfigurasi katuhu téh krusial acan kirang dipikaharti. Ngaliwatan panalungtikan lengkep, Snowflake landed dina arsitektur employing 128 ahli kalawan top-2 gating unggal lapisan sanggeus evaluating tradeoffs kualitas-efisiensi.

Ngaronjatkeun jumlah ahli nyadiakeun leuwih kombinasi, enhancing kapasitas modél. Sanajan kitu, ieu ogé raises waragad komunikasi, jadi Snowflake landed on 128 dirancang taliti "condensed" ahli diaktipkeun via top-2 gating salaku kasaimbangan optimal.

3. Sistem Co-Desain Tapi malah hiji arsitéktur model optimal bisa dirusak ku bottlenecks sistem. Janten tim Snowflake ogé berinovasi di dieu - ngarancang modél arsitéktur panangan sareng latihan dasar sareng sistem inferensi.

Pikeun latihan anu efisien, komponén padet sareng MoE disusun pikeun ngaktifkeun komunikasi sareng komputasi anu tumpang tindih, nyumputkeun overhead komunikasi anu ageung. Dina sisi inferensi, tim ngungkit inovasi NVIDIA pikeun ngaktifkeun panyebaran anu éfisién sanajan skala Arktik.

Téhnik sapertos kuantisasi FP8 ngamungkinkeun nyocogkeun modél lengkep dina hiji titik GPU tunggal pikeun inferensi interaktif. Angkatan anu langkung ageung ngalibatkeun kamampuan paralelisme Arktik dina sababaraha titik bari tetep éfisién itung-itung hatur nuhun kana parameter aktif 17B anu kompak.

Kalayan lisénsi Apache 2.0, beurat sareng kode Arktik sayogi henteu diperyogikeun pikeun panggunaan pribadi, panalungtikan atanapi komérsial. Tapi Snowflake parantos langkung tebih, ngabuka sumber data lengkepna, palaksanaan modél, tip, sareng wawasan panalungtikan anu jero anu nguatkeun Arktik.

The "Arktik Cookbook"mangrupikeun dasar pangaweruh komprehensif anu nyertakeun unggal aspék ngawangun sareng ngaoptimalkeun modél MoE skala ageung sapertos Arktik. Éta nyuling diajar konci dina sumber data, desain arsitéktur modél, desain babarengan sistem, skéma pelatihan/inferensi anu dioptimalkeun sareng seueur deui.

Tina ngaidentipikasi kurikulum data anu optimal dugi ka arsitéktur MoEs bari ngaoptimalkeun kompiler, penjadwal sareng hardware - badan pangaweruh éksténsif ieu ngadémokrasikeun kaahlian anu sateuacana dipasrahkeun ka lab AI elit. Arktik Cookbook ngagancangkeun kurva diajar sareng nguatkeun usaha, panaliti sareng pamekar sacara global pikeun nyiptakeun LLM anu cocog sareng biaya-éféktif sorangan pikeun ampir sagala pamakean.

Ngamimitian ku Arktik

Pikeun perusahaan anu resep ngamangpaatkeun Arktik, Snowflake nawiskeun sababaraha jalur pikeun ngamimitian gancang:

Inferensi Tanpa Server: Palanggan Snowflake tiasa ngaksés modél Arktik gratis dina Snowflake Cortex, platform AI anu diurus pinuh ku perusahaan. Saluareun éta, Arktik sayogi di sadaya katalog modél utama sapertos AWS, Microsoft Azure, NVIDIA, sareng seueur deui.

Mimitian ti scratch: The model open source beurat tur implementations ngidinan pamekar pikeun langsung ngahijikeun Arktik kana aktip sarta jasa maranéhanana. Arctic repo nyadiakeun conto kode, tutorials penyebaran, resep fine-tuning, sareng nu sanesna.

Ngawangun Modél Adat: Hatur nuhun kana pituduh lengkep Arctic Cookbook, pamekar tiasa ngawangun modél MoE adat sorangan ti mimiti dioptimalkeun pikeun sagala pamakean khusus nganggo diajar tina pamekaran Arktik.

A New Era of Open Enterprise AI Arctic langkung ti ngan ukur modél basa anu kuat - éta nunjukkeun éra énggal kamampuan AI anu kabuka, hemat biaya sareng khusus anu didamel khusus pikeun perusahaan.

Tina révolusi analitik data sareng produktivitas coding pikeun ngawasaan otomatisasi tugas sareng aplikasi anu langkung pinter, DNA perusahaan-perusahaan Arktik ngajadikeun éta pilihan anu teu tiasa ditandingkeun tibatan LLM umum. Sareng ku sumber terbuka sanés ngan ukur modél tapi sadayana prosés R&D di tukangeunana, Snowflake ngabina budaya kolaborasi anu bakal ngangkat sakabéh ékosistem AI.

Nalika perusahaan beuki nganut AI generatif, Arctic nawiskeun cetak biru anu wani pikeun ngembangkeun modél anu langkung unggul pikeun beban kerja produksi sareng lingkungan perusahaan. Gabungan panalungtikan canggih, efisiensi anu teu aya tanding sareng etos kabuka anu mantep netepkeun patokan anyar dina demokratisasi poténsi transformatif AI.

Ieu mangrupikeun bagian kalayan conto kode ngeunaan cara ngagunakeun modél Snowflake Arktik:

Leungeun-On kalawan Arktik

Ayeuna urang parantos nutupan naon anu ngajadikeun Arktik leres-leres groundbreaking, hayu urang teuleum kumaha pamekar sareng élmuwan data tiasa ngamimitian ngalaksanakeun modél powerhouse ieu.
Out of the box, Arktik sayogi tos dilatih sareng siap nyebarkeun ngaliwatan hub modél utama sapertos Hugging Face sareng platform AI pasangan. Tapi kakuatan nyatana muncul nalika ngarobih sareng nyaluyukeunana pikeun kasus pamakean khusus anjeun.

Lisensi Apache 2.0 Arktik nyadiakeun kabebasan pinuh pikeun ngahijikeun kana aplikasi anjeun, jasa atanapi alur kerja AI khusus. Hayu urang ngaliwat sababaraha conto kode nganggo perpustakaan trafo pikeun ngamimitian anjeun:
Inferensi Dasar sareng Arktik

Pikeun kasus pamakéan generasi téks gancang, urang tiasa ngamuat Arktik tur ngajalankeun inferensi dasar pisan gampang:

from transformers import AutoTokenizer, AutoModelForCausalLM
# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")
# Create a simple input and generate text
input_text = "Here is a basic question: What is the capital of France?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
# Generate response with Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

Ieu kedah kaluaran sapertos kieu:

"Ibu kota Perancis nyaéta Paris. Paris mangrupikeun kota panggedéna di Perancis sareng pusat ékonomi, politik sareng budaya nagara éta. Éta mangrupikeun tempat-tempat anu kasohor sapertos Menara Eiffel, musium Louvre, sareng Katedral Notre-Dame.

Sakumaha anjeun tiasa tingali, Arktik lancar ngartos patarosan sareng nyayogikeun réspon anu lengkep sareng dumasar kana kamampuan pamahaman basa anu kuat.

Fine-tuning pikeun Tugas husus

Sanaos luar biasa luar biasa, Arktik leres-leres bersinar nalika disaluyukeun sareng disaluyukeun dina data proprietary anjeun pikeun tugas khusus. Snowflake geus nyadiakeun resep éksténsif ngawengku:

• Curating data latihan kualitas luhur disaluyukeun pikeun kasus pamakéan Anjeun
• Ngalaksanakeun kurikulum pelatihan multi-tahap anu disaluyukeun
• Ngamangpaatkeun pendekatan fine-tuning LoRA, P-Tuning atanapi FactorizedFusion
• Optimizations pikeun discerning SQL, coding atawa kaahlian perusahaan konci lianna

Ieu conto kumaha cara nyaluyukeun Arktik dina set data coding anjeun nganggo resep LoRA sareng Snowflake:

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training
# Load base Arctic model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)
# Initialize LoRA configs
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
# Prepare model for LoRA finetuning
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)
# Your coding datasets
data = load_coding_datasets()
# Fine-tune with Snowflake's recipes
train(model, data, ...)

Kode ieu ngagambarkeun kumaha anjeun tiasa ngamuat Arktik kalayan gampang, ngamimitian konfigurasi LoRA anu disaluyukeun pikeun generasi kode, teras nyaluyukeun modél dina set data coding proprietary anjeun anu ngamangpaatkeun bimbingan Snowflake.

Disesuaikeun sareng disaluyukeun, Arktik janten kakuatan listrik swasta anu disetel pikeun nganteurkeun prestasi anu teu cocog dina alur kerja perusahaan inti anjeun sareng kabutuhan stakeholder.