Snowflake Arctic: Enterprise AI-д зориулсан Cutting-Edge LLM

Өнөөдөр аж ахуйн нэгжүүд бүтээмжийг нэмэгдүүлэх, ухаалаг програмуудыг бий болгохын тулд том хэлний загваруудыг (LLMs) ашиглах арга замыг улам судалж байна. Гэсэн хэдий ч, боломжтой LLM сонголтуудын ихэнх нь мэдээллийн дүн шинжилгээ, кодчилол, даалгаврын автоматжуулалт гэх мэт аж ахуйн нэгжийн тусгай хэрэгцээнд зориулагдаагүй ерөнхий загварууд юм. Оруулна уу Арктикийн цасан ширхгүүд – Аж ахуйн нэгжийн үндсэн хэрэглээний тохиолдлуудад зориулж зорилготойгоор бүтээгдсэн, оновчтой болгосон хамгийн сүүлийн үеийн LLM.

Snowflake дахь хиймэл оюун ухааны судалгааны багийн боловсруулсан Арктик нь үр дүнтэй сургалт, өртөг хэмнэлт, хосгүй нээлттэй байдлын тусламжтайгаар боломжтой зүйлсийн хил хязгаарыг даван туулдаг. Энэхүү хувьсгалт загвар нь аж ахуйн нэгжийн гол шалгуур үзүүлэлтүүдэд дээгүүрт ордог бөгөөд одоо байгаа LLM-тэй харьцуулахад хамаагүй бага тооцоолох хүчин чадал шаарддаг. Арктикийг аж ахуйн нэгжийн AI-ийн тоглоомыг өөрчилдөг зүйл юу болохыг олж мэдье.

Аж ахуйн нэгжийн тагнуулыг дахин тодорхойлсон Арктик нь үндсэндээ аж ахуйн нэгжүүдэд чухал ач холбогдолтой хэмжүүрүүд болох кодчилол, SQL асуулга, нарийн төвөгтэй зааварчилгааг дагах, үндэслэлтэй, баримтад суурилсан үр дүнг гаргах зэрэгт онцгой гүйцэтгэлийг лазераар чиглүүлдэг. Snowflake эдгээр чухал чадваруудыг нэгтгэн роман болгон бүтээжээ.аж ахуйн нэгжийн тагнуул” хэмжигдэхүүн.

Үр дүн нь өөрөө ярьдаг. Арктик нь LLAMA 7B, LLAMA 70B зэрэг загваруудыг аж ахуйн нэгжийн тагнуулын жишиг үзүүлэлтээр хангадаг эсвэл илүү сайн ажилладаг бөгөөд сургалтын зардалд тооцоолох төсвийн талаас бага хувийг зарцуулдаг. Ашигласан хэдий ч гайхалтай LLAMA 17B-ээс 70 дахин бага тооцоолох нөөц, Арктик нь кодчилол (HumanEval+, MBPP+), SQL үүсгэх (Spider) болон зааварчилгаа (IFEval) зэрэг төрөлжсөн тестүүд дээр ижил түвшинд хүрдэг.

Гэхдээ Арктикийн ур чадвар нь зөвхөн аж ахуйн нэгжийн жишиг үзүүлэлтээс давж гардаг. Энэ нь DBRX гэх мэт экспоненциал өндөр тооцооллын төсөвтэй бэлтгэгдсэн загваруудтай харьцуулахад хэлний ерөнхий ойлголт, үндэслэл, математикийн чадварын хувьд өндөр гүйцэтгэлтэй байдаг. Энэхүү цогц чадавхи нь Арктикийг аж ахуйн нэгжийн хиймэл оюун ухааны олон төрлийн хэрэгцээг хангахад дийлдэшгүй сонголт болгодог.

Инноваци

Нягт МоЭ-ийн эрлийз хувиргагч Цасан ширхгийн баг ийм гайхалтай чадвартай хэрнээ үр ашигтай LLM-ийг хэрхэн бүтээсэн бэ? Хариулт нь Арктикийн хамгийн сүүлийн үеийн нягт холимог мэргэжилтнүүдийн (МЭ) Hybrid Transformer архитектурт оршдог.

Уламжлалт нягт трансформаторын загварууд нь хэмжээ нь өсөхийн хэрээр сургахад илүү өртөгтэй болж, тооцооллын шаардлага нь шугаман нэмэгддэг. МЯ-ны загвар нь олон зэрэгцээ дамжуулах сүлжээг (шинжээчид) ашиглаж, зөвхөн оролтын жетон тус бүрийн дэд багцыг идэвхжүүлснээр үүнийг даван туулахад тусалдаг.

Гэсэн хэдий ч, зүгээр л ЭМЯ-ны архитектурыг ашиглах нь хангалтгүй - Арктик нь нягт болон МоЕ бүрэлдэхүүн хэсгүүдийн хүч чадлыг гайхалтай хослуулсан. Энэ нь 10 тэрбум параметрийн нягт трансформаторын кодлогчийг 128 шинжээчийн үлдэгдэл МЭ-ийн олон давхаргат перцептрон (MLP) давхаргатай хослуулсан. Энэхүү нягт уялдаатай МоЭ-ийн эрлийз загвар нь нийт 480 тэрбум параметртэй боловч зөвхөн 17 тэрбум нь топ-2 гарцыг ашиглан ямар ч үед идэвхтэй байдаг.

Үүний үр дагавар нь гүн гүнзгий юм - Арктик нь урьд өмнө хэзээ ч байгаагүй загвар чанар, хүчин чадлыг бий болгож, сургалт, дүгнэлт хийх явцад тооцоолоход маш үр дүнтэй хэвээр байна. Жишээлбэл, Арктик нь дүгнэлт хийх явцад DBRX гэх мэт загваруудаас 50% бага идэвхтэй параметртэй байдаг.

Гэхдээ загвар архитектур бол түүхийн зөвхөн нэг хэсэг юм. Арктикийн шилдэг чадвар нь Цасан ширхгийн судалгааны багийн боловсруулсан хэд хэдэн анхдагч техник, ойлголтын оргил юм.

1. Аж ахуйн нэгжид төвлөрсөн сургалтын өгөгдлийн сургалтын хөтөлбөр Өргөн хүрээтэй туршилтын үр дүнд баг нь нийтлэг ойлголттой байх зэрэг ерөнхий ур чадварыг эрт сурах ёстой бол кодчилол, SQL гэх мэт нарийн төвөгтэй мэргэшлийг сургалтын явцад хамгийн сайн эзэмшдэг болохыг олж мэдэв. Арктикийн өгөгдлийн сургалтын хөтөлбөр нь хүний ​​суралцах явцыг дуурайсан гурван үе шаттай арга барилыг баримталдаг.

Эхний тератокенууд нь ерөнхий суурь суурийг бий болгоход чиглэгддэг. Дараагийн 1.5 тератокендер нь SQL-д тохируулсан өгөгдөл, кодчиллын даалгавар болон бусад зүйлсээр дамжуулан аж ахуйн нэгжийн ур чадварыг хөгжүүлэхэд чиглэгддэг. Эцсийн тератокенууд нь боловсронгуй өгөгдлийн багц ашиглан Арктикийн мэргэшлийг улам боловсронгуй болгодог.

2. Архитектурын оновчтой сонголтууд БХЯ нь тооцоолол бүрт илүү сайн чанарыг амлаж байгаа ч зөв тохиргоог сонгох нь маш чухал боловч сайн ойлгогдоогүй байна. Нарийвчилсан судалгааны үр дүнд Snowflake чанар-үр ашгийн зөрүүг үнэлсний дараа давхарга бүрт шилдэг 128 хаалгатай 2 мэргэжилтнүүдийг ажиллуулдаг архитектур дээр газарджээ.

Мэргэжилтнүүдийн тоог нэмэгдүүлэх нь илүү олон хослолыг бий болгож, загварын чадавхийг сайжруулдаг. Гэсэн хэдий ч энэ нь харилцааны зардлыг нэмэгдүүлдэг тул Snowflake хамгийн оновчтой тэнцэл болгон шилдэг 128 гарцаар идэвхжүүлсэн 2 нарийн зохион бүтээгдсэн "конденсатор" шинжээч дээр буув.

3. Системийн хамтын дизайн Гэхдээ хамгийн оновчтой загвар архитектурыг ч системийн гацаанаас болж алддаг. Тиймээс Snowflake багийнхан энд бас шинэлэг зүйл хийж, загвар архитектурыг үндсэн сургалт, дүгнэлтийн системтэй гар нийлэн зохиосон.

Сургалтыг үр дүнтэй болгохын тулд нягт болон ЭМЯ-ны бүрэлдэхүүн хэсгүүдийг давхардсан харилцаа холбоо, тооцоолол хийх боломжтой болгож, харилцааны ихээхэн зардлыг нуун дарагдуулахаар зохион байгуулсан. Дүгнэлт талаас нь авч үзвэл баг нь Арктикийн цар хүрээг үл харгалзан өндөр үр ашигтай байршуулах боломжийг олгохын тулд NVIDIA-ийн шинэчлэлийг ашигласан.

FP8 хэмжигдэхүүн гэх мэт аргууд нь интерактив дүгнэлт гаргахын тулд нэг GPU зангилаа дээр бүтэн загварыг суулгах боломжийг олгодог. Илүү том багцууд нь Арктикийн параллелизмын чадавхийг олон зангилаагаар нэвтрүүлж, авсаархан 17B идэвхтэй параметрүүдийн ачаар тооцоолоход гайхалтай үр ашигтай хэвээр байна.

Apache 2.0 лицензтэй бол Арктикийн жин, кодыг хувийн, судалгаа, арилжааны зориулалтаар ашиглах боломжтой. Гэхдээ Snowflake илүү хол явж, өгөгдлийн бүрэн жор, загвар хэрэгжүүлэлт, зөвлөмж, Арктикийг хүчирхэгжүүлсэн судалгааны гүн гүнзгий ойлголтыг нээлттэй эх сурвалжаас гаргажээ.

"Арктикийн хоолны ном” нь Арктик шиг том хэмжээний МоЭ загварыг бий болгох, оновчтой болгох бүх талыг хамарсан цогц мэдлэгийн сан юм. Энэ нь өгөгдлийн эх үүсвэр, загвар архитектурын дизайн, системийн хамтын дизайн, оновчтой сургалт/дүгнэлт схем болон бусад зүйлсийн үндсэн сургамжийг шингээдэг.

Өгөгдлийн оновчтой сургалтын хөтөлбөрийг тодорхойлохоос эхлээд БСШУСЯ-г зохион байгуулах, эмхэтгэгчид, төлөвлөгч, техник хангамжийг хамтран оновчтой болгох хүртэл – энэхүү өргөн хүрээний мэдлэг нь өмнө нь элит хиймэл оюун ухааны лабораторид хязгаарлагдаж байсан ур чадварыг ардчилсан болгодог. Арктикийн хоолны дэвтэр нь сургалтын муруйг хурдасгаж, дэлхийн хэмжээнд бизнес, судлаач, хөгжүүлэгчдэд өөрийн гэсэн зардал багатай, бараг бүх хэрэглээнд тохирсон LLM-ийг бий болгох боломжийг олгодог.

Арктикийг эхлүүлэх

Арктикийг ашиглах сонирхолтой компаниудын хувьд Snowflake хурдан эхлүүлэх олон арга замыг санал болгож байна.

Сервергүй дүгнэлт: Snowflake-ийн хэрэглэгчид компанийн бүрэн удирдлагатай хиймэл оюун ухааны платформ болох Snowflake Cortex дээр Арктикийн загварт үнэ төлбөргүй хандах боломжтой. Үүнээс гадна Арктик нь AWS, Microsoft Azure, NVIDIA гэх мэт бүх томоохон загварын каталогуудад байдаг.

Эхнээс нь эхэл: Нээлттэй эхийн загварын жин ба хэрэгжилт нь хөгжүүлэгчдэд Арктикийг өөрсдийн програм, үйлчилгээнд шууд нэгтгэх боломжийг олгодог. Арктикийн репо нь кодын дээж, байршуулах заавар, нарийн тааруулах жор болон бусад зүйлийг өгдөг.

Захиалгат загвар бүтээх: Арктикийн хоолны дэвтрийн дэлгэрэнгүй гарын авлагын ачаар хөгжүүлэгчид Арктикийн хөгжүүлэлтийн сургамжийг ашиглан ямар ч тусгай хэрэглээнд зориулан оновчтой болгосон, эхнээс нь тусгайлан боловсруулсан МоЕ загваруудыг бүтээх боломжтой.

Нээлттэй аж ахуйн нэгжийн хиймэл оюун ухааны шинэ эрин Арктик бол өөр нэг хүчирхэг хэлний загвараас илүү бөгөөд энэ нь аж ахуйн нэгжид тусгайлан зориулсан нээлттэй, хэмнэлттэй, тусгай хиймэл оюун ухааны чадавхийн шинэ эрин үеийг зарлаж байна.

Өгөгдлийн аналитик, кодчилолын бүтээмжийг өөрчлөхөөс эхлээд даалгаврын автоматжуулалт, ухаалаг хэрэглээг нэмэгдүүлэх хүртэл Арктикийн анхны ДНХ нь ерөнхий LLM-тэй харьцуулахад ялагдашгүй сонголт болгодог. Зөвхөн загвар төдийгүй түүний ард байгаа бүх R&D үйл явцыг нээлттэй эх үүсвэрээр хангаснаар Snowflake нь AI экосистемийг бүхэлд нь дээшлүүлэх хамтын ажиллагааны соёлыг бий болгож байна.

Аж ахуйн нэгжүүд хиймэл хиймэл оюун ухааныг улам бүр нэвтрүүлэхийн хэрээр Арктик нь үйлдвэрлэлийн ажлын ачаалал болон аж ахуйн нэгжийн орчинд бодитойгоор илүү сайн загваруудыг хөгжүүлэх зоримог төлөвлөгөөг санал болгож байна. Түүний хамгийн сүүлийн үеийн судалгаа, хосгүй үр ашиг, тууштай нээлттэй ёс суртахуун зэрэг нь хиймэл оюун ухааныг өөрчлөх чадавхийг ардчилах шинэ жишиг болж байна.

Snowflake Arctic загварыг хэрхэн ашиглах тухай код жишээ бүхий хэсэг энд байна.

Арктиктай танилцах

Одоо бид Арктикийг үнэхээр шинэлэг зүйл болгодог зүйлийг авч үзсэнийхээ дараа хөгжүүлэгчид болон өгөгдөл судлаачид энэхүү хүчирхэг загварыг хэрхэн ажиллуулж эхлэх талаар сонирхоцгооё.
Арктик нь урьдчилан бэлтгэгдсэн бөгөөд Hugging Face болон түнш AI платформууд зэрэг томоохон загварын төвүүдээр дамжуулан ашиглахад бэлэн байдаг. Гэхдээ түүний жинхэнэ хүч нь таны хэрэглээний нөхцөлд тохируулан, нарийн тааруулах үед гарч ирдэг.

Арктикийн Apache 2.0 лиценз нь үүнийг өөрийн апп, үйлчилгээ эсвэл хиймэл оюун ухааны ажлын урсгалд нэгтгэх бүрэн эрх чөлөөг олгодог. Эхлэхийн тулд трансформаторын санг ашиглан зарим кодын жишээг авч үзье:
Арктиктай холбоотой үндсэн дүгнэлт

Текстийг хурдан үүсгэхийн тулд бид Арктикийг ачаалж, үндсэн дүгнэлтийг маш амархан ажиллуулж болно:

from transformers import AutoTokenizer, AutoModelForCausalLM
# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")
# Create a simple input and generate text
input_text = "Here is a basic question: What is the capital of France?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
# Generate response with Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

Энэ нь дараах зүйлийг гаргах ёстой:

“Францын нийслэл бол Парис. Парис бол Францын хамгийн том хот бөгөөд тус улсын эдийн засаг, улс төр, соёлын төв юм. Энд Эйфелийн цамхаг, Луврын музей, Нотр-Дамын сүм зэрэг алдартай дурсгалт газрууд байдаг.

Таны харж байгаагаар Арктик нь асуулгыг бүрэн ойлгож, хэлийг ойлгох чадвараа ашиглан нарийвчилсан, үндэслэлтэй хариулт өгдөг.

Мэргэшсэн ажлуудад зориулсан нарийн тохируулга

Арктик нь үнэхээр гайхалтай хэдий ч төрөлжсөн ажлуудад зориулж таны хувийн өгөгдөлд тохируулан, нарийн тохируулснаар үнэхээр гэрэлтдэг. Snowflake нь дараахь зүйлийг багтаасан өргөн хүрээний жорыг санал болгож байна.

• Таны хэрэглээний нөхцөлд тохируулсан өндөр чанартай сургалтын өгөгдлийг боловсруулах
• Олон шат дамжлагатай сургалтын хөтөлбөрүүдийг хэрэгжүүлэх
• Үр ашигтай LoRA, P-Tuning эсвэл FactorizedFusion-ийн нарийн тааруулах аргуудыг ашиглах
• SQL, кодчилол эсвэл бусад чухал аж ахуйн нэгжийн ур чадварыг ялгах оновчлол

LoRA болон Snowflake-ийн жорыг ашиглан өөрийн кодчиллын өгөгдлийн багц дээр Арктикийг хэрхэн нарийн тааруулах жишээ энд байна.

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training
# Load base Arctic model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)
# Initialize LoRA configs
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
# Prepare model for LoRA finetuning
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)
# Your coding datasets
data = load_coding_datasets()
# Fine-tune with Snowflake's recipes
train(model, data, ...)

Энэхүү код нь та Арктикийг ямар ч хүчин чармайлтгүйгээр ачаалж, код үүсгэхэд зориулагдсан LoRA тохиргоог эхлүүлж, дараа нь Snowflake-ийн удирдамжийг ашиглан өөрийн кодчиллын өгөгдлийн багц дээр загварыг нарийн тааруулж болохыг харуулж байна.

Тохиромжтой, нарийн тохируулсан Арктик нь таны үндсэн аж ахуйн нэгжийн ажлын урсгал болон оролцогч талуудын хэрэгцээнд нийцэхгүй гүйцэтгэлийг хангахаар тохируулагдсан хувийн хүчирхэг төв болж байна.