Снегулка Арктик: Најсовремен LLM за Enterprise AI

Претпријатијата денес сè повеќе истражуваат начини да користат големи јазични модели (LLM) за да ја зголемат продуктивноста и да создадат интелигентни апликации. Сепак, многу од достапните опции за LLM се генерички модели кои не се приспособени за специјализирани потреби на претпријатието, како што се анализа на податоци, кодирање и автоматизација на задачи. Внесете Снегулка Арктик – најсовремен LLM намерно дизајниран и оптимизиран за основни случаи на употреба на претпријатија.

Развиен од истражувачкиот тим за вештачка интелигенција во Snowflake, Арктикот ги поместува границите на она што е можно со ефикасен тренинг, исплатливост и неспоредливо ниво на отвореност. Овој револуционерен модел се истакнува во клучните одредници на претпријатијата додека бара многу помала компјутерска моќ во споредба со постоечките LLM. Ајде да се нурнеме во она што го прави Арктик менувач на играта за претпријатието AI.

Редефинирана интелигенција на претпријатијата Во неговото јадро, Арктикот е ласерски фокусиран на обезбедување исклучителни перформанси на метрика кои навистина се важни за претпријатијата - кодирање, барање SQL, следење сложени инструкции и производство на втемелени резултати засновани на факти. Снегулка ги комбинира овие критични способности во роман.интелигенција на претпријатието“ метрика.

Резултатите зборуваат сами за себе. Арктикот ги исполнува или ги надминува моделите како LLAMA 7B и LLAMA 70B на стандардите за интелигенција на претпријатието, додека користи помалку од половина од компјутерскиот буџет за обука. Неверојатно, и покрај искористувањето 17 пати помалку пресметани ресурси од LLAMA 70B, Арктикот постигнува паритет на специјализирани тестови како кодирање (HumanEval+, MBPP+), генерирање SQL (Spider) и следење на инструкции (IFEval).

Но, моќта на Арктикот оди подалеку од стандардните стандарди на претпријатијата. Одржува силни перформанси во општото разбирање на јазикот, расудувањето и математичката способност во споредба со моделите обучени со експоненцијално повисоки пресметковни буџети како DBRX. Оваа холистичка способност го прави Арктикот непобедлив избор за справување со различните потреби за вештачка интелигенција на едно претпријатие.

Иновацијата

Dense-MoE Hybrid Transformer Па, како тимот на Snowflake изгради толку неверојатно способен, но ефикасен LLM? Одговорот лежи во врвната архитектура на хибридниот трансформатор со густа мешавина на експерти (МО) на Арктикот.

Традиционалните модели на трансформатори со густи трансформатори стануваат сè поскапи за обука како што расте нивната големина, при што пресметковните барања се зголемуваат линеарно. Дизајнот на Министерството за економија помага да се заобиколи ова со користење на повеќе паралелни мрежи за пренос (експерти) и само активирање на подмножество за секој влезен токен.

Сепак, едноставното користење на архитектурата на Министерството за економија не е доволно - Арктикот генијално ги комбинира силните страни и на густите и на компонентите на МЕ. Спарува трансформаторски енкодер со густина од 10 милијарди параметри со 128 експертски преостанат MoE повеќеслоен перцептронски слој (MLP). Овој хибриден модел со густа MoE има вкупно 480 милијарди параметри, но само 17 милијарди се активни во секое време со користење на топ-2 порти.

Импликациите се длабоки - Арктикот постигнува невиден квалитет и капацитет на моделот, додека останува неверојатно ефикасен во пресметувањето за време на обуката и заклучоците. На пример, Арктикот има 50% помалку активни параметри од моделите како DBRX за време на заклучувањето.

Но, моделската архитектура е само еден дел од приказната. Извонредноста на Арктикот е кулминација на неколку пионерски техники и согледувања развиени од истражувачкиот тим на Снегулка:

1. Наставна програма за податоци за обука фокусирана на претпријатија Преку опширно експериментирање, тимот откри дека генеричките вештини како разумното расудување треба да се научат рано, додека посложените специјализации како кодирање и SQL најдобро се стекнуваат подоцна во процесот на обука. Наставната програма за податоци на Арктикот следи пристап од три фази имитирајќи прогресија на човечкото учење.

Првите тератокени се фокусираат на градење на широка општа база. Следните 1.5 тератокени се концентрираат на развивање на деловни вештини преку податоци приспособени за SQL, задачи за кодирање и многу повеќе. Конечните тератокени дополнително ги усовршуваат специјализациите на Арктикот користејќи рафинирани збирки на податоци.

2. Оптимални архитектонски избори. Преку детално истражување, Snowflake слета на архитектура во која беа вработени 128 експерти со врвни 2 порти за секој слој по евалуација на компромисите помеѓу квалитетот и ефикасноста.

Зголемувањето на бројот на експерти обезбедува повеќе комбинации, зголемувајќи го капацитетот на моделот. Сепак, ова ги зголемува и трошоците за комуникација, па Снегулка слета на 128 внимателно дизајнирани „кондензирани“ експерти активирани преку портата Топ-2 како оптимална рамнотежа.

3. Системски ко-дизајн Но, дури и оптималната архитектура на моделот може да биде поткопана од тесните грла на системот. Така, тимот на Snowflake иновираше и овде - ко-дизајнирајќи ја архитектурата на моделот рака под рака со основните системи за обука и заклучоци.

За ефикасна обука, густите компоненти и компонентите на Министерството за економија беа структурирани за да овозможат преклопување на комуникација и пресметување, сокривајќи значителни општи трошоци за комуникација. На страната на заклучоците, тимот ги искористи иновациите на NVIDIA за да овозможи високо ефикасно распоредување и покрај обемот на Арктикот.

Техниките како квантизацијата FP8 овозможуваат вклопување на целосниот модел на еден јазол на графичкиот процесор за интерактивно заклучување. Поголемите серии ги вклучуваат можностите за паралелизам на Арктикот низ повеќе јазли додека остануваат импресивно пресметано ефикасни благодарение на неговите компактни активни параметри од 17B.

Со лиценца Apache 2.0, тежините и кодот на Арктикот се достапни неутврдени за каква било лична, истражувачка или комерцијална употреба. Но, Snowflake отиде многу подалеку, со отворени извори на нивните комплетни рецепти за податоци, имплементации на модели, совети и длабоки истражувачки сознанија кои го напојуваат Арктикот.

На "Арктичка готвач“ е сеопфатна база на знаење што го покрива секој аспект на градење и оптимизирање на модел на МЕ од големи размери како Арктикот. Ги дестилира клучните учења за изворите на податоци, дизајнот на архитектурата на моделите, ко-дизајнот на системот, оптимизираните шеми за обука/заклучоци и многу повеќе.

Од идентификација на оптимални наставни програми за податоци до архитектирање на Министерството за образование и наука додека се кооптимизираат компајлери, распоредувачи и хардвер - ова обемно тело на знаење ги демократизира вештините кои претходно биле ограничени на елитните лаборатории за вештачка интелигенција. Arctic Cookbook ги забрзува кривите на учење и им дава овластување на бизнисите, истражувачите и програмерите на глобално ниво да создадат свои економични, приспособени LLM за практично секој случај на употреба.

Започнување со Арктикот

За компаниите кои сакаат да го користат Арктикот, Snowflake нуди повеќе патеки за брзо започнување:

Заклучок без сервер: Клиентите на Snowflake можат бесплатно да пристапат до моделот на Арктикот на Snowflake Cortex, целосно управуваната платформа за вештачка интелигенција на компанијата. Покрај тоа, Арктикот е достапен во сите главни каталози на модели како AWS, Microsoft Azure, NVIDIA и многу повеќе.

Започнете од нула: Тежините и имплементациите на моделот со отворен код им овозможуваат на програмерите директно да го интегрираат Арктикот во нивните апликации и услуги. Репото на Арктикот обезбедува примероци на кодови, упатства за распоредување, рецепти за дотерување и многу повеќе.

Изградба на сопствени модели: Благодарение на исцрпните водичи на Arctic Cookbook, програмерите можат да изградат свои сопствени модели на MoE од почеток, оптимизирани за секој специјализиран случај на употреба користејќи научени информации од развојот на Арктикот.

Новата ера на отворено претпријатие AI Arctic е повеќе од само уште еден моќен јазичен модел - тој најавува нова ера на отворени, економични и специјализирани способности за вештачка интелигенција наменски изградени за претпријатието.

Од револуционерна анализа на податоци и продуктивност на кодирање до поттикнување на автоматизација на задачите и попаметни апликации, првата ДНК на Арктикот го прави непобедлив избор во однос на генеричките LLM. И со користење на отворени извори не само на моделот, туку и на целиот процес на истражување и развој зад него, Snowflake негува култура на соработка што ќе го подигне целиот екосистем за вештачка интелигенција.

Бидејќи претпријатијата сè повеќе ја прифаќаат генеративната вештачка интелигенција, Арктикот нуди храбар план за развој на модели кои се објективно супериорни за обемот на работа во производството и опкружувањето на претпријатијата. Нејзиното спојување на врвни истражувања, неспоредлива ефикасност и постојан отворен етос поставува нов репер во демократизацијата на трансформативниот потенцијал на вештачката интелигенција.

Еве дел со примери на код за тоа како да се користи моделот Snowflake Arctic:

Рачно со Арктикот

Сега кога опфативме што го прави Арктикот навистина револуционерен, ајде да се нурнеме во тоа како програмерите и научниците за податоци можат да почнат да го применуваат овој моќен модел на работа.
Надвор од кутијата, Арктикот е достапен претходно обучен и подготвен за распоредување преку главните центри за модели како Hugging Face и партнерските платформи за вештачка интелигенција. Но, неговата вистинска моќ се појавува кога го прилагодувате и дотерувате за вашите специфични случаи на употреба.

Лиценцата Apache 2.0 на Арктикот обезбедува целосна слобода да се интегрира во вашите апликации, услуги или прилагодени работни текови со вештачка интелигенција. Ајде да прошетаме низ некои примери на код користејќи ја библиотеката за трансформатори за да започнете:
Основен заклучок со Арктикот

За случаи на користење брзо генерирање текст, можеме многу лесно да го вчитаме Арктикот и да извршиме основни заклучоци:

from transformers import AutoTokenizer, AutoModelForCausalLM
# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")
# Create a simple input and generate text
input_text = "Here is a basic question: What is the capital of France?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
# Generate response with Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

Ова треба да излезе нешто како:

„Главниот град на Франција е Париз. Париз е најголемиот град во Франција и економски, политички и културен центар на земјата. Тој е дом на познати знаменитости како Ајфеловата кула, музејот Лувр и катедралата Нотр Дам“.

Како што можете да видите, Арктикот беспрекорно го разбира барањето и обезбедува детален, втемелен одговор користејќи ги неговите робусни способности за разбирање јазик.

Фино подесување за специјализирани задачи

Иако е импресивен надвор од кутијата, Арктикот навистина блеска кога е приспособен и фино подесен на вашите сопственички податоци за специјализирани задачи. Снегулка обезбеди обемни рецепти кои покриваат:

• Курирање на висококвалитетни податоци за обука приспособени за вашиот случај на употреба
• Спроведување прилагодени наставни програми за обука во повеќе фази
• Искористување на ефикасните пристапи за дотерување LoRA, P-Tuning или FactorizedFusion
• Оптимизации за остроумни SQL, кодирање или други клучни деловни вештини

Еве пример за тоа како фино да го прилагодите Арктикот на вашите сопствени збирки на податоци за кодирање користејќи ги рецептите на LoRA и Snowflake:

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training
# Load base Arctic model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)
# Initialize LoRA configs
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
# Prepare model for LoRA finetuning
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)
# Your coding datasets
data = load_coding_datasets()
# Fine-tune with Snowflake's recipes
train(model, data, ...)

Овој код илустрира како можете без напор да го вчитате Арктикот, да иницијализирате конфигурација LoRA приспособена за генерирање код, а потоа фино да го прилагодите моделот на вашите сопствени збирки на податоци за кодирање користејќи ги упатствата на Snowflake.

Приспособено и дотерување, Арктик станува приватна централа наместена да испорача неспоредливи перформанси на вашите основни работни процеси на претпријатието и потребите на засегнатите страни.