Snowflake Arctic: 엔터프라이즈 AI를 위한 최첨단 LLM

오늘날 기업에서는 LLM(대형 언어 모델)을 활용하여 생산성을 높이고 지능형 애플리케이션을 만드는 방법을 점점 더 모색하고 있습니다. 그러나 사용 가능한 LLM 옵션 중 다수는 데이터 분석, 코딩 및 작업 자동화와 같은 전문적인 기업 요구 사항에 맞게 맞춤화되지 않은 일반 모델입니다. 입력하다 눈송이 북극 – 핵심 기업 사용 사례에 맞게 의도적으로 설계되고 최적화된 최첨단 LLM입니다.

Snowflake의 AI 연구팀이 개발한 Arctic은 효율적인 학습, 비용 효율성, 그리고 독보적인 수준의 개방성을 통해 가능성의 한계를 넓혀줍니다. 이 혁신적인 모델은 기존 LLM보다 훨씬 낮은 컴퓨팅 성능을 요구하면서도 주요 엔터프라이즈 벤치마크에서 탁월한 성과를 보여줍니다. Arctic이 엔터프라이즈 AI의 판도를 바꾸는 요인이 무엇인지 자세히 살펴보겠습니다.

기업 인텔리전스 재정의 기본적으로 Arctic은 코딩, SQL 쿼리, 복잡한 지침 따르기, 근거 있는 사실 기반 출력 생성 등 기업에 정말로 중요한 측정 기준에 대한 탁월한 성능을 제공하는 데 중점을 두고 있습니다. Snowflake는 이러한 중요한 기능을 새로운 "엔터프라이즈 인텔리전스" 메트릭.

결과가 말해줍니다. Arctic은 교육에 컴퓨팅 예산을 절반 미만으로 사용하면서 엔터프라이즈 인텔리전스 벤치마크에서 LLAMA 7B 및 LLAMA 70B와 같은 모델을 충족하거나 능가합니다. 놀랍게도, 활용에도 불구하고 LLAMA 17B보다 70배 적은 컴퓨팅 리소스, Arctic은 코딩(HumanEval+, MBPP+), SQL 생성(Spider) 및 명령 따르기(IFEval)와 같은 특수 테스트에서 패리티를 달성합니다.

하지만 Arctic의 역량은 단순히 엔터프라이즈 벤치마크에서 높은 성과를 거두는 데 그치지 않습니다. DBRX처럼 기하급수적으로 높은 컴퓨팅 예산으로 학습된 모델과 비교했을 때, Arctic은 일반적인 언어 이해, 추론, 그리고 수학적 적성 전반에 걸쳐 뛰어난 성능을 유지합니다. 이러한 종합적인 역량 덕분에 Arctic은 기업의 다양한 AI 요구 사항을 해결하는 데 탁월한 선택입니다.

혁신

Dense-MoE 하이브리드 트랜스포머 Snowflake 팀은 어떻게 이처럼 놀랍도록 강력하면서도 효율적인 LLM을 구축했을까요? 정답은 Arctic의 최첨단 Dense Mixture-of-Experts(MoE) 하이브리드 트랜스포머 아키텍처에 있습니다.

기존의 밀도가 높은 변압기 모델은 크기가 커짐에 따라 훈련 비용이 점점 더 많이 들고 계산 요구 사항도 선형적으로 증가합니다. MoE 설계는 여러 병렬 피드포워드 네트워크(전문가)를 활용하고 각 입력 토큰에 대한 하위 집합만 활성화하여 이를 방지하는 데 도움이 됩니다.

하지만 단순히 MoE 아키텍처를 사용하는 것만으로는 충분하지 않습니다. Arctic은 Dense와 MoE 구성 요소의 장점을 독창적으로 결합합니다. 10억 개의 매개변수를 가진 Dense Transformer 인코더와 128개의 Expert Residual MoE 다층 퍼셉트론(MLP) 계층을 결합합니다. 이 Dense-MoE 하이브리드 모델은 총 480억 개의 매개변수를 가지고 있지만, Top-17 게이팅을 사용하면 항상 활성화되는 매개변수는 2억 개뿐입니다.

그 의미는 심오합니다. Arctic은 전례 없는 모델 품질과 용량을 달성하는 동시에 훈련 및 추론 중에 놀라운 컴퓨팅 효율성을 유지합니다. 예를 들어 Arctic은 추론 중에 DBRX와 같은 모델보다 활성 매개변수가 50% 적습니다.

하지만 모델 아키텍처는 이야기의 일부일 뿐입니다. Arctic의 탁월한 성과는 Snowflake 연구팀이 개발한 여러 선구적인 기술과 통찰력의 정점에 있습니다.

1. 기업 중심 교육 데이터 커리큘럼: 광범위한 실험을 통해 팀은 상식적 추론과 같은 일반적인 기술은 조기에 학습하는 것이 좋지만, 코딩이나 SQL과 같은 더 복잡한 전문 분야는 교육 과정 후반에 습득하는 것이 가장 효과적이라는 것을 발견했습니다. Arctic의 데이터 커리큘럼은 인간의 학습 과정을 모방한 3단계 접근 방식을 따릅니다.

첫 번째 테라토큰은 광범위한 일반 기반 구축에 중점을 둡니다. 다음 1.5개의 테라토큰은 SQL, 코딩 작업 등에 맞춰 조정된 데이터를 통해 기업 역량을 개발하는 데 집중합니다. 마지막 테라토큰은 정제된 데이터 세트를 사용하여 Arctic의 전문 분야를 더욱 구체화합니다.

2. 최적의 아키텍처 선택 MoE는 컴퓨팅당 더 나은 품질을 약속하지만 올바른 구성을 선택하는 것이 중요하지만 이에 대한 이해가 부족합니다. 자세한 연구를 통해 Snowflake는 품질 효율성 균형을 평가한 후 모든 계층에서 상위 128개의 게이팅을 갖춘 2명의 전문가를 고용하는 아키텍처를 선택했습니다.

전문가 수를 늘리면 더 많은 조합이 제공되어 모델 용량이 향상됩니다. 그러나 이로 인해 통신 비용도 증가하므로 Snowflake는 최적의 균형으로 Top-128 게이팅을 통해 활성화된 신중하게 설계된 2명의 "축적된" 전문가를 선택했습니다.

3. 시스템 공동 설계 그러나 최적의 모델 아키텍처라도 시스템 병목 현상으로 인해 약화될 수 있습니다. 그래서 Snowflake 팀은 여기서도 혁신을 이루었습니다. 즉, 기본 교육 및 추론 시스템과 함께 모델 아키텍처를 공동 설계했습니다.

효율적인 학습을 위해, dense 및 MoE 구성 요소는 통신 및 연산이 중복되도록 구조화되어 상당한 통신 오버헤드를 숨겼습니다. 추론 측면에서, 팀은 NVIDIA의 혁신 기술을 활용하여 Arctic의 규모에도 불구하고 매우 효율적인 배포를 구현했습니다.

FP8 양자화와 같은 기술을 사용하면 단일 GPU 노드에서 전체 모델을 피팅하여 대화형 추론을 수행할 수 있습니다. 더 큰 배치는 Arctic의 병렬 처리 기능을 여러 노드에 걸쳐 활용하면서도 17B의 컴팩트한 활성 매개변수 덕분에 뛰어난 컴퓨팅 효율성을 유지합니다.

Apache 2.0 라이선스를 통해 Arctic의 가중치와 코드는 개인, 연구 또는 상업적 용도로 자유롭게 사용할 수 있습니다. 하지만 Snowflake는 한 걸음 더 나아가 Arctic의 기반이 되는 전체 데이터 레시피, 모델 구현, 팁, 그리고 심층적인 연구 통찰력을 오픈소스로 공개했습니다.

"북극 요리책"는 Arctic과 같은 대규모 MoE 모델 구축 및 최적화의 모든 측면을 다루는 포괄적인 지식 기반입니다. 데이터 소싱, 모델 아키텍처 설계, 시스템 공동 설계, 최적화된 훈련/추론 체계 등에 대한 주요 학습 내용을 정리합니다.

최적의 데이터 커리큘럼 식별부터 컴파일러, 스케줄러 및 하드웨어를 공동 최적화하는 동시에 MoE 설계에 이르기까지 이 광범위한 지식 체계는 이전에 엘리트 AI 연구소에 국한되었던 기술을 민주화합니다. Arctic Cookbook은 학습 곡선을 가속화하고 전 세계 기업, 연구원 및 개발자가 거의 모든 사용 사례에 맞는 비용 효율적인 맞춤형 LLM을 만들 수 있도록 지원합니다.

북극 시작하기

Arctic 활용에 관심이 있는 기업을 위해 Snowflake는 빠르게 시작할 수 있는 다양한 경로를 제공합니다.

서버리스 추론: Snowflake 고객은 Snowflake의 완전 관리형 AI 플랫폼인 Snowflake Cortex에서 Arctic 모델을 무료로 이용할 수 있습니다. Arctic은 AWS, Microsoft Azure, NVIDIA 등 모든 주요 모델 카탈로그에서 사용할 수 있습니다.

처음부터 시작: 오픈 소스 모델 가중치 및 구현을 통해 개발자는 Arctic을 앱 및 서비스에 직접 통합할 수 있습니다. Arctic 저장소는 코드 샘플, 배포 튜토리얼, 미세 조정 방법 등을 제공합니다.

사용자 정의 모델 구축: Arctic Cookbook의 포괄적인 가이드 덕분에 개발자는 Arctic 개발에서 얻은 지식을 활용하여 모든 특수 사용 사례에 최적화된 사용자 정의 MoE 모델을 처음부터 구축할 수 있습니다.

개방형 엔터프라이즈 AI Arctic의 새로운 시대는 단순한 강력한 언어 모델 그 이상입니다. 이는 기업을 위해 특별히 구축된 개방적이고 비용 효율적이며 전문화된 AI 기능의 새로운 시대를 예고합니다.

데이터 분석 및 코딩 생산성 혁신부터 작업 자동화 및 더욱 스마트한 애플리케이션 구축까지, Arctic의 기업 중심 DNA는 일반 LLM보다 탁월한 선택입니다. 또한, 모델뿐만 아니라 그 기반이 되는 전체 R&D 프로세스를 오픈소스로 공개함으로써 Snowflake는 AI 생태계 전반을 발전시킬 협업 문화를 조성하고 있습니다.

기업들이 생성적 AI를 점점 더 적극적으로 도입함에 따라, Arctic은 프로덕션 워크로드와 엔터프라이즈 환경에 객관적으로 더 우수한 모델을 개발할 수 있는 과감한 청사진을 제시합니다. 최첨단 연구, 탁월한 효율성, 그리고 확고한 개방적 정신이 어우러진 Arctic은 AI의 혁신적인 잠재력을 대중화하는 데 새로운 기준을 제시합니다.

Snowflake Arctic 모델을 사용하는 방법에 대한 코드 예제가 있는 섹션은 다음과 같습니다.

북극 체험

이제 Arctic이 진정으로 획기적이라고 할 수 있는 요소가 무엇인지 살펴보았으니, 개발자와 데이터 과학자가 이 강력한 모델을 어떻게 활용할 수 있는지 자세히 알아보겠습니다.
Arctic은 사전 훈련되어 Hugging Face 및 파트너 AI 플랫폼과 같은 주요 모델 허브를 통해 배포할 준비가 되어 있습니다. 그러나 특정 사용 사례에 맞게 사용자 정의하고 미세 조정할 때 진정한 힘이 드러납니다.

Arctic의 Apache 2.0 라이선스는 앱, 서비스 또는 맞춤형 AI 워크플로에 자유롭게 통합할 수 있도록 지원합니다. 시작을 위해 transforms 라이브러리를 사용하는 몇 가지 코드 예제를 살펴보겠습니다.
북극을 이용한 기본 추론

빠른 텍스트 생성 사용 사례를 위해 Arctic을 로드하고 기본 추론을 매우 쉽게 실행할 수 있습니다.

from transformers import AutoTokenizer, AutoModelForCausalLM

# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")

# Create a simple input and generate text
input_text = "Here is a basic question: What is the capital of France?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")

# Generate response with Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)

print(generated_text)

다음과 같이 출력되어야 합니다.

프랑스의 수도는 파리입니다. 파리는 프랑스 최대 도시이자 경제, 정치, 문화의 중심지입니다. 에펠탑, 루브르 박물관, 노트르담 대성당 등 유명 랜드마크가 있는 곳입니다.

보시다시피 Arctic은 쿼리를 완벽하게 이해하고 강력한 언어 이해 기능을 활용하여 상세하고 기초적인 응답을 제공합니다.

전문적인 작업을 위한 미세 조정

Arctic은 기본적으로 인상적이지만 특수한 작업을 위해 독점 데이터를 맞춤화하고 미세 조정할 때 진정으로 빛을 발합니다. Snowflake는 다음을 포함하는 광범위한 레시피를 제공했습니다.

• 사용 사례에 맞는 고품질 교육 데이터 선별
• 맞춤형 다단계 교육 커리큘럼 실시
• 효율적인 LoRA, P-Tuning 또는 FactorizedFusion 미세 조정 접근 방식 활용
• 안목 있는 SQL, 코딩 또는 기타 핵심 기업 기술을 위한 최적화

다음은 LoRA와 Snowflake의 레시피를 사용하여 자신의 코딩 데이터 세트에서 Arctic을 미세 조정하는 방법의 예입니다.

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training

# Load base Arctic model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)

# Initialize LoRA configs
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)

# Prepare model for LoRA finetuning
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)

# Your coding datasets
data = load_coding_datasets()

# Fine-tune with Snowflake's recipes
train(model, data, ...)

이 코드는 Arctic을 손쉽게 로드하고, 코드 생성에 맞춰 LoRA 구성을 초기화한 다음, Snowflake의 가이드를 활용하여 독점적인 코딩 데이터 세트에서 모델을 미세 조정하는 방법을 보여줍니다.

맞춤화되고 정밀하게 조정된 Arctic은 핵심 기업 워크플로우와 이해관계자 요구 사항에 대해 탁월한 성능을 제공하도록 조정된 프라이빗 강국이 됩니다.