스노우플레이크 아ρκ틱: 기업용 AI를 위한 최첨단 LLM

현재 기업들은 생산성을 높이고 지능형 애플리케이션을 생성하기 위해 대규모 언어 모델(LLM)을 활용하는 방법을 탐색하고 있습니다. 그러나 사용 가능한 대부분의 LLM 옵션은 데이터 분석, 코딩 및 태스크 자동화와 같은 전문 기업 요구에 맞게 조정되지 않은 일반 모델입니다. 스노우플레이크 아ρκ틱(Snowflake Arctic)은 핵심 기업 사용 사례를 위해 고안되고 최적화된 최첨단 LLM입니다.

스노우플레이크의 AI 연구 팀에서 개발된 아ρκ틱은 효율적인 훈련, 비용 효율성 및 이전에 없는 수준의 개방성을 통해 경계를 확장합니다. 이 혁신적인 모델은 기업 벤치마크에서 탁월한 성능을 발휘하는 동시에 기존 LLM에 비해 훨씬 적은 컴퓨팅 파워를 요구합니다. 아ρκ틱이 기업 AI를 위한 게임 체인저가 되는 이유를 살펴ボ겠습니다.

기업 지능 재정의 아크틱의 핵심은 기업에真正로 중요한 지표인 코딩, SQL 쿼리, 복잡한 지시를 따르는 것 및 근거 있는 사실 기반 출력을 제공하는 데 탁월한 성능을 발휘하는 것입니다. 스노우플레이크는 이러한 임계 능력을 새로운 “기업 지능” 지표로 결합했습니다.

결과는 말 그대로입니다. 아크틱은 LLAMA 7B 및 LLAMA 70B와 같은 모델을 기업 지능 벤치마크에서 따라가거나 능가하면서 훈련에 필요한 컴퓨팅 예산의 반 미만을 사용합니다. 놀랍게도 LLAMA 70B보다 17배 적은 컴퓨팅 리소스를 사용하는 아크틱은 코딩(HumanEval+, MBPP+), SQL 생성(Spider) 및 지시를 따르는 것(IFEval)과 같은 전문 테스트에서 동등한 성능을 발휘합니다.

그러나 아크틱의 힘은 기업 벤치마크에서만 뛰어난 것이 아닙니다. 아크틱은 일반 언어 이해, 추론 및 수학적 능력에서 DBRX와 같은 모델과 비교하여 강력한 성능을 유지합니다. 이러한 전반적인 능력은 아크틱을 기업의 다양한 AI 요구를 해결하기 위한 절대적인 선택으로 만듭니다.

혁신

밀도-모에 하이브리드 트랜스포머 아크틱이 어떻게 이러한 놀라운 모델을 구축했는지 살펴보겠습니다. 스노우플레이크 팀이 아크틱의 최첨단 밀도-모에 하이브리드 트랜스포머 아키텍처를 구축했습니다.

전통적인 밀도 트랜스포머 모델은 크기가 커질수록 훈련 비용이 증가하며, 컴퓨팅 요구 사항이 선형적으로 증가합니다. 모에 설계는 여러 병렬 피드포워드 네트워크(전문가)를 사용하여 이를 회피하고 각 입력 토큰에 대해 일부만 활성화합니다.

그러나 단순히 모에 아키텍처를 사용하는 것만으로는 충분하지 않습니다. 아크틱은 밀도 및 모에 구성 요소의 강점을 지능적으로 결합합니다. 아크틱은 10억 매개 변수 밀도 트랜스포머 인코더와 128개의 전문가 잔차 모에 다층 퍼셉트론(MLP) 레이어를 결합합니다. 이 밀도-모에 하이브리드 모델은 총 480억 매개 변수를 가지지만, 한 번에 활성화되는 매개 변수는 17억개뿐입니다.

이것의 의미는 심오합니다. 아크틱은 이전에 없는 모델 품질 및 용량을 달성하면서 훈련 및 추론 중에 놀라울 정도로 컴퓨팅 효율성을 유지합니다. 예를 들어, 아크틱은 추론 중에 DBRX와 같은 모델보다 50% 적은 활성 매개 변수를 가집니다.

그러나 모델 아키텍처는 이야기에 단 하나의 부분일 뿐입니다. 아크틱의 우수성은 스노우플레이크 연구 팀이 개발한 여러 개척적인 기술 및 통찰력의 총합입니다.

1. 기업 중심 훈련 데이터 커리큘럼 팀은 광범위한 실험을 통해 일반적인 기술인 상식적인 추론은 초기에 학습되어야 하며, 코딩 및 SQL과 같은 더 복잡한 전문 분야는 훈련 과정의 후반부에 학습되어야 한다는 것을 발견했습니다. 아크틱의 데이터 커리큘럼은 인간의 학습 진행과 유사한 3단계 접근 방식을 따릅니다.

첫 번째 테라토큰은 광범위한 일반적인 기초를 구축하는 데 중점을 둡니다. 다음 1.5 테라토큰은 SQL, 코딩 작업 및 기타 작업을 위한 데이터를 사용하여 기업 기술을 개발하는 데 중점을 둡니다. 마지막 테라토큰은 정교한 데이터세트를 사용하여 아크틱의 전문 분야를 추가로 세부적으로 다룹니다.

2. 최적의 아키텍처 선택 모에는 더 나은 품질을 제공하지만, 올바른 구성 선택은 중요하지만 Poorly 이해됩니다. 스노우플레이크는 각 레이어에서 최상단 2개 게이팅을 사용하는 128개의 전문가와 함께 아키텍처를 평가하여 품질-효율성 트레이드오프를 평가했습니다.

전문가의 수를 늘리면 더 많은 조합이 가능해지며, 모델 용량이 향상됩니다. 그러나 이것은 또한 통신 비용을 증가시킵니다. 따라서 스노우플레이크는 최적의 균형점으로 최상단 2개 게이팅을 통해 활성화되는 128개의 “-condensed” 전문가를 선택했습니다.

3. 시스템 공동 설계 그러나 최적의 모델 아키텍처는 기본 시스템의 병목 현상으로 인해 손상될 수 있습니다. 따라서 스노우플레이크 팀은 모델 아키텍처를 훈련 및 추론 시스템과 함께 공동으로 설계했습니다.

효율적인 훈련을 위해, 밀도 및 모에 구성 요소는 통신 및 계산을 중복시키도록 구조화되어 있습니다. 이는 상당한 통신 오버헤드를 숨길 수 있습니다. 추론 측면에서, 팀은 NVIDIA의 혁신을 활용하여 아크틱의 규모에도 불구하고 매우 효율적인 배포를 가능하게 했습니다.

FP8 양자화와 같은 기술을 사용하면 전체 모델을 단일 GPU 노드에 맞추어 대화형 추론을 가능하게 합니다. 더 큰 배치에서는 아크틱의 병렬 처리 기능을 여러 노드에서 활용할 수 있으며, 활성 매개 변수가 17억개만 있기 때문에 컴퓨팅 효율성이 매우 뛰어납니다.

아파치 2.0 라이선스를 통해 아크틱의 가중치 및 코드는 개인, 연구 또는 상업적 사용을 위해 개방형으로 제공됩니다. 그러나 스노우플레이크는 아크틱을 구축하고 최적화하는 데 사용된 완전한 데이터 레시피, 모델 구현, 팁 및 심층 연구 통찰력을 개방형으로 제공함으로써 더 나아갔습니다.

“아크틱 요리책”은 아크틱과 같은 대규모 모에 모델을 구축하고 최적화하는 모든 측면을 다루는 포괄적인 지식 베이스입니다. 데이터 소싱, 모델 아키텍처 설계, 시스템 공동 설계, 최적화된 훈련/추론 스키마 등에 걸친 주요 학습을 추출합니다.

데이터 커리큘럼을 식별하는 것에서부터 모에를 설계하고 컴파일러, 스케줄러 및 하드웨어를 공동 최적화하는 것까지, 이 광범위한 지식은 이전에 엘리트 AI 연구소에만 국한된 기술을 민주화합니다. 아크틱 요리책은 학습 곡선을 가속화하고 비즈니스, 연구자 및 개발자가 거의 모든 사용 사례에 대해 비용 효율적인 맞춤형 LLM을 생성할 수 있도록 글로벌로 권한을 부여합니다.

아크틱 시작하기

아크틱을 활용하려는 기업을 위해 스노우플레이크는 빠르게 시작할 수 있는 여러 경로를 제공합니다.

서버리스 추론: 스노우플레이크 고객은 스노우플레이크 코텍스(Snowflake Cortex)에서 아크틱 모델에 무료로 액세스할 수 있습니다. 그 외에 아크틱은 AWS, Microsoft Azure, NVIDIA (NVDA ) 등 모든 주요 모델 카탈로그에서 사용할 수 있습니다.

처음부터 시작: 개방형 모델 가중치 및 구현을 통해 개발자는 직접 애플리케이션 및 서비스에 아크틱을 통합할 수 있습니다. 아크틱 저장소에는 코드 샘플, 배포 자습서, 세부 튜닝 레시피 등이 포함되어 있습니다.

맞춤형 모델 구축: 아크틱 요리책의 자세한 가이드를 통해 개발자는 아크틱의 개발에서 얻은 지식을 사용하여 특정 사용 사례를 최적화하기 위해 직접 맞춤형 모에 모델을 구축할 수 있습니다.

개방형 기업 AI의 새로운 시대 아크틱은 단순히 강력한 언어 모델이 아닙니다. 아크틱은 기업을 위해 특별히 설계된 비용 효율적인 AI 기능의 새로운 시대를 알리는 것입니다.

데이터 분석 및 코딩 생산성의 혁신에서 태스크 자동화 및 더智能한 애플리케이션 구동까지, 아크틱의 기업 우선순위는 일반 LLM보다 아크틱을 탁월한 선택으로 만듭니다. 또한 모델뿐만 아니라 개발 과정 전체를 개방형으로 제공함으로써, 스노우플레이크는 협력 문화를 조성하여 전체 AI 생태계를 높일 것입니다.

기업이 생성적 AI를 더 많이 채택함에 따라, 아크틱은 생산 워크로드 및 기업 환경을 위해 모델을 개발하는 대담한 청사진을 제공합니다. 최첨단 연구, 효율성 및 개방형 이데올로기의 결합은 AI의 변革적 잠재력을 민주화하는 새로운 기준을 설정합니다.

아크틱 모델을 사용하는 방법에 대한 코드 예제가 포함된 섹션입니다.

아크틱 사용하기

아크틱이真正로 혁신적인 이유를 다루고 나서, 개발자와 데이터 과학자가 이 강력한 모델을 사용하여 작업을 시작하는 방법을 살펴보겠습니다.
아크틱은 사전 훈련된 상태로 주요 모델 허브와 파트너 AI 플랫폼을 통해 배포할 준비가 완료되어 있습니다. 그러나 아크틱의真正한 힘은 사용자 지정 및 세부 튜닝을 통해 나타납니다.

아크틱의 아파치 2.0 라이선스는 애플리케이션, 서비스 또는 사용자 지정 AI 워크플로에 통합하는 데 완전한 자유를 제공합니다. 트랜스포머 라이브러리를 사용하여 시작하는 몇 가지 코드 예제를 살펴보겠습니다.

기본 추론 아크틱

텍스트 생성과 같은 간단한 사용 사례의 경우, 아크틱을 로드하고 기본 추론을 쉽게 실행할 수 있습니다.

<p>from transformers import AutoTokenizer, AutoModelForCausalLM</p>

<p># 토크나이저 및 모델 로드
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")</p>

<p># 간단한 입력 및 텍스트 생성
input_text = "기본 질문입니다: 프랑스의 수도는 무엇입니까?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")</p>

<p># 아크틱으로 응답 생성
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)</p>

print(generated_text)

이것은 다음과 같은 것을 출력해야 합니다.

“프랑스의 수도는 파리입니다. 파리는 프랑스에서 가장 큰 도시이며, 국가의 경제, 정치 및 문화 중심입니다. 에펠탑, 루브르 박물관 및 노트르담 대성당과 같은 유명한 랜드마크가 있습니다.”

아크틱은 질의를 무리없이 이해하고, 근거 있는 사실 기반의 응답을 제공하는 데 강력한 언어 이해 능력을 활용합니다.

전문 작업을 위한 세부 튜닝

아크틱은 기본적으로 인상적인 성능을 발휘하지만, 사용자 지정 및 전문 작업을 위한 세부 튜닝을 통해真正로 빛을 발합니다. 스노우플레이크는 다음을 다루는 광범위한 레시피를 제공합니다.

• 사용 사례를 위한 고품질 훈련 데이터 수집
• 사용자 지정 다단계 훈련 커리큘럼 구현
• 효율적인 LoRA, P-Tuning 또는 FactorizedFusion 세부 튜닝 접근 방식 활용
• SQL, 코딩 또는 기타 핵심 기업 기술을 식별하기 위한 최적화

자체 코딩 데이터세트에서 LoRA 및 스노우플레이크의 레시피를 사용하여 아크틱을 세부 튜닝하는 방법의 예는 다음과 같습니다.

<p>from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training</p>

<p># 기본 아크틱 모델 로드
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)</p>

<p># LoRA 구성 초기화
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)</p>

<p># 모델을 LoRA 세부 튜닝을 위해 준비
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)</p>

<p># 코딩 데이터세트
data = load_coding_datasets()</p>

<p># 스노우플레이크의 레시피를 사용하여 세부 튜닝
train(model, data, ...)</p>

이 코드는 아크틱을 로드하고, 코딩 생성을 위한 LoRA 구성 초기화 및 스노우플레이크의 지침을 사용하여 자체 코딩 데이터세트에서 모델을 세부 튜닝하는 방법을 보여줍니다.

사용자 지정 및 세부 튜닝된 아크틱은 핵심 기업 워크플로 및 이해 관계자의 요구 사항에 따라 맞춤형으로 설계된 사적인 강력한 모델이 됩니다.