Snowflake Arctic: Mô hình LLM tiên tiến cho trí tuệ doanh nghiệp

Các doanh nghiệp ngày nay đang ngày càng tìm cách tận dụng các mô hình ngôn ngữ lớn (LLM) để tăng cường năng suất và tạo ra các ứng dụng thông minh. Tuy nhiên, nhiều mô hình LLM hiện có không được thiết kế cho các nhu cầu doanh nghiệp chuyên biệt như phân tích dữ liệu, mã hóa và tự động hóa nhiệm vụ. Đó là nơi Snowflake Arctic xuất hiện – một mô hình LLM tiên tiến được thiết kế và tối ưu hóa cho các trường hợp sử dụng doanh nghiệp cốt lõi.

Được phát triển bởi đội nghiên cứu trí tuệ nhân tạo của Snowflake, Arctic đẩy ranh giới của những gì có thể làm được với đào tạo hiệu quả, tiết kiệm chi phí và mức độ mở chưa từng có. Mô hình này vượt trội trong các tiêu chuẩn doanh nghiệp chính while đòi hỏi ít tài nguyên tính toán hơn so với các LLM hiện có. Hãy cùng khám phá những gì làm cho Arctic trở thành một yếu tố thay đổi trò chơi cho trí tuệ doanh nghiệp.

Trí tuệ doanh nghiệp được định nghĩa lại Ở cốt lõi, Arctic tập trung vào việc cung cấp hiệu suất vượt trội trên các chỉ số thực sự quan trọng đối với các doanh nghiệp – mã hóa, truy vấn SQL, thực hiện hướng dẫn phức tạp và tạo ra đầu ra dựa trên thực tế. Snowflake đã kết hợp các khả năng quan trọng này vào một chỉ số “trí tuệ doanh nghiệp” mới.

Kết quả nói lên tất cả. Arctic đáp ứng hoặc vượt trội các mô hình như LLAMA 7B và LLAMA 70B trên các tiêu chuẩn trí tuệ doanh nghiệp trong khi sử dụng ít hơn một nửa ngân sách tính toán cho đào tạo. Điều đáng chú ý là, mặc dù sử dụng 17 lần ít hơn tài nguyên tính toán so với LLAMA 70B, Arctic đạt được sự tương đương trên các thử nghiệm chuyên biệt như mã hóa (HumanEval+, MBPP+), tạo SQL (Spider) và thực hiện hướng dẫn (IFEval).

Nhưng khả năng của Arctic không chỉ dừng lại ở việc vượt trội trên các tiêu chuẩn doanh nghiệp. Nó duy trì hiệu suất mạnh mẽ trên hiểu biết ngôn ngữ chung, lý luận và khả năng toán học so với các mô hình được đào tạo với ngân sách tính toán cao hơn như DBRX. Khả năng toàn diện này làm cho Arctic trở thành một lựa chọn không thể vượt qua cho việc giải quyết các nhu cầu trí tuệ nhân tạo đa dạng của một doanh nghiệp.

Sự đổi mới

Kiến trúc Transformer Hybrid Dense-MoE Vậy làm thế nào đội Snowflake xây dựng một mô hình LLM mạnh mẽ và hiệu quả như vậy? Câu trả lời nằm ở kiến trúc Transformer Hybrid Dense-MoE của Arctic.

Các mô hình transformer dày truyền thống trở nên ngày càng tốn kém để đào tạo khi kích thước của chúng tăng lên, với yêu cầu tính toán tăng tuyến tính. Thiết kế MoE giúp tránh điều này bằng cách sử dụng nhiều mạng feed-forward song song (chuyên gia) và chỉ kích hoạt một tập con cho mỗi token đầu vào.

Tuy nhiên, chỉ sử dụng kiến trúc MoE không đủ – Arctic kết hợp sức mạnh của cả thành phần dày và MoE một cách thông minh. Nó kết hợp một bộ mã hóa transformer dày 10 tỷ tham số với một lớp MLP (perceptron đa lớp) MoE dư 128 chuyên gia. Mô hình hybrid này có tổng cộng 480 tỷ tham số nhưng chỉ có 17 tỷ tham số hoạt động tại bất kỳ thời điểm nào sử dụng cổng trên cùng 2.

Hệ quả là sâu sắc – Arctic đạt được chất lượng mô hình và khả năng chưa từng có trong khi vẫn còn hiệu quả về tính toán trong đào tạo và suy luận. Ví dụ, Arctic có 50% ít tham số hoạt động hơn so với các mô hình như DBRX trong suy luận.

Nhưng kiến trúc mô hình chỉ là một phần của câu chuyện. Sự xuất sắc của Arctic là kết quả của nhiều kỹ thuật và kiến thức tiên phong được phát triển bởi đội nghiên cứu Snowflake:

1. Chương trình đào tạo dữ liệu tập trung vào doanh nghiệp Thông qua thí nghiệm rộng rãi, đội đã phát hiện ra rằng các kỹ năng chung như lý luận thông thường nên được học sớm, trong khi các chuyên môn phức tạp hơn như mã hóa và SQL nên được thu thập sau trong quá trình đào tạo. Chương trình đào tạo dữ liệu của Arctic tuân theo một cách tiếp cận ba giai đoạn bắt chước tiến trình học tập của con người.

Một teratoken đầu tiên tập trung vào xây dựng một nền tảng chung rộng. 1,5 teratoken tiếp theo tập trung vào phát triển các kỹ năng doanh nghiệp thông qua dữ liệu được thiết kế cho SQL, mã hóa và hơn thế nữa. Teratoken cuối cùng tinh chỉnh thêm các chuyên môn của Arctic bằng cách sử dụng các tập dữ liệu tinh chỉnh.

2. Lựa chọn kiến trúc tối ưu Trong khi MoE hứa hẹn chất lượng tốt hơn trên mỗi tính toán, việc chọn các cấu hình đúng là rất quan trọng nhưng chưa được hiểu rõ. Thông qua nghiên cứu chi tiết, Snowflake đã chọn một kiến trúc sử dụng 128 chuyên gia với cổng trên cùng 2 ở mỗi lớp sau khi đánh giá các giao dịch chất lượng-hiệu quả.

Tăng số lượng chuyên gia cung cấp nhiều kết hợp hơn, tăng khả năng của mô hình. Tuy nhiên, điều này cũng làm tăng chi phí giao tiếp, vì vậy Snowflake đã chọn 128 chuyên gia “nén” được kích hoạt thông qua cổng trên cùng 2 như sự cân bằng tối ưu.

3. Thiết kế hệ thống đồng thời Nhưng ngay cả một kiến trúc mô hình tối ưu cũng có thể bị suy giảm bởi các nút thắt hệ thống. Vì vậy, đội Snowflake đã đổi mới ở đây – đồng thiết kế kiến trúc mô hình cùng với các hệ thống đào tạo và suy luận cơ bản.

Để đào tạo hiệu quả, các thành phần dày và MoE được cấu trúc để cho phép giao tiếp và tính toán chồng chéo, che giấu các chi phí giao tiếp đáng kể. Về phía suy luận, đội đã tận dụng các đổi mới của NVIDIA (NVDA ) để cho phép triển khai hiệu quả cao bất chấp quy mô của Arctic.

Các kỹ thuật như lượng tử hóa FP8 cho phép đặt toàn bộ mô hình trên một nút GPU đơn cho suy luận tương tác. Các lô lớn hơn sẽ khai thác khả năng song song của Arctic trên nhiều nút trong khi vẫn còn hiệu quả về tính toán nhờ vào 17B tham số hoạt động compact.

Với giấy phép Apache 2.0, trọng lượng và mã của Arctic có sẵn không bị giới hạn cho bất kỳ sử dụng cá nhân, nghiên cứu hoặc thương mại. Nhưng Snowflake đã đi xa hơn, mở nguồn các công thức dữ liệu hoàn chỉnh, triển khai mô hình, mẹo và kiến thức nghiên cứu sâu sắc thúc đẩy Arctic.

“Sách nấu ăn Arctic” là một cơ sở kiến thức toàn diện bao gồm mọi khía cạnh của việc xây dựng và tối ưu hóa một mô hình MoE lớn như Arctic. Nó cô đọng các kiến thức chính về nguồn dữ liệu, thiết kế kiến trúc mô hình, thiết kế hệ thống, các lược đồ đào tạo và suy luận tối ưu và hơn thế nữa.

Từ việc xác định các chương trình đào tạo dữ liệu tối ưu đến kiến trúc MoE trong khi tối ưu hóa các trình biên dịch, lịch trình và phần cứng – cơ sở kiến thức rộng lớn này dân chủ hóa các kỹ năng trước đây chỉ giới hạn trong các phòng thí nghiệm AI tinh hoa. Sách nấu ăn Arctic tăng tốc các đường cong học tập và trao quyền cho các doanh nghiệp, nhà nghiên cứu và nhà phát triển trên toàn cầu để tạo ra các mô hình LLM hiệu quả về chi phí và được tùy chỉnh cho hầu như bất kỳ trường hợp sử dụng nào.

Bắt đầu với Arctic

Đối với các công ty muốn tận dụng Arctic, Snowflake cung cấp nhiều đường dẫn để bắt đầu nhanh chóng:

Suy luận không cần máy chủ: Khách hàng Snowflake có thể truy cập mô hình Arctic miễn phí trên Snowflake Cortex, nền tảng AI được quản lý hoàn toàn của công ty. Ngoài ra, Arctic có sẵn trên tất cả các danh mục mô hình chính như AWS, Microsoft Azure, NVIDIA và hơn thế nữa.

Bắt đầu từ đầu: Trọng lượng và triển khai mô hình mã nguồn mở cho phép các nhà phát triển tích hợp trực tiếp Arctic vào ứng dụng và dịch vụ của họ. Kho lưu trữ Arctic cung cấp mẫu mã, hướng dẫn triển khai, công thức tinh chỉnh và hơn thế nữa.

Xây dựng mô hình tùy chỉnh: Nhờ vào các hướng dẫn toàn diện của Sách nấu ăn Arctic, các nhà phát triển có thể xây dựng mô hình MoE tùy chỉnh của riêng họ từ đầu được tối ưu hóa cho bất kỳ trường hợp sử dụng chuyên biệt nào bằng cách sử dụng kiến thức từ sự phát triển của Arctic.

Một kỷ nguyên mới của trí tuệ nhân tạo doanh nghiệp mở Arctic không chỉ là một mô hình ngôn ngữ mạnh mẽ khác – nó báo hiệu một kỷ nguyên mới của các khả năng trí tuệ nhân tạo chuyên biệt, hiệu quả về chi phí và được thiết kế cho doanh nghiệp.

Từ việc cách mạng hóa phân tích dữ liệu và năng suất mã hóa đến việc cung cấp tự động hóa nhiệm vụ và các ứng dụng thông minh hơn, DNA doanh nghiệp đầu tiên của Arctic khiến nó trở thành một lựa chọn không thể vượt qua so với các LLM chung. Và bằng cách mở nguồn không chỉ mô hình mà cả quá trình nghiên cứu và phát triển đằng sau nó, Snowflake đang nuôi dưỡng một văn hóa hợp tác sẽ nâng cao toàn bộ hệ sinh thái trí tuệ nhân tạo.

Khi các doanh nghiệp ngày càng chấp nhận trí tuệ nhân tạo tạo sinh, Arctic cung cấp một bản thiết kế táo bạo cho việc phát triển các mô hình vượt trội về mặt khách quan cho các khối lượng công việc sản xuất và môi trường doanh nghiệp. Sự kết hợp của nghiên cứu tiên tiến, hiệu quả chưa từng có và một bản sắc mở kiên định thiết lập một tiêu chuẩn mới trong việc dân chủ hóa tiềm năng chuyển đổi của trí tuệ nhân tạo.

Dưới đây là một phần với các ví dụ mã về cách sử dụng mô hình Snowflake Arctic:

Làm việc thực tế với Arctic

Bây giờ chúng ta đã khám phá những gì làm cho Arctic trở nên đột phá, hãy tìm hiểu cách các nhà phát triển và nhà khoa học dữ liệu có thể bắt đầu sử dụng mô hình mạnh mẽ này.
Ngay từ đầu, Arctic có sẵn được đào tạo và sẵn sàng triển khai thông qua các trung tâm mô hình chính như Hugging Face và các nền tảng AI đối tác. Nhưng sức mạnh thực sự của nó xuất hiện khi tùy chỉnh và tinh chỉnh nó cho các trường hợp sử dụng cụ thể của bạn.

Giấy phép Apache 2.0 của Arctic cung cấp sự tự do toàn diện để tích hợp nó vào ứng dụng, dịch vụ hoặc các công việc trí tuệ nhân tạo tùy chỉnh của bạn. Hãy cùng đi qua một số ví dụ mã sử dụng thư viện transformers để bắt đầu:

Suy luận cơ bản với Arctic

Đối với các trường hợp sử dụng tạo văn bản nhanh, chúng ta có thể tải Arctic và chạy suy luận cơ bản rất dễ dàng:

<p>từ transformers import AutoTokenizer, AutoModelForCausalLM</p>

<p># Tải bộ mã hóa và mô hình
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")</p>

<p># Tạo một đầu vào đơn giản và tạo văn bản
input_text = "Đây là một câu hỏi cơ bản: What là thủ đô của Pháp?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")</p>

<p># Tạo phản hồi với Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)</p>

in(generated_text)

Điều này nên tạo ra một cái gì đó như:

“Thủ đô của Pháp là Paris. Paris là thành phố lớn nhất của Pháp và là trung tâm kinh tế, chính trị và văn hóa của đất nước. Nó là nơi có những địa danh nổi tiếng như Tháp Eiffel, bảo tàng Louvre và Nhà thờ Notre-Dame.”

Như bạn có thể thấy, Arctic hiểu rõ câu hỏi và cung cấp một phản hồi chi tiết, dựa trên thực tế, tận dụng khả năng hiểu ngôn ngữ mạnh mẽ của nó.

Tinh chỉnh cho các nhiệm vụ chuyên biệt

Mặc dù ấn tượng ngay từ đầu, Arctic thực sự tỏa sáng khi được tùy chỉnh và tinh chỉnh trên dữ liệu chuyên dụng của bạn cho các nhiệm vụ chuyên biệt. Snowflake đã cung cấp các công thức toàn diện bao gồm:

• Thu thập dữ liệu đào tạo chất lượng cao được thiết kế cho trường hợp sử dụng của bạn
• Triển khai các chương trình đào tạo đa giai đoạn được tùy chỉnh
• Sử dụng các phương pháp tinh chỉnh LoRA, P-Tuning hoặc FactorizedFusion hiệu quả
• Tối ưu hóa cho các kỹ năng doanh nghiệp quan trọng như SQL, mã hóa hoặc các kỹ năng khác

Dưới đây là một ví dụ về cách tinh chỉnh Arctic trên các tập dữ liệu mã hóa của riêng bạn bằng cách sử dụng LoRA và các công thức của Snowflake:

<p>từ transformers import AutoModelForCausalLM, AutoTokenizer
từ peft import LoraConfig, get_peft_model, prepare_model_for_int8_training</p>

<p># Tải mô hình Arctic cơ bản
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)</p>

<p># Khởi tạo cấu hình LoRA
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)</p>

<p># Chuẩn bị mô hình cho tinh chỉnh LoRA
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)</p>

<p># Tập dữ liệu mã hóa của bạn
data = load_coding_datasets()</p>

<p># Tinh chỉnh với các công thức của Snowflake
train(model, data, ...)</p>

Mã này minh họa cách bạn có thể dễ dàng tải Arctic, khởi tạo một cấu hình LoRA được thiết kế cho tạo mã và sau đó tinh chỉnh mô hình trên các tập dữ liệu mã hóa chuyên dụng của mình bằng cách sử dụng hướng dẫn của Snowflake.

Mô hình được tùy chỉnh và tinh chỉnh, Arctic trở thành một công cụ mạnh mẽ được điều chỉnh để cung cấp hiệu suất không thể sánh được trên các quy trình công việc cốt lõi của doanh nghiệp và nhu cầu của các bên liên quan.