Tất Cả Những Gì Bạn Cần Biết Về Llama 3 | Mô Hình Mở Nguồn Được Cải Tiến | Từ Khái Niệm Đến Sử Dụng

Meta đã phát hành gần đây Llama 3, thế hệ tiếp theo của mô hình ngôn ngữ lớn (LLM) mã nguồn mở tiên tiến. Xây dựng trên nền tảng đặt ra bởi người tiền nhiệm của nó, Llama 3 nhằm mục đích nâng cao khả năng đã đặt Llama 2 như một đối thủ cạnh tranh mã nguồn mở quan trọng với ChatGPT, như được nêu trong bài đánh giá toàn diện trong bài viết Llama 2: Một Cuộc Khám Phá Sâu Về Đối Thủ Mở Nguồn Của ChatGPT.

Trong bài viết này, chúng tôi sẽ thảo luận về các khái niệm cốt lõi đằng sau Llama 3, khám phá kiến trúc và quá trình đào tạo đổi mới của nó, và cung cấp hướng dẫn thực tế về cách truy cập, sử dụng và triển khai mô hình đột phá này một cách có trách nhiệm. Cho dù bạn là một nhà nghiên cứu, nhà phát triển, hay một người đam mê AI tò mò về những tiến bộ mới nhất, bài đăng này sẽ trang bị cho bạn kiến thức và tài nguyên cần thiết để tận dụng sức mạnh của Llama 3 cho các dự án và ứng dụng của bạn.

Sự Tiến Hóa Của Llama: Từ Llama 2 Đến Llama 3

CEO của Meta, Mark Zuckerberg, đã công bố sự ra mắt của Llama 3, mô hình AI mới nhất được phát triển bởi Meta AI. Mô hình này, hiện đã được mã nguồn mở, sẽ nâng cao các sản phẩm khác nhau của Meta, bao gồm Messenger và Instagram. Zuckerberg nhấn mạnh rằng Llama 3 đặt Meta AI trở thành trợ lý AI tiên tiến nhất có sẵn miễn phí.

Trước khi chúng tôi thảo luận về các chi tiết cụ thể của Llama 3, hãy cùng nhìn lại người tiền nhiệm của nó. Llama 2 được giới thiệu vào năm 2022, là một cột mốc quan trọng trong lĩnh vực LLM mã nguồn mở, cung cấp một mô hình mạnh mẽ và hiệu quả có thể chạy trên phần cứng tiêu dùng.

Tuy nhiên, trong khi Llama 2 là một thành tựu đáng kể, nó cũng có những hạn chế. Người dùng đã báo cáo về các vấn đề như từ chối sai (mô hình từ chối trả lời các lời nhắc vô hại), sự hữu ích hạn chế và không gian để cải thiện trong các lĩnh vực như lý luận và tạo mã.

Và rồi, Llama 3 ra đời: phản ứng của Meta đối với những thách thức này và phản hồi của cộng đồng. Với Llama 3, Meta đã đặt ra mục tiêu xây dựng các mô hình mã nguồn mở tốt nhất, tương đương với các mô hình độc quyền hàng đầu hiện có, đồng thời ưu tiên các thực tiễn phát triển và triển khai có trách nhiệm.

Llama 3: Kiến Trúc Và Đào Tạo

Một trong những đổi mới chính trong Llama 3 là bộ mã hóa của nó, có từ vựng mở rộng đáng kể với 128.256 token (tăng từ 32.000 trong Llama 2). Từ vựng lớn hơn này cho phép mã hóa văn bản hiệu quả hơn, cả về đầu vào và đầu ra, có thể dẫn đến sự cải thiện về đa ngôn ngữ và hiệu suất tổng thể.

Llama 3 cũng tích hợp Chú Ý Nhóm Câu Hỏi (GQA), một kỹ thuật đại diện hiệu quả giúp tăng khả năng mở rộng và xử lý các ngữ cảnh dài hơn. Phiên bản 8B của Llama 3 sử dụng GQA, trong khi cả mô hình 8B và 70B có thể xử lý các chuỗi lên đến 8.192 token.

Dữ Liệu Đào Tạo Và Tăng Cường

Dữ liệu đào tạo được sử dụng cho Llama 3 là một yếu tố quan trọng trong hiệu suất cải thiện của nó. Meta đã thu thập một tập dữ liệu khổng lồ với hơn 15 nghìn tỷ token từ các nguồn trực tuyến công khai, lớn hơn gấp bảy lần so với tập dữ liệu được sử dụng cho Llama 2. Tập dữ liệu này cũng bao gồm một phần đáng kể (hơn 5%) dữ liệu chất lượng cao không phải tiếng Anh, bao phủ hơn 30 ngôn ngữ, nhằm chuẩn bị cho các ứng dụng đa ngôn ngữ trong tương lai.

Để đảm bảo chất lượng dữ liệu, Meta đã sử dụng các kỹ thuật lọc tiên tiến, bao gồm bộ lọc heuristic, bộ lọc NSFW, khử trùng lặp ngữ nghĩa và các bộ phân loại văn bản được đào tạo trên Llama 2 để dự đoán chất lượng dữ liệu. Đội ngũ cũng đã tiến hành các thí nghiệm rộng rãi để xác định hỗn hợp dữ liệu tối ưu cho việc tiền đào tạo, đảm bảo rằng Llama 3 hoạt động tốt trên nhiều trường hợp sử dụng, bao gồm trivia, STEM, mã hóa và kiến thức lịch sử.

Tăng cường đào tạo trước là một khía cạnh quan trọng khác trong sự phát triển của Llama 3. Meta đã phát triển các định luật tăng cường cho phép họ dự đoán hiệu suất của các mô hình lớn nhất trên các nhiệm vụ chính, chẳng hạn như tạo mã, trước khi thực sự đào tạo chúng. Điều này đã thông báo quyết định về hỗn hợp dữ liệu và phân bổ tính toán, cuối cùng dẫn đến đào tạo hiệu quả và hiệu quả hơn.

Các mô hình lớn nhất của Llama 3 được đào tạo trên hai cụm GPU tùy chỉnh 24.000, tận dụng sự kết hợp của song song hóa dữ liệu, song song hóa mô hình và song song hóa đường ống. Bộ đào tạo tiên tiến của Meta đã tự động hóa việc phát hiện lỗi, xử lý và bảo trì, tối đa hóa thời gian hoạt động của GPU và tăng hiệu quả đào tạo lên khoảng ba lần so với Llama 2.

Tinh Chỉnh Hướng Dẫn Và Hiệu Suất

Để mở khóa toàn bộ tiềm năng của Llama 3 cho các ứng dụng trò chuyện và đối thoại, Meta đã đổi mới cách tiếp cận của mình đối với việc tinh chỉnh hướng dẫn. Phương pháp của họ kết hợp tinh chỉnh giám sát (SFT), lấy mẫu từ chối, tối ưu hóa chính sách gần (PPO) và tối ưu hóa sở thích trực tiếp (DPO).

Chất lượng của các lời nhắc được sử dụng trong SFT và xếp hạng sở thích được sử dụng trong PPO và DPO đã đóng một vai trò quan trọng trong hiệu suất của các mô hình được căn chỉnh. Đội ngũ của Meta đã cẩn thận thu thập dữ liệu này và thực hiện nhiều vòng kiểm tra chất lượng về các chú thích được cung cấp bởi các người chú thích con người.

Đào tạo trên xếp hạng sở thích thông qua PPO và DPO cũng đã cải thiện đáng kể hiệu suất của Llama 3 trên các nhiệm vụ lý luận và mã hóa. Meta đã phát hiện ra rằng ngay cả khi một mô hình gặp khó khăn trong việc trả lời trực tiếp một câu hỏi lý luận, nó vẫn có thể tạo ra vết lý luận chính xác. Đào tạo trên xếp hạng sở thích đã cho phép mô hình học cách chọn câu trả lời chính xác từ các vết này.

Kết quả nói lên tất cả: Llama 3 vượt trội so với nhiều mô hình trò chuyện mã nguồn mở có sẵn trên các tiêu chuẩn ngành công nghiệp chung, thiết lập hiệu suất mới nhất cho LLM tại thang đo tham số 8B và 70B.

Phát Triển Có Trách Nhiệm Và Xem Xét An Toàn

Trong khi theo đuổi hiệu suất tiên tiến, Meta cũng ưu tiên các thực tiễn phát triển và triển khai có trách nhiệm cho Llama 3. Công ty đã áp dụng một cách tiếp cận ở cấp hệ thống, coi các mô hình Llama 3 như một phần của một hệ sinh thái rộng lớn hơn, đặt các nhà phát triển vào vị trí lái xe, cho phép họ thiết kế và tùy chỉnh các mô hình cho các trường hợp sử dụng và yêu cầu an toàn cụ thể của họ.

Meta đã tiến hành các bài tập kiểm tra đỏ, đánh giá đối thủ và triển khai các kỹ thuật giảm thiểu an toàn để giảm thiểu các rủi ro còn lại trong các mô hình được tinh chỉnh hướng dẫn. Tuy nhiên, công ty thừa nhận rằng các rủi ro còn lại có thể vẫn còn và khuyến nghị rằng các nhà phát triển nên đánh giá những rủi ro này trong bối cảnh các trường hợp sử dụng cụ thể của họ.

Để hỗ trợ triển khai có trách nhiệm, Meta đã cập nhật Hướng Dẫn Sử Dụng Có Trách Nhiệm, cung cấp một tài nguyên toàn diện cho các nhà phát triển để thực hiện các phương pháp hay nhất về an toàn ở cấp mô hình và hệ thống cho các ứng dụng của họ. Hướng dẫn bao gồm các chủ đề như kiểm duyệt nội dung, đánh giá rủi ro và sử dụng các công cụ an toàn như Llama Guard 2 và Code Shield.

Llama Guard 2, được xây dựng trên phân loại học MLCommons, được thiết kế để phân loại đầu vào LLM (lời nhắc) và phản hồi, phát hiện nội dung có thể được coi là không an toàn hoặc có hại. CyberSecEval 2 mở rộng trên người tiền nhiệm của nó bằng cách thêm các biện pháp để ngăn chặn lạm dụng trình thông dịch mã của mô hình, khả năng an ninh mạng tấn công và dễ bị tấn công bởi các cuộc tấn công tiêm lệnh.

Code Shield, một sự giới thiệu mới với Llama 3, thêm bộ lọc thời gian suy luận của mã không an toàn được tạo ra bởi LLM, giảm thiểu các rủi ro liên quan đến đề xuất mã không an toàn, lạm dụng trình thông dịch mã và thực hiện lệnh an toàn.

Truy Cập Và Sử Dụng Llama 3

Sau khi ra mắt Llama 3 của Meta AI, một số công cụ mã nguồn mở đã được cung cấp cho việc triển khai cục bộ trên các hệ điều hành khác nhau, bao gồm Mac, Windows và Linux. Phần này chi tiết ba công cụ đáng chú ý: Ollama, Open WebUI và LM Studio, mỗi công cụ cung cấp các tính năng độc đáo để tận dụng khả năng của Llama 3 trên các thiết bị cá nhân.

Ollama: Có sẵn cho Mac, Linux và Windows, Ollama đơn giản hóa việc vận hành Llama 3 và các mô hình ngôn ngữ lớn khác trên máy tính cá nhân, ngay cả trên các máy có phần cứng ít mạnh mẽ hơn. Nó bao gồm một trình quản lý gói cho việc quản lý mô hình dễ dàng và hỗ trợ lệnh trên các nền tảng để tải xuống và chạy mô hình.

Open WebUI với Docker: Công cụ này cung cấp một giao diện người dùng thân thiện, dựa trên Docker, tương thích với Mac, Linux và Windows. Nó tích hợp liền mạch với các mô hình từ kho Ollama, cho phép người dùng triển khai và tương tác với các mô hình như Llama 3 trong một giao diện web cục bộ.

LM Studio: Nhắm vào người dùng trên Mac, Linux và Windows, LM Studio hỗ trợ một loạt các mô hình và được xây dựng trên dự án llama.cpp. Nó cung cấp một giao diện trò chuyện và cho phép tương tác trực tiếp với các mô hình khác nhau, bao gồm mô hình Llama 3 8B Instruct.

Những công cụ này đảm bảo rằng người dùng có thể tận dụng hiệu quả Llama 3 trên các thiết bị cá nhân của họ, đáp ứng một loạt các kỹ năng kỹ thuật và yêu cầu khác nhau. Mỗi nền tảng cung cấp các quy trình từng bước để thiết lập và tương tác với mô hình, giúp AI tiên tiến trở nên dễ tiếp cận hơn với cả nhà phát triển và những người đam mê.