Phi-3 Mini: Nguồn sức mạnh bỏ túi – Ra mắt Phi-3 của Microsoft, mô hình ngôn ngữ vừa vặn trong điện thoại của bạn

Trong lĩnh vực trí tuệ nhân tạo đang phát triển nhanh chóng, trong khi xu hướng thường nghiêng về các mô hình lớn và phức tạp hơn, Microsoft lại áp dụng một cách tiếp cận khác với Phi-3 Mini của mình. Mô hình ngôn ngữ nhỏ (SLM) này, hiện đang ở thế hệ thứ ba, gói các khả năng mạnh mẽ của các mô hình lớn hơn vào một khung架 vừa vặn trong các hạn chế tài nguyên nghiêm ngặt của điện thoại thông minh. Với 3,8 tỷ tham số, Phi-3 Mini匹配 hiệu suất của các mô hình ngôn ngữ lớn (LLM) trên các nhiệm vụ khác nhau bao gồm xử lý ngôn ngữ, lý luận, mã hóa và toán học, và được thiết kế để hoạt động hiệu quả trên thiết bị di động thông qua quantization.

Thử thách của các mô hình ngôn ngữ lớn

Sự phát triển của mô hình Phi SLM của Microsoft là để đáp ứng những thách thức đáng kể được đặt ra bởi LLM, đòi hỏi nhiều năng lực tính toán hơn so với những gì thường có sẵn trên thiết bị tiêu dùng. Điều này làm cho việc sử dụng chúng trên máy tính tiêu chuẩn và thiết bị di động trở nên phức tạp, gây ra lo ngại về môi trường do tiêu thụ năng lượng trong quá trình đào tạo và hoạt động, và rủi ro duy trì sự thiên vị với các tập dữ liệu đào tạo lớn và phức tạp. Những yếu tố này cũng có thể làm suy giảm khả năng phản hồi của mô hình trong các ứng dụng thời gian thực và làm cho việc cập nhật trở nên khó khăn hơn.

Phi-3 Mini: Tối ưu hóa AI trên thiết bị cá nhân để tăng cường quyền riêng tư và hiệu quả

Phi-3 Mini được thiết kế chiến lược để cung cấp một giải pháp thay thế hiệu quả về chi phí và hiệu quả cho việc tích hợp AI tiên tiến trực tiếp vào thiết bị cá nhân như điện thoại và laptop. Thiết kế này cho phép phản hồi nhanh hơn, tức thời hơn, tăng cường tương tác của người dùng với công nghệ trong các tình huống hàng ngày.
Phi-3 Mini cho phép các chức năng AI tinh vi được xử lý trực tiếp trên thiết bị di động, giảm sự phụ thuộc vào dịch vụ đám mây và tăng cường xử lý dữ liệu thời gian thực. Khả năng này là then chốt cho các ứng dụng yêu cầu xử lý dữ liệu tức thời, chẳng hạn như chăm sóc sức khỏe di động, dịch ngôn ngữ thời gian thực và giáo dục cá nhân hóa, giúp thúc đẩy tiến bộ trong những lĩnh vực này. Hiệu quả về chi phí của mô hình không chỉ giảm chi phí hoạt động mà còn mở rộng tiềm năng tích hợp AI trên nhiều ngành công nghiệp, bao gồm cả thị trường mới nổi như công nghệ đeo và tự động hóa gia đình. Phi-3 Mini cho phép xử lý dữ liệu trực tiếp trên thiết bị cục bộ, tăng cường quyền riêng tư của người dùng. Điều này có thể quan trọng trong việc quản lý thông tin nhạy cảm trong các lĩnh vực như sức khỏe cá nhân và dịch vụ tài chính. Hơn nữa, yêu cầu năng lượng thấp của mô hình góp phần vào hoạt động AI bền vững về môi trường, phù hợp với nỗ lực bền vững toàn cầu.

Triết lý thiết kế và sự tiến hóa của Phi

Triết lý thiết kế của Phi dựa trên khái niệm học tập theo chương trình, lấy cảm hứng từ cách tiếp cận giáo dục nơi trẻ em học thông qua các ví dụ ngày càng khó hơn. Ý tưởng chính là bắt đầu đào tạo AI với các ví dụ dễ dàng và dần dần tăng độ khó của dữ liệu đào tạo khi quá trình học tập tiến triển. Microsoft đã thực hiện chiến lược giáo dục này bằng cách xây dựng một tập dữ liệu từ sách giáo khoa, như được mô tả trong nghiên cứu “Textbooks Are All You Need.” Dòng Phi được ra mắt vào tháng 6 năm 2023, bắt đầu với Phi-1, một mô hình compact có 1,3 tỷ tham số. Mô hình này nhanh chóng chứng minh hiệu quả của mình, đặc biệt là trong các nhiệm vụ mã hóa Python, nơi nó vượt qua các mô hình lớn và phức tạp hơn. Xây dựng trên thành công này, Microsoft sau đó đã phát triển Phi-1.5, vẫn giữ số lượng tham số nhưng mở rộng khả năng trong các lĩnh vực như lý luận chung và hiểu ngôn ngữ. Dòng này đã nổi bật với việc phát hành Phi-2 vào tháng 12 năm 2023. Với 2,7 tỷ tham số, Phi-2 đã展示 khả năng ấn tượng trong lý luận và hiểu ngôn ngữ, đặt nó như một đối thủ cạnh tranh mạnh với các mô hình lớn hơn đáng kể.

Phi-3 so với các mô hình ngôn ngữ nhỏ khác

Phát triển dựa trên các thế hệ trước, Phi-3 Mini mở rộng các tiến bộ của Phi-2 bằng cách vượt qua các SLM khác, chẳng hạn như Gemma của Google, Mistral của Mistral, Llama3-Instruct của Meta, và GPT 3.5, trong nhiều ứng dụng công nghiệp. Những ứng dụng này bao gồm hiểu ngôn ngữ và suy luận, kiến thức chung, lý luận chung, giải toán từ lớp học và trả lời câu hỏi y tế, thể hiện hiệu suất vượt trội so với các mô hình này. Phi-3 Mini cũng đã trải qua thử nghiệm ngoại tuyến trên iPhone 14 cho các nhiệm vụ khác nhau, bao gồm tạo nội dung và cung cấp gợi ý hoạt động được cá nhân hóa cho các vị trí cụ thể. Để thực hiện việc này, Phi-3 Mini đã được nén xuống 1,8GB bằng một quá trình gọi là quantization, tối ưu hóa mô hình cho các thiết bị có tài nguyên hạn chế bằng cách chuyển đổi dữ liệu số của mô hình từ số điểm nổi 32-bit sang các định dạng nén hơn như số nguyên 4-bit. Điều này không chỉ giảm dấu chân bộ nhớ của mô hình mà còn cải thiện tốc độ xử lý và hiệu suất năng lượng, điều quan trọng cho thiết bị di động. Các nhà phát triển thường sử dụng các khung như TensorFlow Lite hoặc PyTorch Mobile, tích hợp các công cụ quantization để tự động hóa và tinh chỉnh quá trình này.

So sánh tính năng: Phi-3 Mini so với Phi-2 Mini

Dưới đây, chúng tôi so sánh một số tính năng của Phi-3 với người tiền nhiệm Phi-2.

• Kiến trúc mô hình: Phi-2 hoạt động trên kiến trúc dựa trên transformer được thiết kế để dự đoán từ tiếp theo. Phi-3 Mini cũng sử dụng kiến trúc decoder transformer nhưng phù hợp hơn với cấu trúc mô hình Llama-2, sử dụng cùng tokenizer với kích thước từ vựng 320.641. Sự tương thích này đảm bảo rằng các công cụ được phát triển cho Llama-2 có thể dễ dàng được điều chỉnh để sử dụng với Phi-3 Mini.
• Chiều dài ngữ cảnh: Phi-3 Mini hỗ trợ chiều dài ngữ cảnh 8.000 token, lớn hơn đáng kể so với 2.048 token của Phi-2. Sự tăng này cho phép Phi-3 Mini quản lý các tương tác chi tiết hơn và xử lý các đoạn văn bản dài hơn.
• Chạy cục bộ trên thiết bị di động: Phi-3 Mini có thể được nén xuống 4-bit, chiếm khoảng 1,8GB bộ nhớ, tương tự như Phi-2. Nó đã được thử nghiệm chạy ngoại tuyến trên iPhone 14 với chip A16 Bionic, nơi nó đạt được tốc độ xử lý hơn 12 token mỗi giây,匹配 hiệu suất của Phi-2 trong điều kiện tương tự.
• Kích thước mô hình: Với 3,8 tỷ tham số, Phi-3 Mini có quy mô lớn hơn Phi-2, có 2,7 tỷ tham số. Điều này phản ánh khả năng tăng của nó.
• Dữ liệu đào tạo: Không giống như Phi-2, được đào tạo trên 1,4 nghìn tỷ token, Phi-3 Mini đã được đào tạo trên một tập dữ liệu lớn hơn nhiều, 3,3 nghìn tỷ token, cho phép nó đạt được sự hiểu biết tốt hơn về các mẫu ngôn ngữ phức tạp.

Địa chỉ hạn chế của Phi-3 Mini

Mặc dù Phi-3 Mini thể hiện những bước tiến đáng kể trong lĩnh vực mô hình ngôn ngữ nhỏ, nó không phải là không có hạn chế. Một hạn chế chính của Phi-3 Mini, xét về kích thước nhỏ so với các mô hình ngôn ngữ lớn, là khả năng lưu trữ kiến thức thực tế hạn chế. Điều này có thể ảnh hưởng đến khả năng xử lý độc lập các truy vấn đòi hỏi độ sâu của kiến thức thực tế hoặc kiến thức chuyên môn chi tiết. Tuy nhiên, điều này có thể được giảm thiểu bằng cách tích hợp Phi-3 Mini với một công cụ tìm kiếm. Điều này cho phép mô hình truy cập vào một loạt thông tin rộng lớn hơn trong thời gian thực, hiệu quả bù đắp cho các hạn chế kiến thức vốn có. Tích hợp này cho phép Phi-3 Mini hoạt động như một người đối thoại có khả năng cao, người mặc dù có hiểu biết sâu về ngôn ngữ và ngữ cảnh, nhưng thỉnh thoảng cần “tìm kiếm” thông tin để cung cấp phản hồi chính xác và cập nhật.

Phổ biến

Phi-3 hiện đã có trên một số nền tảng, bao gồm Microsoft Azure AI Studio, Hugging Face, và Ollama. Trên Azure AI, mô hình bao gồm một quy trình triển khai-đánh giá-tinh chỉnh, và trên Ollama, nó có thể được chạy cục bộ trên laptop. Mô hình đã được tùy chỉnh cho ONNX Runtime và hỗ trợ Windows DirectML, đảm bảo nó hoạt động tốt trên nhiều loại phần cứng như GPU, CPU và thiết bị di động. Ngoài ra, Phi-3 được cung cấp như một dịch vụ vi mô thông qua NVIDIA NIM, được trang bị API tiêu chuẩn cho việc triển khai dễ dàng trên các môi trường khác nhau và được tối ưu hóa đặc biệt cho GPU NVIDIA. Microsoft dự định sẽ mở rộng thêm dòng Phi-3 trong tương lai gần bằng cách thêm mô hình Phi-3-small (7B) và Phi-3-medium (14B), cung cấp cho người dùng thêm lựa chọn để cân bằng giữa chất lượng và chi phí.

Kết luận

Phi-3 Mini của Microsoft đang tạo ra những bước tiến đáng kể trong lĩnh vực trí tuệ nhân tạo bằng cách thích nghi sức mạnh của các mô hình ngôn ngữ lớn cho sử dụng di động. Mô hình này cải thiện tương tác của người dùng với thiết bị thông qua xử lý thời gian thực nhanh hơn và các tính năng quyền riêng tư được tăng cường. Nó giảm thiểu nhu cầu về dịch vụ dựa trên đám mây, giảm chi phí hoạt động và mở rộng phạm vi ứng dụng AI trong các lĩnh vực như chăm sóc sức khỏe và tự động hóa gia đình. Với sự tập trung vào giảm thiểu thiên vị thông qua học tập theo chương trình và duy trì hiệu suất cạnh tranh, Phi-3 Mini đang trở thành một công cụ quan trọng cho AI di động hiệu quả và bền vững, dần dần thay đổi cách chúng ta tương tác với công nghệ hàng ngày.