Powerhouse cỡ bỏ túi: Ra mắt Phi-3 của Microsoft, Mô hình ngôn ngữ phù hợp với điện thoại của bạn

Trong lĩnh vực trí tuệ nhân tạo đang phát triển nhanh chóng, trong khi xu hướng thường nghiêng về các mô hình lớn hơn và phức tạp hơn, Microsoft lại đang áp dụng một cách tiếp cận khác với Phi-3 Mini của mình. Cái này mô hình ngôn ngữ nhỏ (SLM), hiện ở thế hệ thứ ba, gói gọn khả năng mạnh mẽ của các mẫu lớn hơn vào một khuôn khổ phù hợp với những hạn chế nghiêm ngặt về tài nguyên của điện thoại thông minh. Với 3.8 tỷ thông số, Phi-3 Mini phù hợp với hiệu năng của mô hình ngôn ngữ lớn (LLM) trong nhiều nhiệm vụ khác nhau bao gồm xử lý ngôn ngữ, lý luận, mã hóa và toán học, đồng thời được điều chỉnh để hoạt động hiệu quả trên thiết bị di động thông qua lượng tử hóa.

Những thách thức của mô hình ngôn ngữ lớn

Sự phát triển của Phi SLM của Microsoft nhằm đáp lại những thách thức đáng kể do LLM đặt ra, vốn đòi hỏi nhiều sức mạnh tính toán hơn mức thường có trên các thiết bị tiêu dùng. Nhu cầu cao này làm phức tạp việc sử dụng chúng trên máy tính và thiết bị di động tiêu chuẩn, làm tăng mối lo ngại về môi trường do mức tiêu thụ năng lượng của chúng trong quá trình đào tạo và vận hành, đồng thời có nguy cơ kéo dài sai lệch với bộ dữ liệu đào tạo lớn và phức tạp. Những yếu tố này cũng có thể làm giảm khả năng phản hồi của mô hình trong các ứng dụng thời gian thực và khiến việc cập nhật trở nên khó khăn hơn.

Phi-3 Mini: Hợp lý hóa AI trên thiết bị cá nhân để nâng cao hiệu quả và quyền riêng tư

Sản phẩm Phi-3 Mini được thiết kế một cách chiến lược nhằm cung cấp giải pháp thay thế hiệu quả và tiết kiệm chi phí để tích hợp AI tiên tiến trực tiếp vào các thiết bị cá nhân như điện thoại và máy tính xách tay. Thiết kế này tạo điều kiện cho phản hồi nhanh hơn, tức thời hơn, tăng cường tương tác của người dùng với công nghệ trong các tình huống hàng ngày.

Phi-3 Mini cho phép xử lý trực tiếp các chức năng AI phức tạp trên thiết bị di động, giúp giảm sự phụ thuộc vào dịch vụ đám mây và tăng cường xử lý dữ liệu theo thời gian thực. Khả năng này rất quan trọng đối với các ứng dụng yêu cầu xử lý dữ liệu ngay lập tức, chẳng hạn như chăm sóc sức khỏe di động, dịch ngôn ngữ theo thời gian thực và giáo dục được cá nhân hóa, tạo điều kiện thuận lợi cho những tiến bộ trong các lĩnh vực này. Hiệu quả chi phí của mô hình không chỉ giúp giảm chi phí vận hành mà còn mở rộng tiềm năng tích hợp AI trên nhiều ngành khác nhau, bao gồm các thị trường mới nổi như công nghệ thiết bị đeo và tự động hóa gia đình. Phi-3 Mini cho phép xử lý dữ liệu trực tiếp trên các thiết bị cục bộ giúp tăng cường quyền riêng tư của người dùng. Điều này có thể rất quan trọng để quản lý thông tin nhạy cảm trong các lĩnh vực như dịch vụ tài chính và sức khỏe cá nhân. Hơn nữa, yêu cầu năng lượng thấp của mô hình góp phần vận hành AI bền vững với môi trường, phù hợp với các nỗ lực bền vững toàn cầu.

Triết lý thiết kế và sự phát triển của Phi

Triết lý thiết kế của Phi dựa trên khái niệm Giáo trình học, lấy cảm hứng từ phương pháp giáo dục trong đó trẻ học thông qua các ví dụ có độ khó tăng dần. Ý tưởng chính là bắt đầu đào tạo AI với các ví dụ dễ dàng hơn và tăng dần độ phức tạp của dữ liệu đào tạo khi quá trình học tập tiến triển. Microsoft đã thực hiện chiến lược giáo dục này bằng cách xây dựng bộ dữ liệu từ sách giáo khoa, như được trình bày chi tiết trong nghiên cứu của họ “Sách giáo khoa là tất cả những gì bạn cần.” Dòng Phi được ra mắt vào tháng 2023 năm 1, bắt đầu với Phi-1.3, một mẫu máy nhỏ gọn có XNUMX tỷ thông số. Mô hình này nhanh chóng chứng tỏ tính hiệu quả của nó, đặc biệt là trong các tác vụ mã hóa Python, nơi nó hoạt động tốt hơn các mô hình lớn hơn, phức tạp hơn. Dựa trên thành công này, Microsoft gần đây đã phát triển Phi-1.5, duy trì cùng số lượng tham số nhưng mở rộng khả năng của nó trong các lĩnh vực như lý luận thông thường và hiểu ngôn ngữ. Bộ truyện đã tỏa sáng hơn với việc phát hành Phi-2 vào tháng 2023 năm 2.7. Với 2 tỷ thông số, Phi-XNUMX đã thể hiện những kỹ năng ấn tượng về khả năng suy luận và hiểu ngôn ngữ, định vị nó là đối thủ cạnh tranh mạnh mẽ trước các mô hình lớn hơn đáng kể.

Phi-3 so với các mô hình ngôn ngữ nhỏ khác

Mở rộng dựa trên những người tiền nhiệm của nó, Phi-3 Mini mở rộng những tiến bộ của Phi-2 bằng cách vượt qua các SLM khác, chẳng hạn như Gemma của Google, Mistral của Mistral, Llama3-Hướng dẫn của Metavà GPT3.5, trong một loạt các ứng dụng công nghiệp. Các ứng dụng này bao gồm hiểu và suy luận ngôn ngữ, kiến ​​thức tổng quát, lý luận thông thường, các bài toán đố toán cấp lớp và trả lời câu hỏi y khoa, cho thấy hiệu suất vượt trội so với các mô hình này. Phi-3 Mini cũng đã trải qua thử nghiệm ngoại tuyến trên iPhone 14 cho nhiều tác vụ khác nhau, bao gồm tạo nội dung và cung cấp đề xuất hoạt động phù hợp với các vị trí cụ thể. Vì mục đích này, Phi-3 Mini đã được cô đặc thành 1.8 GB bằng quy trình gọi là lượng tử hóa, giúp tối ưu hóa mô hình cho các thiết bị có tài nguyên hạn chế bằng cách chuyển đổi dữ liệu số của mô hình từ số dấu phẩy động 32 bit sang các định dạng nhỏ gọn hơn như số nguyên 4 bit. Điều này không chỉ làm giảm dung lượng bộ nhớ của mô hình mà còn cải thiện tốc độ xử lý và hiệu quả sử dụng năng lượng, điều này rất quan trọng đối với thiết bị di động. Các nhà phát triển thường sử dụng các khuôn khổ như TensorFlow Lite or PyTorch Mobile, kết hợp các công cụ lượng tử hóa tích hợp để tự động hóa và tinh chỉnh quy trình này.

So sánh tính năng: Phi-3 Mini và Phi-2 Mini

Dưới đây, chúng tôi so sánh một số tính năng của Phi-3 với người tiền nhiệm Phi-2.

• Kiến trúc mô hình: Phi-2 hoạt động trên kiến ​​trúc dựa trên máy biến áp được thiết kế để dự đoán từ tiếp theo. Phi-3 Mini cũng sử dụng kiến ​​trúc bộ giải mã biến áp nhưng phù hợp hơn với cấu trúc mô hình Llama-2, sử dụng cùng một mã thông báo với kích thước từ vựng là 320,641. Khả năng tương thích này đảm bảo rằng các công cụ được phát triển cho Llama-2 có thể dễ dàng điều chỉnh để sử dụng với Phi-3 Mini.
• Độ dài ngữ cảnh: Phi-3 Mini hỗ trợ độ dài ngữ cảnh là 8,000 mã thông báo, lớn hơn đáng kể so với 2 mã thông báo của Phi-2,048. Mức tăng này cho phép Phi-3 Mini quản lý các tương tác chi tiết hơn và xử lý các đoạn văn bản dài hơn.
• Chạy cục bộ trên thiết bị di động: Phi-3 Mini có thể nén thành 4 bit, chiếm khoảng 1.8GB bộ nhớ, tương tự như Phi-2. Nó đã được thử nghiệm chạy ngoại tuyến trên iPhone 14 với chip A16 Bionic, nơi nó đạt được tốc độ xử lý hơn 12 mã thông báo mỗi giây, phù hợp với hiệu suất của Phi-2 trong các điều kiện tương tự.
• Kích thước mô hình: Với 3.8 tỷ thông số, Phi-3 Mini có quy mô lớn hơn Phi-2, vốn có 2.7 tỷ thông số. Điều này phản ánh khả năng tăng lên của nó.
• Dữ liệu đào tạo: Không giống như Phi-2, được đào tạo trên 1.4 nghìn tỷ mã thông báo, Phi-3 Mini đã được đào tạo trên bộ 3.3 nghìn tỷ mã thông báo lớn hơn nhiều, cho phép nó nắm bắt tốt hơn các mẫu ngôn ngữ phức tạp.

Giải quyết những hạn chế của Phi-3 Mini

Mặc dù Phi-3 Mini thể hiện những tiến bộ đáng kể trong lĩnh vực mô hình ngôn ngữ nhỏ nhưng nó không phải không có những hạn chế. Hạn chế chính của Phi-3 Mini, do kích thước nhỏ hơn so với các mô hình ngôn ngữ lớn, là khả năng lưu trữ kiến ​​thức thực tế sâu rộng còn hạn chế. Điều này có thể ảnh hưởng đến khả năng xử lý độc lập các truy vấn đòi hỏi chiều sâu dữ liệu thực tế cụ thể hoặc kiến ​​thức chuyên môn chi tiết. Tuy nhiên, điều này có thể được giảm thiểu bằng cách tích hợp Phi-3 Mini với công cụ tìm kiếm. Bằng cách này, mô hình có thể truy cập nhiều loại thông tin hơn trong thời gian thực, bù đắp một cách hiệu quả cho những hạn chế về kiến ​​thức vốn có của nó. Sự tích hợp này cho phép Phi-3 Mini hoạt động giống như một người giao tiếp có khả năng cao, mặc dù nắm bắt toàn diện về ngôn ngữ và ngữ cảnh nhưng đôi khi có thể cần “tra cứu” thông tin để đưa ra phản hồi chính xác và cập nhật.

Sự có sẵn

Phi-3 hiện có sẵn trên một số nền tảng, bao gồm Studio AI Microsoft Azure, Ôm mặtvà Ollama. Trên Azure AI, mô hình này kết hợp quy trình triển khai-đánh giá-tinh chỉnh và trên Ollama, mô hình này có thể chạy cục bộ trên máy tính xách tay. Mô hình đã được thiết kế riêng cho Thời gian chạy ONNX và hỗ trợ Windows DirectML, đảm bảo nó hoạt động tốt trên nhiều loại phần cứng khác nhau như GPU, CPU và thiết bị di động. Ngoài ra, Phi-3 còn được cung cấp dưới dạng microservice thông qua NVIDIA NIM, được trang bị API tiêu chuẩn để dễ dàng triển khai trên các môi trường khác nhau và được tối ưu hóa riêng cho GPU NVIDIA. Microsoft có kế hoạch mở rộng hơn nữa dòng Phi-3 trong thời gian tới bằng cách bổ sung thêm mẫu Phi-3-small (7B) và Phi-3-medium (14B), mang đến cho người dùng những lựa chọn bổ sung để cân bằng giữa chất lượng và chi phí.

The Bottom Line

Phi-3 Mini của Microsoft đang có những bước tiến đáng kể trong lĩnh vực trí tuệ nhân tạo bằng cách điều chỉnh sức mạnh của các mô hình ngôn ngữ lớn để sử dụng trên thiết bị di động. Mô hình này cải thiện sự tương tác của người dùng với các thiết bị thông qua việc xử lý theo thời gian thực nhanh hơn và các tính năng bảo mật nâng cao. Nó giảm thiểu nhu cầu về các dịch vụ dựa trên đám mây, giảm chi phí vận hành và mở rộng phạm vi ứng dụng AI trong các lĩnh vực như chăm sóc sức khỏe và tự động hóa gia đình. Với trọng tâm là giảm sự thiên vị thông qua việc học theo chương trình giảng dạy và duy trì hiệu suất cạnh tranh, Phi-3 Mini đang phát triển thành một công cụ quan trọng cho AI di động hiệu quả và bền vững, thay đổi một cách tinh tế cách chúng ta tương tác với công nghệ hàng ngày.