Tại Sao Mô Hình AI Năng Lực Nhất Hiếm Khi Là Lựa Chọn Đúng Cho Ứng Dụng Của Bạn

Có một sự thoải mái nhất định khi chọn mô hình mạnh mẽ nhất. Khi bạn xây dựng một sản phẩm được hỗ trợ bởi AI, nó feels có trách nhiệm (gần như logic) để chọn mô hình mạnh mẽ nhất có sẵn. GPT-4o. Claude Opus. Gemini Ultra. Đây là những công nghệ ấn tượng, và không ai từng bị sa thải vì chọn công cụ thông minh nhất trong phòng.

Except, well, có một điều khoản. Dự án phình to. Chi phí tăng vọt. Thời gian trễ xuất hiện. Và ở khoảng tháng thứ ba, đội bắt đầu đặt câu hỏi không thoải mái về lý do tại sao một tính năng tự động hoàn tất đơn giản lại tiêu tốn tín dụng API như một công ty khởi nghiệp có tài trợ vốn và không có trách nhiệm.

Điều quan trọng là: “năng lực nhất” và “phù hợp nhất” là hai tiêu chuẩn rất khác nhau. Nhà cung cấp dịch vụ phát triển ứng dụng AI chọn mô hình dựa trên đánh giá, không phải bảng xếp hạng.

Lớn Không Tự Động Tốt Hơn

Một mô hình tiền phong hoạt động đặc biệt tốt trong điều kiện lý tưởng nhưng tốn kém để vận hành, xử lý đầu vào không hoàn hảo kém, và vượt quá yêu cầu cho các nhiệm vụ đơn giản.

GPT-4o có thể viết thơ, lý luận qua hợp đồng pháp lý, gỡ lỗi mã, và giải thích sự kết hợp lượng tử cho một đứa trẻ mười tuổi, đôi khi trong cùng một phản hồi. Đó thực sự là đáng chú ý. Nhưng nếu ứng dụng của bạn đang tóm tắt vé hỗ trợ khách hàng hoặc trích xuất dữ liệu có cấu trúc từ hóa đơn, bạn đang trả tiền cho các khả năng không được sử dụng.

Các mô hình nhỏ, chuyên dụng xử lý các nhiệm vụ tập trung với độ chính xác ấn tượng:

• GPT-4o mini bao phủ hầu hết các nhiệm vụ ngôn ngữ tại khoảng 15 lần thấp hơn chi phí so với GPT-4o
• Claude Haiku được xây dựng cho tốc độ và hiệu quả trên các khối lượng công việc có cấu trúc lớn
• Mistral 7B và Llama 3.1 8B là các lựa chọn mã nguồn mở chạy nhanh và tinh chỉnh tốt

Khoảng cách giữa những mô hình này và mô hình tiền phong thu hẹp đáng kể khi nhiệm vụ hẹp và các lời nhắc được thiết kế tốt.

Toán Học Chi Phí Không Ai Nói Về Trong Các Cuộc Họp Lập Kế Hoạch

Giá API cho mô hình tiền phong có thể chạy 10 đến 30 lần cao hơn mỗi token so với các mô hình nhẹ hơn. Khoảng cách đó nghe có vẻ trừu tượng cho đến khi bạn mô hình hóa nó trên quy mô.

Giả sử ứng dụng của bạn thực hiện 500.000 cuộc gọi API mỗi tháng:

Cùng một tính năng. Câu chuyện biên độ rất khác.

Một số đội chạy kiến trúc hỗn hợp, định tuyến các nhiệm vụ phân loại đơn giản đến mô hình nhẹ trong khi dành mô hình nặng hơn cho các bước tạo hoặc lý luận phức tạp. Các công ty như Martian và RouteLLM đã xây dựng công cụ cụ thể cho loại định tuyến mô hình này. Đó không phải là kỹ thuật glamor, nhưng đó là loại thứ mà làm cho các CFO cảm thấy thoải mái hơn.

Thời Gian Trễ Là Vấn Đề Trải Nghiệm Người Dùng

Có một lý do tại sao thức ăn nhanh tồn tại. Người dùng không luôn muốn bữa ăn năm món.

Mô hình tiền phong chậm hơn. Không phải lúc nào cũng chậm, nhưng đủ để quan trọng trong các ứng dụng thời gian thực. Nếu người dùng của bạn đang chờ đợi phản hồi AI trong giao diện trò chuyện, giao diện trò chuyện, hoặc trợ lý mã hóa trực tiếp, độ trễ phản hồi trực tiếp định hình cách sản phẩm cảm nhận. Một mô hình mất 4-6 giây để phản hồi bắt đầu cảm thấy không đáng tin cậy, ngay cả khi đầu ra kỹ thuật vượt trội.

Qui tắc ngón tay: Nếu người dùng thấy biểu tượng tải, mỗi giây thêm giảm sự tin tưởng.

Haiku, Mistral, và Llama 3.1 8B chạy nhanh hơn đáng kể (thường 3 đến 5 lần nhanh hơn) trong điều kiện tải tương tự. Đối với các tính năng hướng người dùng mà tốc độ cảm nhận quan trọng, điều này không phải là một yếu tố nhỏ. Đó là quyết định sản phẩm.

Biến Số Kỹ Thuật Lời Nhắc (Đổi Mọi Thứ)

Đây là điều gì đó được lược bỏ trong các luồng so sánh mô hình: một lời nhắc được thiết kế tốt trên mô hình nhỏ thường đánh bại một lời nhắc lười biếng trên mô hình tiền phong.

Chất lượng đầu ra là sản phẩm của khả năng mô hình VÀ chất lượng lời nhắc. Khi các đội đầu tư vào kỹ thuật lời nhắc (hướng dẫn rõ ràng, định dạng đầu ra có cấu trúc, ví dụ vài lần, ràng buộc rõ ràng) mô hình nhỏ thực hiện vượt trội trên trần của chúng.

Một số công cụ đáng biết ở đây:

• LangChain và DSPy để tạo và tối ưu hóa đường ống lời nhắc
• Guidance cho tạo và đầu ra có cấu trúc
• PromptFoo để chạy đánh giá lời nhắc hệ thống trên các mô hình

Một số tính năng AI ấn tượng nhất trong sản xuất ngày nay đang chạy trên các mô hình không thể vào top năm trên bất kỳ bảng xếp hạng khả năng nào. Chúng chỉ chạy trên lời nhắc thực sự tốt.

Tinh Chỉnh Đổi Mọi Thứ

So sánh giữa mô hình tiền phong chung và mô hình nhỏ mã nguồn mở trông rất khác một khi tinh chỉnh tham gia vào bức tranh. Một mô hình Llama 3.1 8B tinh chỉnh trên dữ liệu miền cụ thể của bạn (từ vựng của bạn, các trường hợp biên của bạn, định dạng đầu ra ưa thích của bạn) có thể vượt trội GPT-4o trên nhiệm vụ cụ thể của bạn.

Điều này không phải là假 thuyết. Các công ty trong chăm sóc sức khỏe, công nghệ pháp lý, và thương mại điện tử đã chứng minh nó lặp lại.

Nơi để bắt đầu với tinh chỉnh:

• Hugging Face cho lưu trữ mô hình mã nguồn mở, tập dữ liệu, và cơ sở hạ tầng đào tạo
• Together AI cho các chạy tinh chỉnh nhanh và tiết kiệm trên các mô hình mã nguồn mở phổ biến
• Replicate để triển khai mô hình tùy chỉnh mà không cần quản lý cơ sở hạ tầng GPU của riêng bạn

Tinh chỉnh đòi hỏi đầu tư ban đầu: thu thập dữ liệu, thời gian tính toán, và công việc đánh giá. Nhưng đối với các nhiệm vụ cụ thể miền với khối lượng lớn, kinh tế thường làm việc đáng kể theo hướng có lợi.

Bảo Mật và Nơi Cư Trú Dữ Liệu Không Phải Là Những Điều Sau Cùng

Một số ứng dụng không thể gửi dữ liệu đến API của bên thứ ba. Hãy xem xét:

• Nền tảng chăm sóc sức khỏe hoạt động dưới HIPAA
• Công cụ tài chính xử lý PII hoặc dữ liệu giao dịch được quản lý
• Phần mềm doanh nghiệp với yêu cầu cư trú dữ liệu nghiêm ngặt

Những môi trường này có các ràng buộc mà không mô hình tiền phong API nào có thể làm việc xung quanh, bất kể khả năng. Mô hình tự lưu trữ, dù trên cơ sở hoặc trong đám mây riêng, là con đường duy nhất tiến về phía trước. Điều đó có nghĩa là mô hình mã nguồn mở như Llama 3, Mistral, hoặc Phi-3 chạy trên cơ sở hạ tầng của riêng bạn. Một mô hình tiền phong mà bạn không thể sử dụng hợp pháp trong sản xuất không phải là lựa chọn đúng, đầy đủ dừng.

Bước Đánh Giá Mà Các Đội Luôn Bỏ Qua

Hầu hết các đội chọn mô hình bằng cách giả định mô hình đắt tiền nhất là tốt nhất mà không cần kiểm tra. Điều họ nên làm là chạy các đánh giá có cấu trúc trên các mẫu đại diện của trường hợp sử dụng thực tế của họ.

Dưới đây là một quy trình hoạt động:

1. Xây dựng một tập đánh giá gồm 100 đến 200 đầu vào đại diện với đầu ra dự kiến
2. Chạy chúng qua hai hoặc ba mô hình ứng viên dưới điều kiện thực tế
3. Đánh giá dựa trên tiêu chí thực của bạn: độ chính xác, tuân thủ định dạng, giọng điệu, độ trễ, chi phí mỗi cuộc gọi
4. Quyết định dựa trên dữ liệu, không phải cảm giác hoặc bảng xếp hạng

Các công cụ như Braintrust, PromptFoo, và Weights & Biases Prompts làm cho loại đánh giá hệ thống này có thể tiếp cận mà không cần nền tảng nghiên cứu. Nó mất vài giờ để thiết lập. Phần thưởng là không chọn mô hình sai trong sáu tháng.

Khi Mô Hình Tiền Phong Thực Sự Là Lời Gọi Đúng

Để công bằng: có những nhiệm vụ mà mô hình tiền phong thực sự kiếm được giá của chúng.

Sử dụng mô hình tiền phong khi:

• Nhiệm vụ đòi hỏi lý luận phức tạp, đa bước với không có mẫu rõ ràng
• Sự biến động chất lượng đầu ra tốn kém và khối lượng tương đối thấp
• Bạn cần kiến thức thế giới rộng hoặc phán đoán tinh vi mà không thể được nhắc nhở
• Bạn đang tạo mẫu và chưa định nghĩa ranh giới nhiệm vụ

Dính vào mô hình nhẹ hơn khi:

• Nhiệm vụ được định nghĩa rõ ràng và lặp lại
• Tốc độ và chi phí quan trọng ở khối lượng bạn đang chạy
• Bạn có thể đầu tư vào kỹ thuật lời nhắc hoặc tinh chỉnh
• Quy tắc cư trú dữ liệu hoặc tuân thủ loại bỏ API của bên thứ ba

Điểm không phải là tránh mô hình mạnh mẽ. Điểm là chọn một cách có chủ ý, với bằng chứng, chứ không phải mặc định vào mô hình lớn nhất trên bảng xếp hạng vì nó cảm thấy như lựa chọn an toàn.

Tổng Kết

Chọn mô hình AI cho ứng dụng của bạn không nên cảm thấy như một cuộc thi uy tín. Mô hình năng lực nhất trên giấy không phải lúc nào cũng là mô hình đúng cho vấn đề của bạn, hoặc thậm chí thường xuyên.

Khớp mô hình với nhiệm vụ. Chạy đánh giá trên dữ liệu thực. Nhân tố trong độ trễ, chi phí, yêu cầu bảo mật, và khả năng của nhóm bạn về kỹ thuật lời nhắc hoặc tinh chỉnh. Các quyết định sản phẩm AI tốt nhất được dựa trên những yếu tố cụ thể, không phải trên mô hình nào đã xuất bản số ấn tượng nhất quý trước.

Các đội vận chuyển sản phẩm AI tuyệt vời không nhất thiết phải chạy các mô hình mạnh mẽ nhất. Họ chạy các mô hình phù hợp nhất.