Perplexity công bố bài giải thích về cách thức hoạt động và những hạn chế của cổng AI

Perplexity đã công bố một cẩm nang vào ngày 20 tháng 10 năm 2026, giải thích cách các cổng AI định tuyến, đo lường và quản lý lưu lượng giữa các ứng dụng với mô hình ngôn ngữ lớn, cũng như thời điểm một tổ chức cần đến cổng này. Bài viết có tiêu đề “Cổng AI là gì? Hướng dẫn định tuyến, kiểm soát chi phí và quản trị lưu lượng LLM và tác tử” và là bài đăng mới nhất trên blog của công ty.

Định nghĩa và xử lý yêu cầu

Cẩm nang định nghĩa cổng AI là một lớp proxy trung tâm nằm giữa các ứng dụng hoặc tác tử AI của tổ chức ở một phía và các mô hình ngôn ngữ lớn cùng công cụ mà chúng gọi ở phía còn lại; việc định tuyến, kiểm soát chi phí, thực thi bảo mật và giám sát mức sử dụng đều được xử lý tại một nơi. Vì mỗi nhà cung cấp (cẩm nang nêu tên OpenAI, Anthropic, Google, các mô hình mã nguồn mở và các điểm cuối tự lưu trữ) cung cấp SDK, khóa API và định dạng yêu cầu riêng, cổng này tiếp nhận một yêu cầu theo chuẩn chung rồi chuyển đổi yêu cầu đó sang định dạng phù hợp với nhà cung cấp được gọi. Có thể thêm, thay thế hoặc ngừng sử dụng mô hình thông qua cấu hình của cổng, thay vì sửa mã ứng dụng.

Theo cẩm nang, mọi yêu cầu được gửi đến URL cơ sở của cổng đều trải qua cùng bốn bước: cổng xác thực và cấp quyền cho bên gọi dựa trên khóa và vai trò; áp dụng chính sách như giới hạn token, ngân sách và các biện pháp bảo vệ, trong đó có việc che thông tin nhận dạng cá nhân (PII); định tuyến đến mô hình hoặc nhà cung cấp dựa trên chi phí, độ trễ hoặc khả năng sẵn sàng, chuyển sang phương án dự phòng và chuyển đổi yêu cầu sang định dạng của nhà cung cấp đích; cuối cùng, ghi lại mô hình, số lượng token, độ trễ và kết quả để theo dõi chi tiêu và gỡ lỗi.

Các khả năng và hạn chế được nêu

Cẩm nang mô tả sáu nhóm khả năng. Định tuyến và chuyển đổi dự phòng chọn mô hình dựa trên chi phí, độ trễ hoặc năng lực, đồng thời tự động chuyển hướng yêu cầu khi nhà cung cấp ngừng hoạt động hoặc giới hạn tốc độ. Giới hạn tốc độ và ngân sách dựa trên token đặt mức trần sử dụng cho từng nhóm, dự án hoặc người dùng, đồng thời từ chối yêu cầu khi đã đạt hạn mức được phân bổ. Bộ nhớ đệm ngữ nghĩa đối chiếu lời nhắc mới với các câu trả lời đã lưu theo ý nghĩa, rồi trả về phản hồi đã lưu mà không gọi mô hình nếu các lời nhắc đủ tương đồng. Các biện pháp bảo vệ kiểm tra từng lời nhắc và phản hồi, loại bỏ dữ liệu cá nhân hoặc nhạy cảm trước khi dữ liệu đến nhà cung cấp, giảm nguy cơ tấn công chèn lời nhắc và lọc nội dung không mong muốn. Khả năng giám sát ghi lại mô hình đã chạy, mức sử dụng token, độ trễ và lỗi; trong khi đó, các tính năng quản trị cấp quyền truy cập mô hình theo vai trò và lưu nhật ký kiểm tra mọi lượt gọi.

Về các hạn chế, cẩm nang cho biết cổng làm tăng độ trễ, nhưng mô tả mức chậm trễ này là tương đối nhỏ đối với lưu lượng LLM. Cẩm nang dẫn một thử nghiệm đối chuẩn độc lập vào tháng 6 năm 2026 của nhóm VMware Cloud Foundation thuộc Broadcom, trong đó Envoy AI Gateway được tinh chỉnh làm tăng khoảng 2 mili giây cho mỗi yêu cầu khi có tối đa 224 người dùng đồng thời, với tính năng định tuyến và giới hạn tốc độ nhưng không kiểm tra nội dung; theo trích dẫn trong cẩm nang, cùng thử nghiệm đó lưu ý rằng các biện pháp bảo vệ và bộ nhớ đệm ngữ nghĩa có thể làm tăng độ trễ từ hàng chục đến hàng trăm mili giây. Cẩm nang cũng cho biết các cổng không quyết định việc cần hỏi mô hình điều gì, không ghi nhớ các cuộc trò chuyện, không chạy logic từng bước của một tác tử và không đánh giá chất lượng câu trả lời; đồng thời cảnh báo rằng định tuyến dựa trên chi phí có thể làm giảm chất lượng khi mô hình rẻ hơn đưa ra câu trả lời kém hơn.

Các loại cổng và lưu lượng của tác tử

Cẩm nang so sánh cổng AI với cổng API truyền thống trên một số khía cạnh: đo lường token so với giới hạn số lượng yêu cầu; bộ nhớ đệm ngữ nghĩa so với bộ nhớ đệm khớp chính xác; kiểm tra lời nhắc để phát hiện dữ liệu nhạy cảm và chỉ dẫn ẩn so với xác thực bằng khóa; và định tuyến đến mô hình dựa trên chi phí, độ trễ hoặc năng lực so với định tuyến đến dịch vụ phụ trợ. Cẩm nang cũng phân biệt hai thuật ngữ có phạm vi hẹp hơn: cổng LLM xử lý chính lời gọi mô hình, còn cổng MCP quản lý những công cụ và nguồn dữ liệu mà tác tử có thể truy cập thông qua Giao thức Ngữ cảnh Mô hình (MCP). Cẩm nang lưu ý rằng LiteLLM, Portkey, Azure API Management và Envoy AI Gateway hiện đã bổ sung khả năng quản trị MCP, vì vậy các thuật ngữ này mô tả những lớp kiểm soát có phạm vi chồng lấn.

Cẩm nang mô tả các tác tử là những hệ thống hoạt động theo vòng lặp gồm các lần gọi mô hình và sử dụng công cụ cho đến khi hoàn thành nhiệm vụ. Đối với các tác tử này, cổng kiểm soát và giám sát toàn bộ lưu lượng do tác tử khởi tạo, cấp quyền cho tác tử truy cập những công cụ và nguồn dữ liệu nào, đồng thời ghi lại mọi lần gọi mô hình và công cụ trong nhật ký kiểm tra.

Dữ liệu về mức độ ứng dụng được trích dẫn và hướng dẫn triển khai

Để ước tính nhu cầu, cẩm nang dẫn các số liệu từ bên thứ ba. Chỉ số Sẵn sàng AI 2025 của Cisco cho thấy 83% trong số 8.039 lãnh đạo doanh nghiệp cấp cao được khảo sát tại các tổ chức có hơn 500 nhân viên dự định phát triển hoặc triển khai tác tử AI; Gartner dự báo tác tử chuyên biệt cho từng nhiệm vụ sẽ có mặt trong 40% ứng dụng doanh nghiệp vào cuối năm 2026, tăng từ mức dưới 5% năm 2025. Về chi phí, cẩm nang dẫn khảo sát DoiT/Sapio năm 2026, trong đó 79% lãnh đạo tài chính tham gia cho biết họ đã vượt ngân sách AI trong năm trước; đồng thời dẫn một khảo sát năm 2026 của Dataiku và Harris Poll, trong đó 93% CIO doanh nghiệp cho biết các mô hình khác nhau hoạt động tốt hơn với những trường hợp sử dụng khác nhau, 81% doanh nghiệp dự kiến sử dụng từ hai nhà cung cấp mô hình trở lên và 55% đã đổi nhà cung cấp LLM ít nhất một lần.

Theo các nguồn giám sát độc lập được hướng dẫn trích dẫn, tỷ lệ thời gian hoạt động của các nhà cung cấp LLM hàng đầu vào khoảng 99,85–99,9% trong tháng 5 năm 2026; hướng dẫn quy đổi mức này thành khoảng 9–13 giờ ngừng hoạt động mỗi năm. Trong một khảo sát năm 2026 của Cockroach Labs với 1.125 lãnh đạo cấp cao về hạ tầng, hai phần ba số người tham gia ước tính một giờ AI ngừng hoạt động sẽ khiến tổ chức của họ thiệt hại hơn 100.000 USD. Hướng dẫn cũng trích dẫn bảng xếp hạng năm 2025 của OWASP, trong đó tấn công chèn lời nhắc được xếp là rủi ro bảo mật LLM hàng đầu, cùng phát hiện của Zscaler ThreatLabz rằng lượng dữ liệu doanh nghiệp gửi đến các ứng dụng AI đã tăng 93% trong một năm, riêng ChatGPT gây ra 410 triệu vi phạm quy định ngăn ngừa mất dữ liệu.

Hướng dẫn liệt kê những dấu hiệu cho thấy một tổ chức cần có cổng AI: khóa của nhà cung cấp được mã hóa cứng trong nhiều cơ sở mã; bộ phận tài chính không thể xác định các khoản phí sử dụng mô hình; lỗi giới hạn tốc độ hoặc ngừng hoạt động do phụ thuộc vào một nhà cung cấp duy nhất; lời nhắc chứa dữ liệu nhạy cảm nhưng không được kiểm tra; các nhóm tích hợp những nhà cung cấp khác nhau; tích hợp công cụ MCP; và không có cái nhìn tổng quan về bảo mật hoặc tuân thủ. Hướng dẫn cho biết không cần đến cổng AI nếu chỉ có một nguyên mẫu, một dự án phụ với lưu lượng thấp hoặc các lệnh gọi đến một điểm cuối mô hình với yêu cầu bảo mật tối thiểu. Các lựa chọn tự lưu trữ được nêu gồm LiteLLM, Portkey và Apache APISIX, triển khai trên đám mây riêng, Kubernetes hoặc hạ tầng tại chỗ; các lựa chọn được quản lý gồm Cloudflare AI Gateway, Azure API Management và Amazon Bedrock AgentCore Gateway. Hướng dẫn đặt trọng tâm khi lựa chọn vào khả năng kiểm soát và quyền riêng tư của dữ liệu, gánh nặng vận hành—bao gồm các kho lưu trạng thái như PostgreSQL, Redis hoặc etcd—tốc độ triển khai và khả năng tích hợp. Phần câu hỏi thường gặp cho biết “cổng AI tạo sinh” có thể dùng thay thế cho “cổng AI”, đồng thời không có một cổng AI mã nguồn mở nào là lựa chọn tốt nhất trong mọi trường hợp.