Perplexity phân tích cơ chế hoạt động của cổng LLM và rủi ro trong môi trường sản xuất

Perplexity đã xuất bản hướng dẫn thực tiễn về cổng LLM vào ngày 27 tháng 10 năm 2026, giải thích cho các nhóm kỹ thuật cách lớp trung gian định tuyến, xác thực, lưu bộ nhớ đệm và ghi nhật ký các lệnh gọi mô hình, đồng thời liệt kê những rủi ro về bảo mật và độ tin cậy khi tập trung thông tin xác thực của các nhà cung cấp vào một dịch vụ.

Định nghĩa và phân loại cổng

Hướng dẫn định nghĩa cổng LLM là một proxy ngược cho các lệnh gọi mô hình: ứng dụng gửi yêu cầu đến cổng thay vì gọi trực tiếp các nhà cung cấp như OpenAI, Anthropic hoặc Google; cổng chuyển tiếp những yêu cầu đó và áp dụng các quy tắc của đơn vị vận hành. Tài liệu xem loại giải pháp này là cách khắc phục tình trạng phân tán, mở đầu bằng một bài đăng vào tháng 9 năm 2026 trên diễn đàn r/LLMDevs của Reddit, trong đó một kỹ sư mô tả nơi làm việc mà mỗi người đều tự quản lý khóa truy cập Claude, OpenAI, AWS Bedrock và các nhà cung cấp dịch vụ suy luận khác.

Bảng so sánh trong hướng dẫn phân biệt bốn loại cổng. Cổng API nằm phía trước các dịch vụ phụ trợ, quyết định liệu một ứng dụng khách đã được xác thực và có nằm trong giới hạn tốc độ hay không. Cổng LLM nằm phía trước các nhà cung cấp mô hình, quyết định mô hình nào nhận yêu cầu, ai chi trả và liệu yêu cầu có nhận được phản hồi hay không. Cổng MCP quyết định liệu một tác nhân có thể gọi một công cụ cụ thể với các đối số cụ thể hay không. Hướng dẫn dùng thuật ngữ “cổng AI” để chỉ các sản phẩm của nhà cung cấp kết hợp một số vai trò trong những vai trò này.

Vòng đời yêu cầu gồm sáu bước

Hướng dẫn giải thích cơ chế hoạt động bằng cách theo dõi một yêu cầu từ ứng dụng đến mô hình rồi quay trở lại. Trước tiên, ứng dụng gửi yêu cầu trò chuyện đến điểm cuối của cổng, thường theo định dạng tương thích với OpenAI. Cổng xác thực thông tin đăng nhập, thường là khóa ảo được cấp cho một nhóm hoặc sản phẩm; nếu các biện pháp bảo vệ đầu vào được tích hợp, cổng cũng có thể quét lời nhắc để tìm dữ liệu nhạy cảm hoặc các nỗ lực ghi đè chỉ dẫn của mô hình. Nếu bật bộ nhớ đệm, yêu cầu phù hợp đủ điều kiện có thể được đáp ứng bằng phản hồi đã lưu; một số cổng còn cung cấp bộ nhớ đệm ngữ nghĩa, giúp ghép các yêu cầu được đánh giá là tương tự thay vì giống hệt nhau. Sau đó, cổng tra cứu tuyến phù hợp trong cấu hình và có thể chuyển sang nhà cung cấp dự phòng nếu nhà cung cấp đầu tiên hết thời gian chờ. Cổng chuyển đổi yêu cầu sang định dạng của nhà cung cấp được chọn, xác thực lệnh gọi đi rồi chuyển đổi phản hồi về định dạng dành cho ứng dụng. Khi bật tính năng ghi nhật ký, cổng lưu lại ai đã thực hiện lệnh gọi, mô hình nào xử lý lệnh gọi, số lượng token, độ trễ và chi phí.

Rủi ro về bảo mật và độ tin cậy

Cảnh báo trọng tâm của hướng dẫn là cổng tập trung các thông tin xác thực. Nhóm bảo mật của Microsoft đã liệt kê những loại dữ liệu mà một triển khai LiteLLM có thể lưu giữ hoặc truy xuất: khóa API của nhà cung cấp, khóa chính LiteLLM, hồ sơ khóa ảo, chuỗi kết nối cơ sở dữ liệu, cấu hình định tuyến và dữ liệu chính sách của khách thuê. Trong bài đăng ngày 26 tháng 8 năm 2026, Microsoft mô tả một vụ xâm nhập cổng LiteLLM được ghi nhận, trong đó kẻ tấn công thu thập thông tin xác thực từ môi trường chạy của cổng.

Ngày 13 tháng 10 năm 2026, Check Point Research công bố hai lỗ hổng rủi ro cao trong LiteLLM: CVE-2026-35029, một lỗi kiểm soát truy cập cho phép người dùng đã xác thực, kể cả người chỉ có quyền đọc, truy cập các chức năng quản trị và chiếm quyền điều khiển cổng; và CVE-2026-59823, một lỗ hổng giả mạo yêu cầu phía máy chủ cho phép người dùng chuyển hướng yêu cầu của cổng đến máy chủ do kẻ tấn công kiểm soát và thu thập khóa API của nhà cung cấp AI. Cả hai lỗ hổng đã được khắc phục trong LiteLLM phiên bản 1.83.9. Check Point cho biết LiteLLM có 97 triệu lượt tải mỗi tháng và hơn 59.000 lượt gắn sao trên GitHub, đồng thời cho biết quá trình thông báo có phối hợp cho LiteLLM bắt đầu vào tháng 10 năm 2025.

Hướng dẫn cũng khuyến nghị các nhóm thiết lập chính sách xử lý lỗi cho những biện pháp bảo vệ. Tài liệu mô tả hook là các điểm trên luồng xử lý yêu cầu, nơi cổng chuyển nội dung cho một công cụ quét bên ngoài để đánh giá; đồng thời lưu ý rằng tài liệu của Portkey nêu tên before_request_hooks và after_request_hooks, còn TrueFoundry chạy bốn hook, bổ sung bước kiểm tra trước và sau các lệnh gọi công cụ MCP.

Về độ tin cậy, hướng dẫn dẫn ra các sự cố gián đoạn dịch vụ đã được ghi nhận. Bài tường thuật của chính Cloudflare về sự cố ngày 12 tháng 6 năm 2025 cho biết tỷ lệ lỗi của AI Gateway có lúc lên tới 97% số yêu cầu, vì AI Gateway phụ thuộc vào Workers KV để lưu cấu hình cho khách hàng và cấu hình nội bộ; toàn bộ sự cố kéo dài 2 giờ 28 phút. Báo cáo phân tích sau sự cố của OpenRouter về các sự cố ngày 17 và 19 tháng 2 năm 2026 cho biết chúng kéo dài lần lượt 38 và 35 phút sau khi một dịch vụ lưu bộ nhớ đệm của bên thứ ba gặp lỗi, gây ra các lỗi 401 “Không tìm thấy người dùng” và dẫn đến các biện pháp khắc phục, trong đó có bộ ngắt mạch và việc trả về lỗi 503 thay vì 401 khi sự cố hạ tầng cản trở quá trình tra cứu thông tin xác thực.

Các lựa chọn triển khai, giá cả và điểm riêng của từng nhà cung cấp

Hướng dẫn trình bày bốn phương án triển khai. Các nhóm có thể tự xây dựng một cổng tối giản — tiếp nhận yêu cầu, kiểm tra khóa của bên gọi, thêm thông tin xác thực của nhà cung cấp, chuyển tiếp lệnh gọi và ghi nhật ký kết quả — hoặc tự lưu trữ một cổng mã nguồn mở; LiteLLM, Bifrost và Helicone là những lựa chọn được nêu tên. Các cổng được quản lý bao gồm Cloudflare AI Gateway, Vercel AI Gateway, OpenRouter và cổng lưu trữ của Portkey. Phương án thứ tư là mở rộng cổng API mà công ty đang vận hành; các lựa chọn được nêu gồm Kong AI Gateway, các chính sách cổng AI của Apigee và cổng AI của Azure API Management.

Về chi phí, hướng dẫn cho biết các cổng LLM có mức giá từ phần mềm mã nguồn mở miễn phí đến các gói trả phí khởi điểm khoảng 50 USD mỗi tháng, với mức giá tùy chỉnh dành cho doanh nghiệp; một số dịch vụ thay vào đó tính phí theo tỷ lệ phần trăm. Hướng dẫn lưu ý rằng gói Standard của OpenRouter cộng thêm 5,5% vào các khoản mua tín dụng.

Hướng dẫn kết thúc bằng các câu trả lời dành riêng cho từng nhà cung cấp. Hướng dẫn nêu rằng Amazon Bedrock AgentCore Gateway hỗ trợ các lệnh gọi mô hình thông qua thứ mà AWS gọi là “đích suy luận”, cho phép ứng dụng dùng một điểm cuối để kết nối với các nhà cung cấp, bao gồm Amazon Bedrock, OpenAI và Anthropic. Hướng dẫn cũng lưu ý rằng Agent API của Perplexity hỗ trợ giao diện Responses API của OpenAI, nhờ đó các nhóm có thể dùng lại những thư viện ứng dụng khách OpenAI hiện có; Agent API còn cho phép người dùng liệt kê tối đa năm mô hình, kể cả các mô hình từ nhiều nhà cung cấp khác nhau, theo thứ tự ưu tiên. Hướng dẫn cũng giới thiệu Numbat, công cụ mã nguồn mở của Perplexity, kết nối với các tác nhân được hỗ trợ thông qua các hook cục bộ và có thể kiểm tra những hành động dự kiến như lệnh shell hoặc thao tác ghi tệp trước khi chúng được thực thi; tính năng chặn là tùy chọn và mặc định tắt.