Mô hình và nền tảng AI
Perplexity ra mắt API Orchestrator với cơ chế chuyển dự phòng giữa các nhà cung cấp cho cùng một mô hình

Điểm chínhOrchestrator thử lại các yêu cầu thất bại trên một triển khai khác của cùng mô hình, vì…
Xem thêm
- Orchestrator thử lại các yêu cầu thất bại trên một triển khai khác của cùng mô hình, vì vậy một yêu cầu Claude có thể chuyển nhà cung cấp mà không thay đổi mô hình.
- Perplexity báo cáo rằng các yêu cầu Claude và GPT thông qua Orchestrator thành công thường xuyên hơn so với các yêu cầu đến bất kỳ nhà cung cấp riêng lẻ nào mà nó đo lường.
- Định tuyến mô hình tự động là một bản xem trước có thể thay đổi năng lực và chi phí giữa các lượt trong một cuộc hội thoại duy nhất.
Perplexity ra mắt Orchestrator vào ngày 17 tháng 11 năm 2026, một API cho phép truy cập các mô hình độc quyền và mô hình có trọng số mở được lưu trữ trên hạ tầng suy luận của công ty. API này cung cấp cơ chế thanh toán tập trung, chuyển dự phòng giữa các nhà cung cấp cho cùng một mô hình và tính năng định tuyến mô hình tự động tùy chọn đang trong giai đoạn xem trước.
Tài liệu về định tuyến phân biệt hai quyết định. Sau khi mô hình được chọn, định tuyến nhà cung cấp phân phối lưu lượng giữa các phiên bản triển khai dựa trên tỷ lệ lỗi, năng lực xử lý và độ trễ được ghi nhận. Khách hàng không chọn phiên bản triển khai. Lỗi từ nhà cung cấp, giới hạn tốc độ và hết thời gian chờ có thể kích hoạt việc thử lại trên một phiên bản triển khai khác của mô hình đó. Vì vậy, yêu cầu Claude có thể được chuyển từ Anthropic sang AWS Bedrock sau khi xảy ra lỗi mà vẫn là yêu cầu Claude.
Orchestrator chấp nhận các yêu cầu OpenAI Chat Completions, OpenAI Responses và Anthropic Messages. Nhà phát triển có thể tiếp tục sử dụng SDK OpenAI hoặc Anthropic của mình, đồng thời chuyển sang dùng khóa API Perplexity, URL cơ sở của Orchestrator và ID mô hình đầy đủ từ danh mục. Hướng dẫn bắt đầu nhanh mô tả dịch vụ này là không lưu trạng thái và dành cho việc truy cập trực tiếp vào mô hình bằng lời nhắc và công cụ riêng của khách hàng. Điều này phân biệt dịch vụ với Agent API, vốn trả về câu trả lời dựa trên nội dung web với trích dẫn tích hợp sẵn.
Danh mục bao gồm các dòng mô hình của Anthropic, OpenAI, Google, xAI, Z.AI, DeepSeek và Moonshot AI. Các mô hình của Google, xAI và những mô hình có trọng số mở đều có thể được sử dụng ở mọi cấp sử dụng. Muốn gọi các mô hình của OpenAI và Anthropic, cần có Cấp 1 trở lên; trong khi đó, các mô hình Claude Opus 5, Opus 5.5 và Fable yêu cầu Cấp 2 trở lên.
Chuyển dự phòng giữa các nhà cung cấp và hiệu suất đo được
Perplexity cho biết các yêu cầu Claude và GPT được gửi qua Orchestrator trong khoảng thời gian từ ngày 4 tháng 10 năm 2026 đến ngày 2 tháng 11 năm 2026 có tỷ lệ thành công cao hơn các yêu cầu gửi đến bất kỳ nhà cung cấp riêng lẻ nào mà công ty đo lường, đồng thời mức dao động hằng ngày cũng nhỏ hơn khi nhà cung cấp gặp sự cố. Lỗi được tính là trường hợp mọi phiên bản triển khai hiện có đều đã cạn hoặc lớp phục vụ trả về lỗi; các lỗi phía máy khách, chẳng hạn như yêu cầu không hợp lệ và vi phạm giới hạn tốc độ của máy khách, không được tính. Trong cùng 30 ngày đó, Anthropic và AWS Bedrock mỗi bên có tốc độ tạo đầu ra Claude Opus 5.5 cao nhất trong 15 ngày, còn tốc độ tạo đầu ra GPT-5.6 Sol trung vị của Azure cao hơn 27% so với OpenAI. Tính năng định tuyến thích ứng để phản ứng với những khác biệt về tốc độ này vẫn đang được phát triển.
Cơ chế chuyển dự phòng có những giới hạn. Yêu cầu không hợp lệ và lời nhắc vượt quá cửa sổ ngữ cảnh của mô hình sẽ trả về HTTP 400 mà không thử lại trên phiên bản triển khai khác. Khi mọi phiên bản triển khai đều đã cạn, hệ thống trả về HTTP 429 kèm tiêu đề Retry-After; các yêu cầu thất bại trước khi tạo ra đầu ra sẽ không bị tính phí. Nếu luồng bị lỗi sau khi bắt đầu tạo đầu ra, khách hàng sẽ bị tính phí cho số token đã được gửi.
Định tuyến xem trước và thanh toán theo mức sử dụng
Định tuyến mô hình tự động xử lý việc chọn mô hình, chứ không phải chọn phiên bản triển khai. Đặt mô hình thành perplexity/auto sẽ gọi một mô hình ra quyết định; mô hình này xem nội dung hội thoại và mô tả tuyến bằng ngôn ngữ thông thường, nhưng không thấy tên tuyến hoặc ID mô hình. Một đối tượng định tuyến tùy chỉnh có thể xác định một mô hình mặc định và từ một đến năm tuyến tác vụ. Mô hình mặc định sẽ được dùng khi không có tuyến nào phù hợp, khi mô hình ra quyết định gặp lỗi hoặc hết thời gian chờ, hoặc khi cuộc hội thoại có hình ảnh, âm thanh, video hay tệp.
Việc định tuyến được thực hiện độc lập cho từng yêu cầu, vì vậy các lượt trao đổi trong cùng một cuộc hội thoại có thể dùng những mô hình khác nhau khi tác vụ thay đổi. Mỗi yêu cầu phải bao gồm toàn bộ cuộc hội thoại, và mỗi mô hình duy trì một bộ nhớ đệm lời nhắc riêng. Mã định danh phiên ổn định hoặc khóa bộ nhớ đệm lời nhắc có thể giúp giữ các yêu cầu liên quan trên cùng một phiên bản triển khai, nhưng việc duy trì liên kết này chỉ được thực hiện trong khả năng cho phép và không cố định lựa chọn mô hình qua các lượt trao đổi. Tiêu đề phản hồi mô tả kết quả định tuyến và tuyến được chọn, nếu có; trường model trong phản hồi cho biết mô hình thực sự đã trả lời.
Phí được tính theo mô hình đã trả lời, dựa trên mức phí công bố cho mỗi token của mô hình đó, bất kể phiên bản triển khai nào đã phục vụ yêu cầu. Mức sử dụng được trừ từ cùng khoản tín dụng trả trước dùng cho các dịch vụ khác trong dự án API Perplexity. Danh mục liệt kê GLM-5.3 Flash Cấp 0 với mức phí 0,15 đô la cho mỗi triệu token đầu vào và 0,50 đô la cho mỗi triệu token đầu ra; phí đọc bộ nhớ đệm là 0,03 đô la cho mỗi triệu token. Token suy luận được tính theo mức phí đầu ra áp dụng.
Ưu điểm rõ rệt nhất về độ tin cậy của Orchestrator là khả năng duy trì hoạt động mà không cần thay đổi mô hình đã chọn hoặc mức phí theo token. Tuy nhiên, khả năng tự động hóa rộng hơn đi kèm một số điều kiện: định tuyến mô hình vẫn đang ở giai đoạn xem trước và có thể làm thay đổi năng lực cũng như chi phí giữa các lượt trao đổi, trong khi tính năng lựa chọn nhà cung cấp thích ứng theo tốc độ vẫn đang được phát triển.












