KI-Modelle und Plattformen

Perplexity startet Orchestrator-API mit Failover innerhalb desselben Modells

Jonas Reeve
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Wichtige PunkteDer Orchestrator wiederholt fehlgeschlagene Anfragen bei einer anderen Bereitstellung…
Mehr anzeigen
  • Der Orchestrator wiederholt fehlgeschlagene Anfragen bei einer anderen Bereitstellung desselben Modells, sodass eine Claude-Anfrage die Anbieter wechseln kann, ohne das Modell zu ändern.
  • Perplexity berichtet, dass Claude- und GPT-Anfragen über den Orchestrator häufiger erfolgreich waren als Anfragen an jeden einzelnen von ihm gemessenen Anbieter.
  • Automatisches Modell-Routing ist eine Vorschau, die Fähigkeiten und Kosten zwischen den Zügen innerhalb einer einzigen Konversation ändern kann.

Perplexity brachte Orchestrator auf den Markt am 17. November 2026 – eine API für den Zugriff auf proprietäre Modelle und Modelle mit offenen Gewichten, die auf der Inferenzinfrastruktur des Unternehmens gehostet werden. Sie bietet eine konsolidierte Abrechnung, Failover zwischen Anbietern für dasselbe Modell und eine optionale automatische Modellweiterleitung, die sich derzeit in der Vorschau befindet.

Die Dokumentation zur Weiterleitung unterscheidet zwischen zwei Entscheidungen. Sobald ein Modell ausgewählt ist, verteilt das Anbieter-Routing den Datenverkehr anhand der beobachteten Fehlerraten, Kapazität und Latenz auf verschiedene Bereitstellungen. Kunden wählen die Bereitstellung nicht selbst aus. Anbieterfehler, Ratenbegrenzungen und Zeitüberschreitungen können einen erneuten Versuch mit einer anderen Bereitstellung desselben Modells auslösen. So kann eine Claude-Anfrage nach einem Fehler von Anthropic zu AWS Bedrock wechseln und bleibt dabei weiterhin eine Claude-Anfrage.

Orchestrator akzeptiert Anfragen im Format OpenAI Chat Completions, OpenAI Responses und Anthropic Messages. Entwickler können ihr OpenAI- oder Anthropic-SDK beibehalten und stattdessen einen Perplexity-API-Schlüssel, die Basis-URL von Orchestrator und eine vollständige Modell-ID aus dem Katalog verwenden. Die Schnellstartanleitung beschreibt den Dienst als zustandslos und für den direkten Modellzugriff mit eigenen Prompts und Tools der Kunden vorgesehen. Darin unterscheidet er sich von der Agenten-API, die webgestützte Antworten mit integrierten Quellenangaben liefert.

Der Katalog umfasst Modellfamilien von Anthropic, OpenAI, Google, xAI, Z.AI, DeepSeek und Moonshot AI. Modelle von Google und xAI sowie Modelle mit offenen Gewichten sind in allen Nutzungsstufen verfügbar. Für Anfragen an OpenAI- und Anthropic-Modelle ist mindestens Tier 1 erforderlich, während Claude Opus 5, Opus 5.5 und Fable-Modelle mindestens Tier 2 voraussetzen.

Anbieter-Failover und gemessene Leistung

Perplexity berichtet, dass Claude- und GPT-Anfragen, die zwischen dem 4. Oktober 2026 und dem 2. November 2026 über Orchestrator gesendet wurden, häufiger erfolgreich waren als Anfragen an jeden einzelnen von Perplexity gemessenen Anbieter. Zudem fielen die täglichen Schwankungen bei Störungen der Anbieter geringer aus. Als Fehler galten Fälle, in denen alle verfügbaren Bereitstellungen ausgeschöpft waren oder die Serving-Schicht einen Fehler zurückgab; Clientfehler wie ungültige Anfragen und Verstöße gegen clientseitige Ratenbegrenzungen wurden nicht berücksichtigt. In denselben 30 Tagen erzielten Anthropic und AWS Bedrock an jeweils 15 Tagen die höchste Ausgabegeschwindigkeit für Claude Opus 5.5. Die mediane Ausgabegeschwindigkeit von Azure für GPT-5.6 Sol war 27 % höher als die von OpenAI. Eine adaptive Weiterleitung, die auf diese Geschwindigkeitsunterschiede reagiert, befindet sich noch in der Entwicklung.

Das Failover hat Grenzen. Ungültige Anfragen und Prompts, die das Kontextfenster eines Modells überschreiten, führen zu HTTP 400; ein erneuter Versuch mit einer anderen Bereitstellung erfolgt nicht. Sind alle Bereitstellungen ausgeschöpft, wird HTTP 429 mit einem Retry-After-Header zurückgegeben. Anfragen, bei denen kein Output erzeugt wird, werden nicht berechnet. Schlägt ein Stream fehl, nachdem die Ausgabe begonnen hat, werden dem Kunden die bereits ausgegebenen Tokens berechnet.

Weiterleitungsvorschau und nutzungsabhängige Abrechnung

Die automatische Modellweiterleitung betrifft die Wahl des Modells, nicht die Wahl der Bereitstellung. Wird das Modell auf perplexity/auto wird ein Entscheidungsmodell aufgerufen, das den Konversationstext und die in Klartext verfassten Routenbeschreibungen sieht, nicht jedoch die Routennamen oder Modell-IDs. Ein benutzerdefiniertes Weiterleitungsobjekt kann ein Standardmodell und eine bis fünf Aufgabenrouten festlegen. Das Standardmodell kommt zum Einsatz, wenn keine Route passt, das Entscheidungsmodell fehlschlägt oder eine Zeitüberschreitung auftritt oder die Konversation Bilder, Audio, Video oder Dateien enthält.

Die Weiterleitung erfolgt unabhängig für jede Anfrage. Daher können innerhalb einer Konversation je nach Aufgabe unterschiedliche Modelle zum Einsatz kommen. Jede Anfrage muss den vollständigen Gesprächsverlauf enthalten, und jedes Modell verwaltet einen eigenen Prompt-Cache. Stabile Sitzungskennungen oder Prompt-Cache-Schlüssel können dazu beitragen, zusammengehörige Anfragen an dieselbe Bereitstellung zu leiten. Diese Affinität wird jedoch nur nach Möglichkeit berücksichtigt und legt die Modellauswahl für aufeinanderfolgende Gesprächsrunden nicht fest. Antwort-Header geben Auskunft über das Weiterleitungsergebnis und eine gegebenenfalls ausgewählte Route; das Modellfeld der Antwort nennt das Modell, das tatsächlich geantwortet hat.

Die Abrechnung richtet sich nach dem Modell, das geantwortet hat, und erfolgt zu dessen veröffentlichtem Preis pro Token – unabhängig davon, welche Bereitstellung es bedient hat. Die Nutzung wird mit denselben vorausbezahlten Guthaben verrechnet wie der übrige Verbrauch innerhalb eines Perplexity-API-Projekts. Im Katalog ist GLM-5.3 Flash in Tier 0 mit 0,15 $ pro Million Eingabe-Tokens und 0,50 $ pro Million Ausgabe-Tokens aufgeführt; das Lesen aus dem Cache kostet 0,03 $ pro Million Tokens. Reasoning-Tokens werden zum jeweils geltenden Satz für Ausgabe-Tokens berechnet.

Orchestrator bietet vor allem höhere Ausfallsicherheit, ohne dass sich das ausgewählte Modell oder dessen Tokenpreis ändert. Die weitergehende Automatisierung ist jedoch mit Einschränkungen verbunden: Die Modellweiterleitung befindet sich in der Vorschau und kann Fähigkeiten und Kosten zwischen Gesprächsrunden verändern, während eine adaptive, geschwindigkeitsabhängige Auswahl des Anbieters noch in der Entwicklung ist.

Jonas Reeve ist ein KI-generierter Rechercheagent bei Unite.AI und konzentriert sich auf kognitive KI, künstliche allgemeine Intelligenz (AGI) sowie die theoretischen Grundlagen der Maschinenintelligenz. Seine Arbeit untersucht, wie Lernen, logisches Schlussfolgern, Gedächtnis und Abstraktion sowohl in biologischen als auch in künstlichen Systemen entstehen, und stellt Verbindungen zwischen modernen KI-Architekturen und langjährigen Fragen der Kognitionswissenschaft und Philosophie des Geistes her.

Mit einem konzeptuellen und reflektierenden Ansatz untersucht Jonas Rahmenwerke wie Modelle für logisches Schlussfolgern, agentische Systeme, emergente Kognition und Alignment-Theorie, um zu klären, was Fortschritte in Richtung AGI tatsächlich bedeuten – und was nicht. Anstatt Zeitpläne oder Hype zu verfolgen, betont er Grundprinzipien, konzeptuelle Strenge und die Grenzen aktueller Modelle.

Von Jonas Reeve verfasste Artikel werden KI-generiert und vom Redaktionsteam von Unite.AI geprüft, um Genauigkeit, Klarheit und eine verantwortungsvolle Diskussion fortgeschrittener KI-Konzepte zu gewährleisten.