Vordenker

Die Claude-“Nerfing”-Debatte geht nicht um Claude, sondern um das, was passiert, wenn Ihre Operationen auf Entscheidungen anderer basieren.

mm
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
A series of glowing hexagonal glass modules containing microchips in a dark server room; one module on the left is cracked and glowing blue, while others remain intact and glowing amber, connected by flowing data cables.

Früher in diesem Jahr veröffentlichte Stella Laurenzo, Senior Director of AI bei AMD, Telemetriedaten von fast 7.000 Claude-Code-Sitzungen, die etwas dokumentierten, was Ingenieure bereits gespürt, aber nicht artikulieren konnten: Zwischen Januar und März sank die sichtbare Reasoning-Tiefe um 73 %, die API-Aufrufe pro Aufgabe um das 80-fache und das Modell las vor der Bearbeitung weniger Dateien. Die Zahlen verbreiteten sich schnell. Die Interpretation verbreitete sich noch schneller.

Anthropic bestreitet die Darstellung. Das Unternehmen sagt, dass die Änderungen bewusste Produktentscheidungen widerspiegeln, einschließlich eines neuen adaptiven Denkmechanismus und einer Verschiebung zum mittleren Aufwand als Standard. Unabhängige Analysten haben sich auch gegen Teile der Methodik gewandt. Die Debatte ist im Gange, und vernünftige Menschen stimmen nicht darin überein, was tatsächlich passiert ist.

Aber hier ist der Teil, der wichtig ist, wenn Sie ein Unternehmen auf diesen Systemen betreiben: Ob dies ein Degradations- oder ein bewusstes Abstimmungsproblem war, ändert nichts daran, was die Unternehmensbetreiber erlebt haben. Sie konnten es nicht vorhersagen. Sie konnten es nicht kontrollieren. Und einige von ihnen spürten es in der Produktion, bevor sie verstanden, was passierte. Das ist die wahre Geschichte, und sie hat nichts mit Anthropic zu tun.

Das ist ein Abhängigkeitsproblem, kein Modellproblem.

Was wir beschreiben, hat einen Namen: Modellbrüchigkeit. Es ist der Zustand, in dem mission-kritische Operationen eng an das Verhalten eines einzelnen Modells gekoppelt sind, so dass jede Änderung in der Modellschicht, sei es eine Abstimmungsentscheidung, ein neuer Standard, eine kapazitätsbedingte Routing-Änderung oder eine stille Abkehr, das Unternehmen direkt trifft, ohne Puffer und ohne Warnung.

Das ist kein neues Muster. GPT-4 ging 2023 durch eine Version davon. Claude 3.5 ging 2024 durch eine. Claude Opus geht jetzt durch eine. Es wird wieder passieren mit dem nächsten Frontier-Modell und dem nächsten. Nicht weil ein Anbieter in schlechter Absicht handelt, sondern weil die Optimierung eines Frontier-Modells für Kosten, Latenz und Skalierbarkeit bei globaler Menge genau das ist, was Frontier-Anbieter tun müssen. Ihre Anreize und die Anreize eines Unternehmens, das Produktionsoperationen auf ihnen betreibt, sind verwandt. Sie sind nicht identisch. Sie werden es nie sein.

Wir haben Qurrent 2023 gegründet und haben das historische Wissen, um zu wissen, wie Unternehmenssoftware-Zyklen ablaufen: Ein Unternehmen investiert in KI. Der Demo-Erfolg funktioniert. Der Pilot-Erfolg funktioniert. Dann wird es live geschaltet, etwas ändert sich in der Modellschicht, und plötzlich gehört das Problem dem Kunden. Sie sind diejenigen, die die Workflows warten, die Regressionsfehler verfolgen, die Unterbrechung absorbieren. Das hat für mich nie Sinn gemacht als nachhaltiges Modell für Unternehmensoperationen.

Die Unternehmensversion dieser Geschichte ist operativ, nicht technisch.

Für Entwickler ist die aktuelle Situation unangenehm. Token-Budgets verbrennen schneller. Codiersitzungen stagnieren. Benchmarks enttäuschen. Das ist ein reales Problem, aber es ist ein wiederherstellbares.

Für Unternehmen, die Finanzoperationen, Compliance-Workflows, Rechnungen und komplexe Back-Office-Prozesse betreiben, sind die Einsätze anders. Diese Workflows können keine schlechte Woche absorbieren. Fehler summieren sich. Volumina summieren sich. SLAs sind Verpflichtungen gegenüber tatsächlichen Kunden, nicht interne Präferenzen. Im Moment, in dem ein Modell in einem hochriskanten Prozess unterperformt, summiert sich der Schaden, ob jemand es bemerkt hat oder nicht.

Was es schwieriger macht, ist, dass die meisten Unternehmen, die versucht haben, durch den Bau interner Agenten auf einem einzelnen Modell voranzukommen, jetzt entdecken, wie unvollständig diese Grundlage war. Der erste Agent war der einfache Teil. Was nicht gebaut wurde, war die umgebende Infrastruktur: Bewertungsrahmen, die Verhaltensdrift vorher erkennen, bevor sie einen Kunden erreicht, Failover-Logik, die Arbeit automatisch umleitet, wenn ein Modell unterperformt, und laufende Governance, die mit einer Landschaft Schritt hält, die sich jedes Quartal ändert. Diese drei Lücken bleiben nicht handhabbar. Sie wachsen zu einer permanenten Ingenieursfunktion, für die niemand budgetiert hat, besetzt von Menschen, deren Job im Wesentlichen darin besteht, mit Entscheidungen Schritt zu halten, die von Anbietern getroffen werden, auf die sie keinen Einfluss haben.

Was Resilienz in der Produktion wirklich aussieht.

Bei Qurrent haben wir die digitale Arbeitskraft von Anfang an modellunabhängig aufgebaut, nicht als Marketingposition, sondern als architektonische Anforderung. Jede Aufgabe wird an das am besten performende Modell für diese Aufgabe geroutet, kontinuierlich bewertet. Wenn ein besseres Modell veröffentlicht wird, erhalten Kunden es automatisch. Wenn ein aktuelles Modell in einem bestimmten Workflow unterperformt, leitet die Orchestrierungsschicht diese Arbeit in Sekunden um, ohne menschliche Intervention und ohne dass jemand um 2 Uhr morgens aufwacht, um einen Slack-Thread zu lesen.

Unterhalb davon laufen automatisierte Simulationen gegen Produktionsworkflows rund um die Uhr, um zu messen, ob die Ausgaben dem erwarteten Verhalten entsprechen. Drift wird auf der Infrastrukturebene erkannt, bevor das Operationsteam es spürt und lange bevor ein Kunde es tut. Und jede Entscheidung, die von jedem digitalen Mitarbeiter getroffen wird, wird protokolliert und kann überprüft werden, ein vollständiger Glaskasten, denn man kann nicht steuern, was man nicht sehen kann.

Das sind keine Premium-Funktionen. Sie sind der Eintrittspreis für den Betrieb von KI in der Produktion im Unternehmensmaßstab. Die meisten Unternehmen lernen das mitten in einer Nachrichtenschiene, was der teure Weg ist, es herauszufinden.

Die Frage, die sich in diesem Quartal stellen lässt.

Wenn das Modell, auf das Ihre Operationen am meisten angewiesen sind, nächstes Quartal eine schlechte Woche hat, wie viele Ihrer Workflows würden es spüren? Wie würden Sie es erkennen? Und wie schnell könnten Sie darum herumleiten?

Wenn die Antwort auf die zweite Frage “wir würden es von einem Kunden hören” ist, ist der Betrieb nicht produktionsbereit. Es ist ein Pilot, der im großen Maßstab läuft, und der Unterschied ist wichtiger, als die meisten Führer realisieren, bis er es nicht mehr ist.

Die aktuelle Debatte ist, auf eine ungewöhnliche Weise, nützlich. Jeder CFO und COO, der dies beobachtet, hat gerade eine kostenlose Vorschau darauf erhalten, wie Modellbrüchigkeit unter realer operativer Last aussieht, ohne selbst dafür zu bezahlen. Die richtige Reaktion ist nicht, das Modell zu wechseln. Es ist, Operationen aufzubauen, die nicht von einem einzigen abhängig sind.

Technologie wird weiterhin sich ändern. Das ist die einzige Gewissheit in diesem Markt. Die Unternehmen, die in diesem Jahrzehnt am stärksten herauskommen, werden nicht diejenigen sein, die das richtige Modell gewählt haben. Sie werden diejenigen sein, deren Operationen nie darauf angewiesen waren.

Colin Wiel, CEO und Mitgründer von Qurrent, ist ein erfahrener Unternehmer, der seit den 1990er Jahren tief mit KI gearbeitet hat. Colins vorherige Unternehmungen umfassen Mynd, eine tech-getriebene Plattform für Einzelzimmer-Mietinvestitionen, die 2020 als am schnellsten wachsendes Unternehmen in der Bay Area benannt wurde, und Waypoint Homes, das über 3,5 Milliarden Dollar aufbrachte und 17.000 Häuser verwaltete, bevor es 2014 an der NYSE notiert wurde. Aufgrund seiner Innovationen im Bereich KI hält Colin mehrere Patente, erhielt einen Platz auf der Liste der 100 innovativsten Unternehmer von Goldman Sachs und wurde von Ernst & Young zum Unternehmer des Jahres ernannt.