Debata o “Nerfing” Claude nie dotyczy Claude. Dotyczy tego, co się dzieje, gdy Twoje operacje opierają się na decyzjach kogoś innego.

Na początku tego roku Stella Laurenzo, Starszy Dyrektor ds. Sztucznej Inteligencji w firmie AMD, opublikowała dane telemetryczne z prawie 7 000 sesji Claude Code, dokumentując coś, co inżynierowie czuli, ale nie potrafili wyrazić: między styczniem a marcem, widoczna głębokość rozumowania spadła o 73%, wywołania API na zadanie wzrosły osiemdziesiąt razy, a model czytał znacznie mniej plików przed wprowadzeniem edycji. Liczby rozprzestrzeniły się szybko. Interpretacja rozprzestrzeniła się jeszcze szybciej.

Anthropic kwestionuje ramy. Firma twierdzi, że zmiany są wynikiem celowych decyzji dotyczących produktu, w tym nowego mechanizmu myślenia adaptacyjnego i przejścia na średnie wysiłki jako domyślne. Niezależni analitycy również zakwestionowali części metodyki. Debata jest w toku, a rozsądni ludzie nie zgadzają się co do tego, co tak naprawdę się wydarzyło.

Jednak tutaj jest część, która ma znaczenie, jeśli prowadzisz firmę opartą na tych systemach: niezależnie od tego, czy było to pogorszenie, czy celowe dostosowanie, nie zmienia tego, co doświadczyli operatorzy przedsiębiorstw. Nie mogli tego przewidzieć. Nie mogli tego kontrolować. A niektórzy z nich odczuli to w produkcji, zanim zrozumieli, co się dzieje. To jest prawdziwa historia, a nie ma nic wspólnego z Anthropic konkretnie.

To jest problem zależności, a nie problem modelu.

To, co opisujemy, ma nazwę: kruchność modelu. Jest to stan, w którym operacje krytyczne dla misji są ściśle związane z zachowaniem jednego modelu, tak że każda zmiana na poziomie modelu, niezależnie od tego, czy jest to decyzja dotycząca dostrojenia, nowa domyślna ustawienia, zmiana trasowania spowodowana pojemnością lub cichą deprecjacją, uderza bezpośrednio w firmę, bez bufora i bez ostrzeżenia.

To nie jest nowy wzorzec. GPT-4 przeszedł przez coś podobnego w 2023 roku. Claude 3.5 przeszedł przez coś podobnego w 2024 roku. Claude Opus przechodzi przez to teraz. Będzie się to działo ponownie z następnym modelem na granicy, i z tym, który nastąpi po nim. Nie dlatego, że jakiś dostawca działa w złej wierze, ale dlatego, że optymalizacja modelu na granicy pod kątem kosztów, opóźnień i skali na poziomie globalnym jest dokładnie tym, co muszą robić dostawcy na granicy. Ich zachęty i zachęty przedsiębiorstwa prowadzącego operacje produkcyjne na ich podstawie są powiązane. Nie są identyczne. Nigdy nie będą.

Zaczęliśmy Qurrent w 2023 roku i mamy historyczną wiedzę, aby wiedzieć, jak się odbywają cykle oprogramowania przedsiębiorstw: firma inwestuje w sztuczną inteligencję. Demo działa. Pilot działa. Potem idzie na żywo, coś się zmienia na poziomie modelu, i nagle klient jest właścicielem problemu. Są oni tymi, którzy utrzymują przepływy pracy, gonią regresje, absorbują zakłócenia. To nigdy nie miałoby sensu dla mnie jako zrównoważonego modelu dla operacji przedsiębiorstwa.

Wersja przedsiębiorstwowa tej historii jest operacyjna, a nie techniczna.

Dla deweloperów bieżąca sytuacja jest niewygodna. Budżety tokenów spalają się szybciej. Sesje kodowania zatrzymują się. Benchmarki zawodzą. To jest prawdziwy problem, ale jest to odzyskiwalny problem.

Dla przedsiębiorstw prowadzących operacje finansowe, przepływy pracy zgodności, należności i zobowiązań, oraz złożone procesy biurowe, stawki są różne. Te przepływy pracy nie mogą pochłonąć złego tygodnia. Błędy się kumulują. Objętość się kumuluje. SLA są zobowiązaniami wobec rzeczywistych klientów, a nie wewnętrznymi preferencjami. W momencie, gdy model zaczyna działać nieoptymalnie w procesie o wysokich stawkach, szkoda się kumuluje, niezależnie od tego, czy ktoś to zauważył, czy nie.

To, co utrudnia to, jest to, że większość firm, które próbowały wyprzedzić sztuczną inteligencję, budując wewnętrznych agentów na jednym modelu, teraz odkrywa, jak niekompletny był ten fundament. Pierwszy agent był łatwą częścią. To, co nie zostało zbudowane, to otaczająca infrastruktura: ramy oceny, które wykrywają dryf behawioralny przed tym, jak dotrze do klienta, logika awaryjna, która przekierowuje pracę automatycznie, gdy model zaczyna działać nieoptymalnie, oraz ciągłe zarządzanie, które może nadążyć za krajobrazem, który zmienia się co kwartał. Te trzy luki nie pozostają zarządzalne. Rosną w stałą funkcję inżynieryjną, na którą nikt nie zaplanował budżetu, obsadzaną przez ludzi, których praca polega na tym, aby nadążyć za decyzjami podejmowanymi przez dostawców, na których nie mają wpływu.

To, jak wygląda rzeczywista wytrzymałość w produkcji.

W Qurrent zbudowaliśmy cyfrową siłę roboczą, aby była niezależna od modelu od samego początku, nie jako pozycja marketingowa, ale jako wymóg architektoniczny. Każde zadanie jest kierowane do najlepiej wykonującego modelu dla tego zadania, ocenianego ciągle. Gdy pojawia się lepszy model, klienci otrzymują go automatycznie. Gdy bieżący model regresuje w określonym przepływie pracy, warstwa orchestracji przekierowuje tę pracę w ciągu kilku sekund, bez interwencji człowieka i bez obudzenia się do wątku Slack o 2 nad ranem.

Poniżej tego uruchamiane są automatyczne symulacje przeciwko przepływom pracy produkcyjnym, mierząc, czy dane wyjściowe odpowiadają oczekiwanemu zachowaniu. Dryf jest wykrywany na poziomie infrastruktury, zanim zespół operacyjny to poczuje, i długo zanim klient to zauważy. A każda decyzja podjęta przez każdego cyfrowego pracownika jest zalogowana i podlega przeglądowi, pełna szklana skrzynka, ponieważ nie można zarządzać tym, czego nie widać.

To nie są funkcje premium. To jest cena wstępu za prowadzenie sztucznej inteligencji w produkcji na skalę przedsiębiorstwa. Większość firm dowiaduje się o tym w środku cyklu informacyjnego, co jest drogim sposobem, aby się o tym dowiedzieć.

Pytanie, które warto zadać w tym kwartale.

Jeśli model, na którym opierają się Twoje operacje, miałby zły tydzień w następnym kwartale, ile Twoich przepływów pracy odczułoby to? Jak byście się o tym dowiedzieli? I jak szybko moglibyście to ominąć?

Jeśli odpowiedź na drugie pytanie brzmi “dowiedzielibyśmy się od klienta”, operacja nie jest gotowa do produkcji. To jest pilot prowadzony na dużą skalę, a różnica jest ważniejsza niż większość liderów zdaje sobie sprawę, dopóki nie zdaje sobie sprawy.

Bieżąca debata jest, w pewien sposób, użyteczna. Każdy CFO i COO, który obserwuje to, jak się rozgrywa, właśnie dostał bezpłatny przegląd tego, jak wygląda kruchność modelu pod prawdziwym obciążeniem operacyjnym, bez konieczności płacenia za to samemu. Prawidłowa odpowiedź nie polega na przełączeniu modelu. Polega na zbudowaniu operacji, które nie zależą od jednego modelu.

Technologia będzie się nadal zmieniać. To jest jedyna pewność na tym rynku. Przedsiębiorstwa, które wyjdą z tego dekady najsilniejsze, nie będą tymi, które wybrały odpowiedni model. Będą tymi, których operacje nigdy nie musiały się tym przejmować.