Dezbaterea “Nerfing” a lui Claude nu este despre Claude. Este despre ce se întâmplă când operațiunile dvs. rulează pe deciziile altcuiva.

La începutul acestui an, Stella Laurenzo, director senior de inteligență artificială la AMD, a publicat telemetria de la aproape 7.000 de sesiuni de cod Claude, documentând ceva pe care inginerii îl simțeau, dar nu reușeau să articuleze: între ianuarie și martie, adâncimea raționamentului vizibil a scăzut cu 73%, apelurile API pe sarcină au crescut de optzeci de ori, iar modelul a citit mult mai puține fișiere înainte de a face editări. Numerele s-au răspândit rapid. Interpretarea s-a răspândit și mai repede.

Anthropic contestă cadrul. Compania spune că schimbările reflectă decizii de produs deliberate, inclusiv un nou mecanism de gândire adaptivă și o schimbare către efort mediu ca valoare implicită. Analisti independenți au respins, de asemenea, unele părți ale metodologiei. Dezbaterea este în curs, iar oamenii rezonabili nu sunt de acord cu ceea ce s-a întâmplat cu adevărat.

Dar iată partea care contează dacă conduceți o afacere pe baza acestor sisteme: indiferent dacă acesta a fost o degradare sau o reglare deliberată, nu schimbă ceea ce au experimentat operatorii de întreprindere. Ei nu au putut să o prevadă. Ei nu au putut să o controleze. Și unii dintre ei au simțit-o în producție înainte de a înțelege ce se întâmplă. Acesta este adevăratul story, și nu are nimic de-a face cu Anthropic în special.

Acesta este un problema de dependență, nu o problemă de model.

Ceea ce descriem are un nume: fragilitatea modelului. Este starea în care operațiunile critice pentru misiune sunt strâns legate de comportamentul unui singur model, astfel încât orice schimbare la nivelul modelului, fie o decizie de reglare, o nouă valoare implicită, o schimbare de rutare din cauza capacității sau o depășire liniștită, lovește direct afacerea, fără niciun tampon și fără avertizare.

Acesta nu este un model nou. GPT-4 a trecut printr-o versiune a acestuia în 2023. Claude 3.5 a trecut printr-unul în 2024. Claude Opus trece printr-unul acum. Va fi din nou cu următorul model de frontieră, și cu cel de după. Nu pentru că vreun furnizor ar acționa cu rea credință, ci pentru că optimizarea unui model de frontieră pentru cost, întârziere și scară la volum global este exact ceea ce furnizorii de frontieră trebuie să facă. Incentivele lor și incentivele unei întreprinderi care rulează operațiuni de producție pe baza lor sunt legate. Ele nu sunt identice. Niciodată nu vor fi.

Am început Qurrent în 2023 și avem cunoștințele istorice pentru a ști cum se desfășoară ciclurile de software de întreprindere: O companie investește în inteligență artificială. Demo-ul funcționează. Pilotul funcționează. Apoi merge live, ceva se schimbă la nivelul modelului, și brusc clientul deține problema. Ei sunt cei care mențin fluxurile de lucru, urmăresc regresia, absorb perturbarea. Acest lucru nu a avut niciodată sens pentru mine ca un model durabil pentru operațiunile de întreprindere.

Versiunea de întreprindere a acestei povești este operațională, nu tehnică.

Pentru dezvoltatori, situația actuală este inconvenabilă. Bugetele de token arse mai repede. Sesiunile de codare se opresc. Benchmark-urile dezamăgesc. Acesta este un problemă reală, dar este una recuperabilă.

Pentru întreprinderile care rulează operațiuni financiare, fluxuri de lucru de conformitate, conturi de încasat și de plătit și procese de back-office complexe, mizele sunt diferite. Aceste fluxuri de lucru nu pot absorbi o săptămână proastă. Erorile se acumulează. Volumul se acumulează. SLA-urile sunt angajamente față de clienții reali, nu preferințe interne. În momentul în care un model începe să subperformeze pe un proces cu miză ridicată, daunele se acumulează, indiferent dacă cineva a observat sau nu.

Ceea ce face această situație mai grea este că majoritatea companiilor care au încercat să devanseze inteligența artificială prin construirea de agenți interni pe un singur model descoperă acum cât de incompletă a fost acea fundație. Primul agent a fost partea ușoară. Ceea ce nu a fost construit a fost infrastructura înconjurătoare: cadre de evaluare care detectează deriva comportamentală înainte de a ajunge la un client, logica de failover care redirecționează lucrul în mod automat atunci când un model începe să subperformeze, și guvernanță continuă capabilă să țină pasul cu un peisaj care se schimbă la fiecare trimestru. Aceste trei lacune nu rămân gestionabile. Ele cresc într-o funcție de inginerie permanentă pe care nimeni nu a bugetat-o, condusă de oameni a căror sarcină esențială este să țină pasul cu deciziile luate de furnizorii asupra cărora nu au niciun control.

Ce arată reziliența în producție.

La Qurrent, am construit forța de muncă digitală pentru a fi agnostică la model din start, nu ca o poziție de marketing, ci ca o cerință arhitecturală. Fiecare sarcină este direcționată către modelul cu cel mai bun comportament pentru acea sarcină, evaluat în mod continuu. Când un model mai bun este lansat, clienții îl primesc în mod automat. Când un model curent regresează pe un flux de lucru specific, stratul de orchestrare redirecționează acea lucrare în câteva secunde, fără intervenție umană și fără ca cineva să se trezească la 2 dimineața la un thread de Slack.

Sub acesta, simulări automate rulează împotriva fluxurilor de lucru de producție pe tot parcursul zilei, măsurând dacă ieșirile corespund comportamentului așteptat. Deriva este detectată la nivelul infrastructurii, înainte ca echipa de operațiuni să o simtă și cu mult înainte ca un client să o simtă. Și fiecare decizie luată de fiecare lucrător digital este înregistrată și poate fi revizuită, o cutie de sticlă completă, pentru că nu puteți guverna ceea ce nu puteți vedea.

Acestea nu sunt funcții premium. Sunt prețul de intrare pentru rularea inteligenței artificiale în producție la scară de întreprindere. Majoritatea companiilor învață acest lucru în mijlocul unui ciclu de știri, ceea ce este modul scump de a afla.

Întrebarea care merită să fie pusă în acest trimestru.

Dacă modelul de care depind operațiunile dvs. ar avea o săptămână proastă în trimestrul următor, câte dintre fluxurile dvs. de lucru ar simți asta? Cum ați ști? Și cât de repede ați putea direcționa în jurul acesteia?

Dacă răspunsul la a doua întrebare este “am auzi de la un client”, operațiunea nu este gata de producție. Este un pilot care rulează la scară, iar distincția contează mai mult decât majoritatea liderilor realizează până când nu o mai face.

Dezbaterea actuală este, într-un mod indirect, utilă. Fiecare CFO și COO care urmărește acest lucru a primit o previzualizare gratuită a ceea ce arată fragilitatea modelului sub o sarcină operațională reală, fără a plăti pentru asta ei înșiși. Răspunsul corect nu este să schimbați modelul. Este să construiți operațiuni care nu depind de unul singur.

Tehnologia va continua să se schimbe. Acesta este singurul lucru sigur pe acest market. Întreprinderile care vor ieși din acest deceniu cele mai puternice nu vor fi cele care au ales modelul corect. Vor fi cele ale căror operațiuni nu au trebuit să se sinchisească.