Il dibattito su Claude “Nerfing” non riguarda Claude, ma cosa succede quando le tue operazioni dipendono dalle decisioni di qualcun altro.

All’inizio di quest’anno, Stella Laurenzo, Senior Director di AI presso AMD, ha pubblicato dati di telemetria di quasi 7.000 sessioni di Claude Code, documentando qualcosa che gli ingegneri avevano percepito ma faticavano ad articolare: tra gennaio e marzo, la profondità di ragionamento visibile sembrava essere scesa del 73%, le chiamate API per attività sono aumentate di ottanta volte e il modello stava leggendo molti meno file prima di apportare modifiche. I numeri si sono diffusi rapidamente. L’interpretazione si è diffusa ancora più velocemente.

Anthropic contesta la cornice. L’azienda afferma che i cambiamenti riflettono decisioni di prodotto deliberate, tra cui un nuovo meccanismo di pensiero adattivo e uno spostamento verso uno sforzo medio come impostazione predefinita. Gli analisti indipendenti hanno anche contestato parti della metodologia. Il dibattito è in corso e persone ragionevoli dissentono su cosa sia effettivamente accaduto.

Ma qui è la parte che conta se stai gestendo un’attività su questi sistemi: che si tratti di degrado o di taratura deliberata non cambia cosa gli operatori aziendali hanno sperimentato. Non potevano prevederlo. Non potevano controllarlo. E alcuni di loro l’hanno sentito in produzione prima di capire cosa stava succedendo. Questa è la vera storia e non ha nulla a che fare con Anthropic in particolare.

Questo è un problema di dipendenza, non un problema di modello.

Ciò che stiamo descrivendo ha un nome: fragilità del modello. È la condizione in cui le operazioni critiche per la missione sono strettamente legate al comportamento di un singolo modello, in modo che qualsiasi modifica al livello del modello, sia una decisione di taratura, un nuovo valore predefinito, uno spostamento di routing basato sulla capacità o un deprecazione silenziosa, colpisce direttamente l’azienda, senza alcun buffer e senza preavviso.

Questo non è un nuovo modello. GPT-4 ha attraversato una versione di esso nel 2023. Claude 3.5 ha attraversato una versione di esso nel 2024. Claude Opus sta attraversando una versione di esso adesso. Succederà di nuovo con il prossimo modello di frontiera e con quello successivo. Non perché un fornitore stia agendo in malafede, ma perché ottimizzare un modello di frontiera per costo, latenza e scala a volume globale è esattamente ciò che i fornitori di frontiera devono fare. Le loro incentivazioni e le incentivazioni di un’azienda che esegue operazioni di produzione su di essi sono correlate. Non sono identiche. Non lo saranno mai.

Abbiamo iniziato Qurrent nel 2023 e abbiamo la conoscenza storica per sapere come si svolgono i cicli di software aziendale: un’azienda investe in AI. La demo funziona. Il pilotaggio funziona. Poi va live, qualcosa si sposta al livello del modello e improvvisamente il cliente possiede il problema. Sono loro a mantenere i flussi di lavoro, a inseguire le regressioni, ad assorbire la disgregazione. Ciò non ha mai avuto senso per me come modello sostenibile per le operazioni aziendali.

La versione aziendale di questa storia è operativa, non tecnica.

Per gli sviluppatori, la situazione attuale è scomoda. I budget dei token bruciano più velocemente. Le sessioni di codifica si bloccano. I benchmark deludono. È un problema reale, ma è un problema recuperabile.

Per le aziende che eseguono operazioni finanziarie, flussi di lavoro di conformità, conti ricevibili e pagabili e processi di back-office complessi, le poste in gioco sono diverse. Questi flussi di lavoro non possono assorbire una settimana difficile. Gli errori si accumulano. Il volume si accumula. Gli SLA sono impegni con clienti reali, non preferenze interne. Nel momento in cui un modello inizia a sottoperformare in un processo ad alto rischio, il danno si accumula indipendentemente dal fatto che qualcuno se ne sia accorto o no.

Cosa rende le cose più difficili è che la maggior parte delle aziende che hanno cercato di stare al passo con l’AI costruendo agenti interni su un singolo modello stanno ora scoprendo quanto fosse incompleta quella base. Il primo agente è stato la parte facile. Ciò che non è stato costruito è l’infrastruttura circostante: framework di valutazione che rilevano la deriva comportamentale prima che raggiunga un cliente, logica di failover che reindirizza il lavoro automaticamente quando un modello inizia a sottoperformare e governance continua in grado di stare al passo con un paesaggio che cambia ogni trimestre. Queste tre lacune non rimangono gestibili. Crescono in una funzione di ingegneria permanente che nessuno ha budgetizzato, gestita da persone il cui lavoro è essenzialmente tenere il passo con decisioni prese da fornitori su cui non hanno alcun influenza.

Cosa sembra realmente la resilienza in produzione.

In Qurrent, abbiamo costruito la forza lavoro digitale per essere agnostica dal modello fin dall’inizio, non come posizione di marketing ma come requisito architettonico. Ogni attività viene instradata al modello con le migliori prestazioni per quell’attività, valutato continuamente. Quando viene spedito un modello migliore, i clienti lo ricevono automaticamente. Quando un modello attuale regredisce in un flusso di lavoro specifico, lo strato di orchestrazione reindirizza quel lavoro in pochi secondi, senza intervento umano e senza che nessuno si svegli a un thread di Slack alle 2 del mattino.

Sotto di esso, simulazioni automatiche vengono eseguite contro flussi di lavoro di produzione 24 ore su 24, misurando se gli output corrispondono al comportamento previsto. La deriva viene rilevata al livello dell’infrastruttura, prima che il team operativo la senta e molto prima che un cliente la senta. E ogni decisione presa da ogni lavoratore digitale viene registrata e revisionata, una vera e propria scatola di vetro, perché non si può governare ciò che non si può vedere.

Queste non sono funzionalità premium. Sono il prezzo di ammissione per eseguire AI in produzione a scala aziendale. La maggior parte delle aziende sta imparando che a metà di un ciclo di notizie, il che è il modo costoso per scoprirlo.

La domanda da porre questo trimestre.

Se il modello sul quale le tue operazioni dipendono di più avesse una settimana difficile nel prossimo trimestre, quanti dei tuoi flussi di lavoro lo sentirebbero? Come lo sapresti? E quanto velocemente potresti instradare intorno ad esso?

Se la risposta alla seconda domanda è “saremmo sentiti da un cliente”, l’operazione non è pronta per la produzione. È un pilotaggio in esecuzione a scala, e la distinzione conta più di quanto la maggior parte dei leader si renda conto fino a quando non conta.

Il dibattito attuale è, in un modo indiretto, utile. Ogni CFO e COO che guarda questo dibattito ha appena ricevuto un’anteprima gratuita di cosa sembra la fragilità del modello sotto carico operativo reale, senza doverlo pagare loro stessi. La risposta giusta non è quella di passare a un modello diverso. È costruire operazioni che non dipendano da un singolo modello.

La tecnologia continuerà a cambiare. È l’unica certezza in questo mercato. Le aziende che usciranno da questo decennio più forti non saranno quelle che hanno scelto il modello giusto. Saranno quelle le cui operazioni non hanno mai dovuto preoccuparsi.