Claude “Nerfing” -keskustelu ei ole Clauden, vaan siitä, mitä tapahtuu, kun operaatiot perustuvat jonkun toisen päätöksiin.

Aikaisemmin tänä vuonna Stella Laurenzo, AMD:n AI:n seniorijohtaja, julkaisi telemetrian lähes 7 000 Claude Code -istunnosta, jotka dokumentoivat jotain, mitä insinöörit olivat tunteneet, mutta jota he olivat kamppailleet sanomaan: tammikuun ja maaliskuun välisenä aikana näkyvän päättelysyvyyden näyttäisi laskeneen 73 %, API-kutsujen määrän tehtävittäin kasvaneen 80-kertaisesti ja mallin lukevan vähemmän tiedostoja ennen muokkausta. Numerot levisivät nopeasti. Tulkinta levisi vielä nopeammin.

Anthropic kiistää kuvauksen. Yritys sanoo, että muutokset heijastavat tietoista tuoteptsämistä, mukaan lukien uusi adaptiivinen ajattelumekanismi ja siirtymä keskivaikeaan ponnisteluun oletusarvona. Riippumattomat analyytikot ovat myös vastustaneet osia menetelmästä. Keskustelu on edelleen käynnissä, ja järkevät ihmiset eriävät siinä, mitä todella tapahtui.

Mutta tässä on se osa, joka on tärkeää, jos sinä pyrit operoimaan liiketoimintaa näiden järjestelmien päällä: riippumatta siitä, oliko tämä heikkenemistä tai tietoista säätöä, se ei muuta sitä, mitä yritysoperaattorit kokivat. He eivät voineet ennustaa sitä. He eivät voineet hallita sitä. Ja jotkut heistä kokivat sen tuotannossa ennen kuin he ymmärsivät, mitä tapahtui. Tämä on todellinen tarina, ja se ei liity Anthropiciin erityisesti.

Tämä on riippuvuusongelma, ei malliongelma.

Mitä me kuvaamme, sillä on nimi: mallin haavoittuvuus. Se on tila, jossa kriittiset operaatiot ovat tiiviisti kytketty yhden mallin käyttäytymiseen, joten mikä tahansa muutos mallitasolla, olipa se säätingspäätös, uusi oletus, kapasiteetin mukainen reititysmuutos tai hiljainen vanheneminen, iskee suoraan liiketoimintaan, ilman puskuria ja ilman varoitusmerkkiä.

Tämä ei ole uusi malli. GPT-4 koki vastaavan vuonna 2023. Claude 3.5 koki sen vuonna 2024. Claude Opus kokee sen nyt. Se tapahtuu jälleen seuraavan eturintaman mallin ja sen jälkeisen kohdalla, ei siksi, että mikään toimittaja toimisi pahantahtoisesti, vaan siksi, että eturintaman mallin optimointi kustannuksilla, viiveellä ja skaalalla globaalilla volyymillä on juuri sitä, mitä eturintaman toimittajien on tehtävä. Heidän kannustinsa ja yrityksen, joka pyrkii operoimaan tuotannon näiden päällä, kannustimet ovat liittyneitä. Ne eivät ole identtisiä. Ne eivät koskaan ole.

Aloimme Qurrentin vuonna 2023 ja meillä on historiallinen tietämys siitä, miten yritysohjelmistojen syklit etenevät: Yritys investoi AI:hin. Demo toimii. Pilotti toimii. Sitten se menee liveen, jokin muuttuu mallitasolla, ja yhtäkkiä asiakas omistaa ongelman. He ovat ne, jotka ylläpitävät työvirranja, jahtaavat takaiskuja, absorboida disruptiota. Se ei koskaan ollut minulle järkevää kestävänä mallina yritystoiminnalle.

Yritysversio tästä tarinasta on operatiivinen, ei tekninen.

Kehittäjille nykyinen tilanne on epämukava. Token-budjetit palavat nopeammin. Koodausistunnot jäävät paikoilleen. Benchmarkit pettävät. Se on todellinen ongelma, mutta se on korjattavissa oleva.

Yrityksille, jotka pyrkivät operoimaan rahoitusoperaatioita, vaatimustenmukaisuusvirranja, laskutus- ja maksuvirranja sekä monimutkaisia takaisin toimintoja, panokset ovat erilaiset. Nämä virranjat eivät voi absorboida huonoa viikkoa. Virheet kertautuvat. Määrä kertautuu. SLA:t ovat sitoumuksia todellisille asiakkaille, eivät sisäisiä preferenssejä. Hetkenä, jolloin malli alkaa suorittaa heikommin korkean panoksen prosessissa, vahinko kertyy, riippumatta siitä, onko kukaan huomannut sitä vielä.

Se, mikä tekee tämän vaikeammaksi, on, että useimmat yritykset, jotka yrittivät päästä eteenpäin AI:lla rakentamalla sisäisiä agenteja yhdelle mallille, ovat nyt löytäneet, kuinka epätäydellinen se perusta oli. Ensimmäinen agentti oli helppo osa. Mitä ei rakennettu, oli ympäröivä infrastruktuuri: arviointikehykset, jotka havaitsevat käyttäytymisen siirtymisen ennen kuin se tavoittaa asiakkaan, failover-logiikka, joka uudelleenohjaa työn automaattisesti, kun malli alkaa suorittaa heikommin, ja jatkuva hallinto, joka pystyy pitämään vauhtia muuttuvassa maisemassa, joka muuttuu joka neljännesvuosi. Nämä kolme aukkoa eivät jää hallituttaviksi. Ne kasvavat pysyväksi insinööritoiminnoksi, jota kukaan ei ole budjetoinut, ja jota hoitavat ihmiset, joiden työ on perustuu seuraamaan päätöksiä, jotka tehdään toimittajien toimesta, joiden vaikutusvaltaa heillä ei ole.

Mitä resilienssi todella näyttää tuotannossa.

Qurrentissa me rakensimme digitaalisen työvoiman olemaan malliriippumattomana alusta alkaen, ei markkinointiasennona, vaan arkkitehtonisena vaatimuksena. Jokainen tehtävä ohjataan parhaan suorituskyvyn mukaan, arvioiden jatkuvasti. Kun parempi malli saapuu, asiakkaat saavat sen automaattisesti. Kun nykyinen malli suorittaa heikommin tietyssä virranjassa, orkestraatiokerros uudelleenohjaa työn sekunneissa, ilman ihmisen väliintuloa ja ilman, että kukaan herää Slack-keskusteluun kello 2 aamulla.

Sen alla automaattiset simulaatiot suoritetaan tuotantovirranjaa vastaan ympäri vuorokauden, mittaamalla, vastaavatko tulokset odotettua käyttäytymistä. Siirtymä havaitaan infrastruktuuritasolla, ennen kuin operaatiotiimi tuntee sen ja ennen kuin asiakas tietää siitä. Ja jokainen päätös, jonka jokainen digitaalinen työntekijä tekee, on kirjattu ja arvosteltavissa, täysi lasi-kuisti, koska et voi hallita sitä, mitä et voi nähdä.

Nämä eivät ole premium-ominaisuuksia. Ne ovat pääsylippu AI:n käyttöön tuotannossa yrityskoossa. Useimmat yritykset oppivat sen keskellä uutiskierrosta, mikä on kallis tapa löytää se.

Kysymys, jota kannattaa kysyä tämän neljännesvuoden aikana.

Jos malli, josta operaatiot riippuvat eniten, olisi huono viikko seuraavalla neljännesvuosilla, kuinka moni työvirranjasi tuntisi sen? Miten sinä tietäisit siitä? Ja kuinka nopeasti sinä voit ohjata sen ympäri?

Jos vastaus toiseen kysymykseen on “kuulemmme asiakkaalta”, operaatio ei ole tuotantovalmis. Se on pilotin suorittaminen suuressa mittakaavassa, ja ero on tärkeämpi kuin useimmat johtajat ymmärtävät, kunnes se ei ole.

Nykyinen keskustelu on, takaperin, hyödyllinen. Jokainen CFO ja COO, joka seuraa sitä, sai juuri ilmaisen esikatselun siitä, miltä mallin haavoittuvuus näyttää todellisessa operatiivisessa kuormituksessa, ilman maksamista siitä itse. Oikea vastaus ei ole vaihtaa mallia. Se on rakentaa operaatiota, joka ei riipu yhdestä mallista.

Teknologia jatkaa muuttumista. Se on ainoa varmuus tässä markkinassa. Yritykset, jotka tulevat vahvimmiksi tämän vuosikymmenen lopussa, eivät ole niitä, jotka valitsivat oikean mallin. Ne ovat niitä, joiden operaatiot eivät koskaan tarvinneet välittää.