Tankeledere

Hvorfor 95% av AI-initiativer leverer null avkastning

mm
Legg til Unite.AI blant dine foretrukne kilder på Google

MITs nylige studie fant ut at 95% av organisasjonene får null avkastning fra generative AI-initiativer; ingen målbare P&L-impakt til tross for betydelig investering. Overskriftene fokuserte på feilraten, men den virkelige spørsmålet er ikke om teknologien fungerer. Large Language Models er kraftfulle, tilgjengelige og forbedrer raskt. Problemet er hvordan bedrifter prøver å bruke dem.

De fleste organisasjonene nærmer seg AI-agenter på samme måte som de nærmer seg hver andre teknologisk utrullning. De tar eksisterende prosesser, setter på noen AI og forventer magi. Når det ikke fungerer, skylder de modellene. Men feilen skjer lenge før AI blir involvert.

Jeg har sett denne mønsteret gjentatte ganger over bedrifter som bygger AI-arbeidsflyter. Teamene blir begeistret for mulighetene, skynder seg inn i utvikling, og deretter treffer de samme forutsigbare hindringer. Forskjellen mellom de 5% som lykkes og de 95% som genererer null avkastning, er ikke lykke eller budsjett; det er å unngå seks kritiske feil som dreper AI-agent-verdien før den starter.

Dine data er mer rotete enn du tror

De fleste teamene tror at å ha data betyr at de er klare for AI. De peker på sin data-sjø, sin CRM, sine nøye vedlikeholdte databaser, og antar at suksess er garantert. Deretter dumpes alt inn i en LLM og de undrer seg over hvorfor deres agent produserer skralle utdata eller brenner gjennom deres budsjett på få dager.

Rotete data skaper rotete agenter. Hvis du sender rå database-dumper, HTML-fylte eksport, eller ustrukturerte tekst-klumper til en AI-agent, setter du det opp for å feile. Modellene blir forvirret av irrelevante felt, distraheres av formateringsartefakter og overveldes av volum.

Teamene sender rutinemessig kunderekorder med 47 felt når bare 3 er avgjørende for beslutninger. De inkluderer UUID-er som legger til null semantisk verdi, men forbruker verdifulle token. De mater agenter med HTML skrapet fra interne verktøy i stedet for ren, strukturert informasjon.

Du vil treffe grenser raskere enn forventet

Hvert team tror at de aldri vil treffe kontekstgrenser. “Vi behandler bare noen kunderekorder,” sier de. “Hvor vanskelig kan det være?” Deretter trenger deres agent å analysere 500 support-billetter, hver med full konversjonshistorikk, og plutselig treffer de millionstoken-tak.

Store kontekster akkumulerer raskere enn noen forventer. En kundesupport-agent som håndterer eskalasjoner, må kanskje ha tilgang til billetthistorikk, kunnskapsbase-artikler, tidligere interaksjoner og produkt-dokumentasjon. Det er lett hundre tusen token per forespørsel. Multipliser det med samtidige brukere, og dine infrastrukturkostnader spiralerer ut av kontroll.

Den naive tilnærmingen er å bare sende alt til modellen og håpe på det beste. Smarte team bryter forespørsler inn i biter, summerer hver del, og deretter opererer på en summering av summeringer. Denne hierarkiske summeringen holder forespørsler håndterbare samtidig som den bevarer den kritiske informasjonen agenter trenger for å fatte gode beslutninger.

Sikkerhet blir komplisert raskt

Teamene blir begeistret for sin AI-agents personlighet og evner, skriver noen grunnleggende retningslinjer og tror de er beskyttet. I virkeligheten krever AI-agenter grunnleggende annen sikkerhetstenkning enn tradisjonelle applikasjoner.

AI-agenter kan bli lurt, manipulert og tvunget i måter som bryter konvensjonelle sikkerhetsmodeller. Brukerinput kan inneholde skjulte instruksjoner som overstyrer dine nøye utformede promter. Agenter kan bli overtalt til å ignorere retningslinjene, få tilgang til data de ikke bør se, eller utføre handlinger utenfor deres mentede omfang.

Smart implementeringer krever strenge grenser rundt hva agenter kan og ikke kan gjøre. For alt som endrer tilstand; skrive data, sende e-post, gjøre API-forespørsler; trenger du en foreslå-berettige-godkjenne-arbeidsflyt. Agenten forklarer hva den ønsker å gjøre og hvorfor, og deretter venter den på menneskelig godkjenning før den handler. Dette forhindrer automatisering som løper løpsk, samtidig som det opprettholder fordelen av AI-assistanse.

Hva som faktisk fungerer

Fra å observere hundrevis av AI-agent-implementeringer, skiller seks praksiser suksessfulle utrullinger fra dyre feil.

Først er data-hygiene. Send komprimert, typet JSON med faste skjema. Fjern UUID-er, HTML, duplikate felt og alle sensitive informasjon hvis det ikke er absolutt avgjørende for beslutninger. Erstatt sensitive data med metadata når det er mulig. Dette holder modellene fokusert samtidig som det kuttes ned payload-størrelse, kostnad og latency.

Andre er kontekststyring. Du vil treffe token-grenser raskere enn forventet. Bryt forespørsler inn i mindre biter, summer hver enkelt, og deretter operer på summeringer. Denne hierarkiske tilnærmingen holder forespørsler under kontroll samtidig som den bevarer den nødvendige konteksten.

Tredje er prompt-sikkerhet. Definer strenge grenser for hva din agent kan og ikke kan gjøre. Implementer foreslå-berettige-godkjenne-arbeidsflyter for alt som endrer tilstand. Behandle all brukerinnhold som upålitelig; fjern kode og lenker, og påminn modellene om å aldri følge instruksjoner skjult i brukertekst. Overvåk kontinuerlig promter og utdata for anomalt eller politikk-krenkende atferd for å sikre at grensene forblir effektive over tid.

Fjerde er kostnadskontroll. Sett token- og kostnadsbudsjett per forespørsel og per arbeidsflyt. Logg token-bruk per verktøy og prompt for å fange tidlige tilbakeslag. Uten disiplin, vil du møte løpske regninger eller latency-spor når adopsjonen vokser.

Femte er kvalitetssikring. Hold en privat vurderingssett av virkelige hendelser og kanttilfeller. Spør om presisjon, tilbakekall og tilbakeslag. Nye modeller vil overraske deg, vanligvis på dårlig måte. For kritiske arbeidsflyter, bruk temperatur nær null og seeded bakender for konsistente utdata.

Sjette er styring. Lås ned data-delingavtaler før noen informasjon flyter. Klargjør hva som deles, hvordan det beskyttes og hvem som er ansvarlig. Dette er ikke bare juridisk dekning; det er et tillitsignal som du tar data alvorlig.

Hvorfor de fleste teamene feiler

AI-agent-prosjekter feiler i å levere avkastning fordi teamene fokuserer på feil ting. De beskjeftiger seg med hvilken modell å bruke mens de ignorerer datakvalitet. De bygger komplekse arbeidsflyter mens de hopper over grunnleggende sikkerhetskontroller. De deployer agenter uten kostnadskontroll, og deretter panikker når regningene spriker.

De suksessfulle 5% forstår at AI-agenter ikke bare er programvare; de er en ny kategori digital arbeider som krever annen ledelsespraksis. De trenger ren data, klare grenser og konstant overvåking. Få disse grunnleggende tingene rett, og AI-agenter blir kraftfulle produktivitetsmultiplikatorer. Få dem galt, og du slutter deg til de 95% som undrer seg over hvorfor deres dyre AI-investering genererte null målbare avkastning.

Rohan Sathe er medstifter og administrerende direktør i Nightfall AI. Før han medstiftet Nightfall, ledet han backend-teamet i Uber Eats, hvor han bygget anvendt maskinlæringstjenester som ETA-forudsigelse og supply-demand-prognose. Han har været gæst på CISO Series-podkasten og Artificial Intelligence Podcast, blandt andre.