Connect with us

Tankeledere

Hvorfor 95% af AI-initiativer leverer zero ROI

mm

MIT’s seneste studie fandt, at 95% af organisationer får zero afkast fra generative AI-initiativer; ingen målbart P&L-indflydelse trods betydelig investering. Overskrifterne fokuserede på fejlrate, men det virkelige spørgsmål er ikke, om teknologien fungerer. Large Language Models er kraftfulde, tilgængelige og forbedrer sig hurtigt. Problemet er, hvordan virksomheder forsøger at bruge dem.

De fleste organisationer tilgår AI-agenter på samme måde, som de tilgik hver anden teknologiudrulning. De tager eksisterende processer, bolter på noget AI, og forventer magi. Når det ikke virker, skylder de modellerne. Men fejlen sker langt før AI bliver involveret.

Jeg har set dette mønster gentage sig flere gange på tværs af virksomheder, der bygger AI-workflows. Holdene bliver begejstret over mulighederne, skynder sig ind i udviklingen, og rammer derefter de samme forudsigelige vejblokeringer. Forskellen på de 5%, der lykkes, og de 95%, der genererer zero ROI, er ikke held eller budget; det er at undgå seks kritiske fejl, der dræber AI-agent-værdi, før det starter.

Dit data er mere rodet, end du tror

De fleste hold tror, at at have data betyder, at de er klar til AI. De peger på deres data-sø, deres CRM, deres omhyggeligt vedligeholdte databaser, og antager, at succes er garanteret. Så sender de alt ind i en LLM og undrer sig over, hvorfor deres agent producerer affaldsudgang eller brænder igennem deres budget på få dage.

Rotlande data skaber rolande agenter. Hvis du sender rå database-udtømmelser, HTML-fyldte eksportér, eller ustrukturerede tekstblokke til en AI-agent, sætter du det op til at fejle. Modellerne bliver forvirret af irrelevante felter, distraheret af formateringsartefakter, og overvældet af den rene mængde.

Hold sender rutinemæssigt kundeoptegnelser med 47 felter, når kun 3 er beslutningskritiske. De inkluderer UUID’er, der tilføjer zero semantisk værdi, men forbruger kostbare tokens. De føder agenterne HTML-skrapet fra interne værktøjer i stedet for ren, struktureret information.

Du vil ramme grænserne hurtigere, end forventet

Hvert hold tror, at de aldrig vil ramme kontekstgrænser. “Vi behandler kun få kundeoptegnelser,” siger de. “Hvor svært kan det være?” Så skal deres agent analysere 500 support-billetter, hver med fuld samtalehistorik, og pludselig rammer de million-token-lofter.

Store kontekster akkumulerer hurtigere, end nogen forventer. En kundesupport-agent, der håndterer eskaleringer, kan have brug for adgang til billet-historik, videnbasartikler, tidligere interaktioner og produkt-dokumentation. Det er let hundredtusinder af tokens per anmodning. Gange det med samtidige brugere, og dine infrastruktur-omkostninger eksploderer.

Den naive tilgang er at sende alt til modellen og håbe på det bedste. Smarte hold bryder anmodninger op i stykker, summerer hver del, og opererer så på en summering af summeringer. Denne hierarkiske summering holder anmodningerne håndterbare, samtidig med at den bevarer den kritiske information, agenterne har brug for for at træffe gode beslutninger.

Sikkerhed bliver kompliceret hurtigt

Hold bliver begejstret over deres AI-agents personlighed og evner, skriver nogle grundlæggende retningslinjer, og tror, at de er beskyttet. I virkeligheden kræver AI-agenter grundlæggende anderledes sikkerhedstænkning end traditionelle applikationer.

AI-agenter kan narres, manipuleres og tvunget til at bryde konventionelle sikkerhedsmodeller. Brugerinput kan indeholde skjulte instruktioner, der overtager jeres omhyggeligt udformede prompts. Agenter kan overtales til at ignorere deres retningslinjer, få adgang til data, de ikke bør se, eller udføre handlinger uden for deres intentionerede område.

Smart implementering kræver strenge grænser om, hvad agenter kan og ikke kan gøre. For alt, der ændrer tilstand; skrive data, sende e-mails, foretage API-opkald; har du brug for en foreslå-rettfærdiggør-godkend-workflow. Agenten forklarer, hvad den vil gøre, og hvorfor, og venter så på menneskelig godkendelse, før den handler. Dette forhindrer løbsk automation, samtidig med at det opretholder fordelene ved AI-assistance.

Hvad der virkelig virker

Fra at have set hundredvis af AI-agent-implementeringer adskiller seks praksis succesfulde udrulninger fra dyre fejl.

Først er data-hygiejne. Send kompakt, typed JSON med faste skemaer. Fjern UUID’er, HTML, duplikerede felter og alle følsomme oplysninger, medmindre det er absolut beslutningskritisk. Erstat følsomme data med metadata, hvor det er muligt. Dette holder modellerne fokuseret, samtidig med at det reducerer payload-størrelse, omkostninger og latency.

Andet er kontekststyring. Du vil ramme token-grænser hurtigere, end forventet. Bryd anmodninger op i mindre stykker, summerer hver enkelt, og opererer så på summeringer. Denne hierarkiske tilgang holder anmodningerne under kontrol, samtidig med at den bevarer den nødvendige kontekst.

Tredje er prompt-sikkerhed. Definer strenge grænser for, hvad din agent kan og ikke kan gøre. Implementer foreslå-rettfærdiggør-godkend-workflows for alt, der ændrer tilstand. Behandle al brugerindhold som upålideligt; fjern kode og links, og mind modellerne om aldrig at følge instruktioner, der er skjult i bruger-tekst. Overvåg kontinuerligt prompts og output for anomale eller politik-overtrædende adfærd for at sikre, at grænserne forbliver effektive over tid.

Fjerde er omkostningskontrol. Sæt token- og omkostningsbudgetter per anmodning og per workflow. Log token-brug per værktøj og prompt for at fange regressioner tidligt. Uden disciple, vil du stå over for løbske regninger eller latency-spike, lige så snart adoptionen vokser.

Femte er kvalitetssikring. Hold en privat evalueringssæt af virkelige episoder og kanter. Spore præcision, recall og regressioner. Nye modeller vil overraske dig, som regel på dårlige måder. For kritiske workflows, brug temperatur nær nul og seeded backends for konsistente output.

Sjette er governance. Lås data-delingsaftaler ned, før nogen information flyder. Klargør, hvad der deles, hvordan det beskyttes, og hvem der er ansvarlig. Dette er ikke kun juridisk dækning; det er et tillids-signal om, at du tager data alvorligt.

Hvorfor de fleste hold gør det forkert

AI-agent-projekter fejler i at levere ROI, fordi holdene fokuserer på de forkerte ting. De besætter sig med, hvilken model at bruge, mens de ignorerer datakvalitet. De bygger komplekse workflows, mens de springer over grundlæggende sikkerheds kontroller. De udruller agenter uden omkostningskontrol, og panikker så, når regninger spikker.

De succesfulde 5% forstår, at AI-agenter ikke bare er software; de er en ny kategori af digital arbejder, der kræver anderledes ledelsespraksis. De har brug for ren data, klare grænser og konstant overvågning. Få disse grundlæggende ret, og AI-agenter bliver kraftfulde produktivitetsmultiplikatorer. Få dem forkert, og du slutter dig til de 95%, der undrer sig over, hvorfor deres dyre AI-investering genererede zero målbart afkast.

Rohan Sathe er medstifter og administrerende direktør for Nightfall AI. Før han medstiftede Nightfall, ledede han backendholdet hos Uber Eats, hvor han byggede anvendte maskinlærings-tjenester såsom ETA-forudsigelse og forudsigelse af udbud og efterspørgsel. Han har medvirket som gæst i CISO Series-podcasten og Artificial Intelligence Podcast, blandt andre.