Tankeledere

Hvorfor alle virksomheder har brug for et videnkort i AI-æraen

mm
Føj Unite.AI til dine foretrukne kilder på Google

AI har fundamentalt accelereret softwareudvikling, men det har knapt nok ændret, hvordan softwareorganisationer fungerer. Denne misligning bliver stille og roligt den største begrænsning for virksomheds-AI.

I årevis havde ingeniørteam brug for flere ressourcer for at følge med efterspørgslen. I dag bruger små team AI til at generere kode, teste og accelerere vejen fra idé til implementering. Udviklere sender tydeligvis kode hurtigere, men om dette konsekvent oversætter sig til bedre resultater, er uvist.

Denne hastighed skaber en ny flaskehals: koordineringstaksen. AI har accelereret udførelsen meget hurtigere end det har forbedret, hvordan organisationer koordinerer deres arbejde. Kontekst-delning, prioritering, operationel beslutningstagning, statusrapportering og tværfaglig tilpasning er stadig primært manuelle, selvom udviklingen accelererer.

Atlassian (TEAM ) estimerer, at den resulterende misforståelse koster Fortune 500-virksomheder omkring 161 milliarder dollars om året. Samme undersøgelse fandt, at mens 89% af direktører siger, at AI har accelereret arbejdet, kan kun 6% pege på målbare, organisationsovergribende resultater.

Hurtigere output skaber ikke automatisk en smartere organisation. Kun 17% af brugerne er enige om, at agenter har forbedret samarbejdet inden for deres team, hvilket gør det til den lavest vurderede effekt med stor margin, og efterlader koordineringsløkken afbrudt.

At genskabe kontekst for hver forespørgsel er en enorm taks

En demo kan fungere godt med rene, kuraterede datakilder, men produktionsmiljøer stiller en udfordring: tvetydig, forældet og modstridende information spredt over ikke-tilkoblede systemer. Når man konfronteres med disse huller, gør en stor sprogmodel, hvad den er designet til at gøre: den forudsiger det nærmeste sandsynlige svar. Hvad der ligner en begrundelse i en kontrolleret demo, bliver hurtigt til en selvbevidst gætning med rigtige produktionsdata.

Branchen har begyndt at give dette problem et navn. “Kontekstingeniør” er opstået som disciplinen, der fokuserer på at designe informationen, relationerne, styringen og kvaliteten, der bestemmer, om virksomheds-AI lykkes. Begrænsningsfaktoren er ofte ikke længere modellen selv, men kvaliteten af konteksten omkring den.

Hver gang et AI-system genskaber kontekst fra scratch, betaler det en taks. Responser er langsomme, token-omkostninger øges, og tillid æroderer, da svar varierer afhængigt af, hvilke dele af organisationens viden der hentes. To AI-agenter kan svare på samme spørgsmål forskelligt, fordi hver samler kontekst fra en anden del af organisationens viden.

De fleste organisationer besidder allerede den viden, deres AI-systemer har brug for. Problemet er, at denne viden er fragmenteret over billetter, repositories, dokumentation, samtaler og planlægningsværktøjer. Dette medfører, at hver interaktion starter med at genskabe den organisatoriske kontekst, før modellen kan begynde at begrunde, og gentager derefter det samme dyre proces med hver ny forespørgsel.

Adgang er ikke det samme som viden

Et almindeligt spørgsmål er, om større kontekstvinduer, bedre søgning eller forbedret hentning vil løse dette problem. Modelkontekstprotokoller adresserer et virkeligt integrationsproblem ved at give agenter en standardiseret måde at få adgang til de systemer, hvor virksomhedsinformationen bor. Men adgang er ikke det samme som forståelse.

At give en agent adgang til et dusin systemer forklarer ikke, hvilken beslutning overtog en anden, hvorfor en krav ændrede sig, om et dokument stadig er autoritativt, eller hvordan en kundesamtale til sidst påvirkede, hvad der blev sendt. Uden en struktureret, verificeret lag af logik giver dette blot mere end et dusin muligheder for at møde modstridende detaljer.

De fleste virksomheds-AI-systemer antager stadig, at kontekst skal samles fra scratch hver gang, nogen stiller et spørgsmål. Denne tilgang kan svare på isolerede spørgsmål, men den kæmper med at støtte den kontinuerlige begrundelse, der kræves for at drive en forretning. Ledere tilbringer stadig timer hver uge med at samle svar på spørgsmål, der allerede burde eksistere inden for organisationen:

  • Hvad ændrede sig?
  • Hvorfor skiftede denne prioritet?
  • Er vejledningen stadig nøjagtig?
  • Løser vi stadig det rigtige problem?

Dette er, hvor et videnkort tjener sin formål. Et graf lagrer enheder og deres relationer og giver en grundlag for at bevare organisationens hukommelse.

I stedet for at hente en samling af passager, der tilfældigtvis indeholder lignende ord, kan en agent følge forbindelserne fra en beslutning til kravet, der udløste det, billetten, der implementerede det, pull-forespørgslen, der ændrede det, og kundetilbagemeldingen, der senere udfordrede det.

Videnkort går ud over at være bare endnu en måde at organisere data på. I stedet for at gentage bygning af kontekst fra ikke-tilkoblede systemer kan AI begrunde fra en kontinuerligt udviklende forståelse af, hvordan organisationen faktisk fungerer.

Resultatet er en AI, der kan begrunde fra beslutninger, samtaler og beviser, i stedet for at genskabe denne forståelse fra scratch med hver prompt.

Struktur alene er ikke nok

At bygge grafen en gang er svært, og at holde den nøjagtig er endnu sværere. I en hurtigt udviklende organisation ændrer billetter sig, planer skifter, kode sendes, ansvar flytter sig, og kundetilbagemeldinger ændrer prioriteringer. Dette betyder, at organisationens hukommelse skal opdateres, efterhånden som virkeligheden ændrer sig, og genforbinde hver ændring tilbage til dens kilde.

Mens 82% af udviklere rapporterer, at AI hjælper dem med at kode hurtigere, og 71% siger, det forbedrer deres evne til at tackle komplekse problemer, kommer denne hastighed med en fælde: 96% af udviklerne mangler fuld tillid til, at den resulterende kode er funktionelt korrekt.

Hver faktum, en agent giver dig, skal føre tilbage til sin kilde: commit, billet, tråd. Hvis et AI-system fortæller en leder, at en udgivelse er på vej, men ikke kan vise signalerne bag denne konklusion, burde en erfaren leder tøve med at handle på det.

Jeg har set hold abandonere værktøjer, der producerede rimelige svar, fordi brugerne ikke kunne verificere, hvordan disse svar blev nået. Jeg har også set hold fortsætte med at bruge mindre avancerede systemer, fordi disse systemer viste deres arbejde. En selvbevidst sammenfatning uden kvitteringer er bare en hurtigere måde at være forkert på, og når et værktøj brænder en leder med et ukontrolleret svar, kommer tilliden ikke tilbage. At forbinde hver påstand til sin kilde omdanner “stol på mig” til “her er hvorfor”.

Nøjagtighed er vigtig af samme grund. Når et system kontinuerligt sporer forholdet mellem plan og faktisk, bliver gapet mellem, hvad et team besluttede, og hvad der faktisk blev sendt, synligt og kan ses som en synlig afvigelse i stedet for at blive stille og roligt absorberet i en selvbevidst, men forældet, konklusion. Dette er ikke en perifer problem. Thoughtworks har flaget kodedrift som en specifik fare for AI-agenter. Det understreger behovet for verificeringsløkker og feedback-mekanismer, der hjælper systemer med at opdage og korrigere afvigelser, efterhånden som arbejdet udvikler sig. Afvigelse, som en organisation kan se, er nyttig information. Afvigelse, der forbliver skjult, er, hvordan et AI-system begynder at mislede de mennesker, der stolede på det.

Hvad du skal spørge, før dit næste agentprojekt

Når du vurderer en virksomhedsagent-initiativ, ville jeg starte med fire spørgsmål:

  • Bevarer systemet sin egen optimerede repræsentation af kontekst over tid, eller giver det blot AI-adgang til eksisterende datakilder?
  • Er hver besvarelse ført tilbage til en specifik kilde, såsom en billet eller dokument?
  • Opdaterer systemet automatisk, efterhånden som organisationens information ændrer sig?
  • Forstår agenten relationerne mellem data punkter i stedet for blot at have adgang til dem?

Grundmodeller vil fortsætte med at forbedre sig. Begrundelsesevner vil blive stærkere, kontekstvinduer vil vokse, og disse fremskridt vil blive tilgængelige for alle. Det, der ikke vil blive kommercialiseret, er organisationens forståelse.

Flere end halvdelen af direktørerne rapporterer, at de ser lidt eller intet omsætnings- eller omkostningsfordele fra AI over det sidste år. Jeg ville vædde på, at de fleste mangler kontekstlaget, der giver modellerne mulighed for at begrunde over, hvad organisationen allerede ved.

Da software bliver dramatisk lettere at skabe, bliver forståelse den knappe ressource. De, der skaber mest værdi fra AI, er bedre til at bevare, forbinde med og kontinuerligt lære fra organisationens viden. Det er forskellen mellem AI, der gætter, og AI, der ved.

Chris Bee er medstifter og administrerende direktør for Devplan. Han har brugt to årtier på at lede produkt- og ingeniørhold på stor skala, herunder hos Amazon, Uber, Zillow og Lessen, og diskuterer ofte, hvordan AI omformer softwareudviklingslivscyklussen og holdene, der driver den. Han er baseret i Seattle.