Maskin til menneske-interaktion: “Sidste mile”-problemet, der holder enterprise AI tilbage

Indtil meget nylig handlede bestyrelsessamtaler om AI om modellerne selv. Er deres output præcis? Hvordan ren var træningsdataen? Hvordan kan vi reducere bias? Er hallucinationer under kontrol? Disse spørgsmål er stadig vigtige, men output er ikke længere det eneste, bestyrelser og aktionærer er opmærksomme på. I stedet er de blevet interesseret i noget, der er meget sværere at måle – om AI-systemer faktisk arbejder sammen med mennesker så effektivt som muligt i dag-til-dag-interaktioner.

Det er delvist derfor, at IBM for nylig fandt sig selv over for en aktionærforladt forslag, der krævede større gennemsigtighed omkring, hvordan det håndterer AI-bias og governance. Forslaget fokuserede specifikt på bias-mitigation, men den bredere takeaway var, at da AI bliver mere dybt integreret i beslutningsprocesser, bliver det vurderet ud fra sin operationelle ansvarlighed og målbare forretningsresultater snarere end dens grundlæggende niveau af kapacitet.

Hvad jeg ser i samtaler med virksomheder er, at meget få mennesker stadig diskuterer, om modellerne selv er kapable. De fleste organisationer ved allerede, at disse systemer kan generere output, automatisere arbejdsprocesser og fremhæve indsigt med ekstraordinær hastighed. Det svære spørgsmål er, om noget af dette konsekvent forbedrer resultaterne inden for virksomheden. Bruger medarbejderne faktisk disse systemer på en meningsfuld måde? Stoler de på anbefalingerne, de modtager? Bliver beslutninger klarere, hurtigere eller mere konsekvente? Eller genererer organisationer blot mere indhold, mere analyse og mere støj uden at ændre, hvordan mennesker opererer? Denne kløft mellem AI-kapacitet og menneskelig adoption er, hvad jeg mener, er “sidste mile” af enterprise AI. Det er, hvor ROI, tillid, ansvarlighed og operationel konsekvens mødes, og det er, hvor mange installationer begynder at stagnere.

Kapacitet er ikke flaskenhalen – menneskelig kontekst er

IBM-aktionærforladte forslag selv fokuserede på bias, en velkendt og voksende bekymring i industrien. Resolutionen opfordrede IBM til at producere yderligere rapportering om de metoder, det anvender til at identificere og mitigere bias på tværs af sine AI-modeller, herunder de potentielle risici forbundet med disse mitigationsbestræbelser. IBM modsatte sig og argumenterede for, at meget af denne information allerede var offentligt tilgængelig gennem modelkort, governance-dokumentation, gennemsigtighedsrapportering og indsendelser til Stanfords Foundation Model Transparency Index. De fleste iagttagere anerkendte, at IBM havde gjort mere end mange leverandører for at operationalisere ansvarlig AI-praksis, mens de også erkendte, at governance og bias stadig er uløste industrielle udfordringer.

Hvad der er interessant for mig, er ikke, om IBMs svar var rigtigt eller forkert. Det er, hvad hele situationen siger om, hvor enterprise AI-samtaler er på vej. Bestyrelser er næsten gået ind i en ny fase af AI-vurdering fokuseret på beslutningskvalitet, operationel impact, medarbejder-tillid og langsigtede adoption inden for virksomheden.

Dette er, hvor en neurovidenskabelig synsvinkel fører mig til en anden konklusion end meget af den nuværende enterprise AI-samtale. Mennesker er ikke rationelle input-output-maskiner. Vi tilgår beslutninger med endelig opmærksomhed, fluktuerende tillid, kognitiv overbelastning og konstant skiftende hensigt. Når interaktioner føles langsomme, når færdiglavede svar ikke rammer, hvad vi faktisk mente, eller når mennesker må kæmpe mod systemet for at komme til noget nyttigt, kollapser engagement langt før adoptionsmålinger følger med. Hallucinationsrisiko, inkonsistens og bias forværre blot problemet yderligere og skaber friktion inden for arbejdsprocesser, der oprindeligt var tiltænkt at forbedre produktivitet og beslutningstagning. Denne “sidste mile” er, hvad de fleste organisationer stadig undervurderer: AI-værdi skabes ikke, når en model genererer et svar, men når det leverer det rigtige svar på det rigtige tidspunkt, og mennesker kan stole på det nok til at handle på, hvad det producerer.

Hvorfor ignorerer vi den rigtige “menneske i løkken” – brugeren?

Vi har hørt meget om “menneske i løkken” og vigtigheden af at have et menneske til stede for at godkende AI-drevet output. Men hvad nu, hvis det vigtigste menneske – brugeren – ikke bliver ordentligt forstået? Menneske-til-menneske-interaktion er kompleks og multifacetteret, men årsagen til, at direkte kommunikation fungerer så godt, er, fordi ingen nuance går tabt. Hvis nogen tøver, mister tillid, bliver frustreret eller forvirret, eller hvis deres hensigt skifter, går det igennem under en interaktion, og samtalen skifter derefter. De fleste AI-systemer kæmper stadig for at genkende disse signaler, fordi de er mere eller mindre “på skinner” i og med, at de kun responderer på den sidste prompt fra brugeren.

Ifølge min mening er dette en af de definerende begrænsninger for nuværende enterprise AI-installationer. Vi har bygget systemer, der er exceptionelt gode til at generere information, mens de stadig er begrænsede i deres evne til at genkende, om denne information hjælper nogen med at træffe bedre beslutninger.

En organisation kan installere enterprise AI-værktøjer til tusindvis af medarbejdere og stadig ikke opnå meningsfuld alignment i, hvordan disse systemer faktisk bliver brugt. Rammer som NIST AI Risk Management Framework, ISO/IEC 42001 og EU AI Act driver organisationer mod større governance-modenhed og operationel ansvarlighed. Men governance på papir går kun så langt, hvis medarbejder-engagement med AI forbliver fragmenteret. Hvis forskellige hold stoler på og bruger AI på helt forskellige måder, bliver det næsten umuligt at måle ROI konsekvent, og det er et problem, som ingen mængde af prompting kan løse.

Omregningen af AI-overbelastning

Vi er nu på vej ind i en fase, hvor AI bliver fuldstændigt almindeligt inden for AI-arbejdsprocesser. Der er copiloter integreret i produktivitetssuiter, AI-genererede mødesammendrag, der ankommer efter hver opkald, dashboards, der fremhæver prædiktive indsigt i realtid, anbefalingsmotorer, der føder medarbejdere konstante forslag, og automatiseret analyse, der dukker op hurtigere, end de fleste hold kan realistisk behandle det. På papir ser det ud som fremskridt – forretninger producerer mere information end nogensinde før. Men kognitiv videnskab har været klart om dette i årtier: mere information producerer ikke automatisk bedre beslutninger.

Mennesker kan kun absorbere så meget information, før overbelastning begynder at sætte ind. For mange anbefalinger skaber tøven. For mange advarsler bliver baggrundsstøj. For mange AI-genererede muligheder kan få medarbejdere til at tvivle i stedet for at handle med tillid. Det, der er interessant, er, at AI-systemer bliver exceptionelt gode til at producere information, mens de stadig er relativt dårlige til at forstå, hvordan mennesker modtager, fortolker og responderer på denne information i kontekst. Bestyrelserne bekymrer sig ikke om, hvor mange sammendrag, anbefalinger eller genererede indsigt et system kan producere. De bekymrer sig om, hvorvidt beslutninger bliver klarere og mere pålidelige på tværs af forretningen.

AI er gået ind i sin ansvarlighedsfase

IBM-aktionærforladte forslag kan være kommet fra bekymringer om bias, men jeg mener, det afspejler noget langt bredere, der sker lige over enterprise AI. Nytten af AI er passeret, og forretninger, der søger en solid afkast på deres AI-investering, kan ikke længere se på modelkapacitet alene. Teknologien har bevist sig selv, men nu har den brug for en vis ansvarlighed. Bruger medarbejderne disse systemer konsekvent? Forbedres beslutninger? Øger tillid og engagement over tid, ellererosionerer de langsomt? Da AI bliver mere integreret i daglige arbejdsprocesser, kan næste generations systemer måske være nødt til at blive langt mere bevidste om menneskelig adfærd, opmærksomhed, tillid og hensigt, hvis forretninger ønsker bæredygtig adoption og målbart ROI. Indtil da vil “sidste mile” sandsynligvis forblive en af de største udfordringer i enterprise AI-adoption.