Maskin-till-människa-interaktion: “Sista milen” -problemet som håller tillbaka företags-AI

Fram tills mycket nyligen handlade styrelserumssamtal om AI om modellerna själva. Är deras utdata korrekt? Hur ren var utbildningsdata? Hur kan vi minska bias? Är hallucinationer under kontroll? Dessa frågor är fortfarande viktiga, men utdata är inte längre den enda sak som styrelser och aktieägare uppmärksammar. Istället blir de alltmer intresserade av något som är mycket svårare att mäta – om AI-system verkligen fungerar med människor så effektivt som de kan i dagliga interaktioner.

Det är delvis varför IBM nyligen utsattes för ett aktieägarförslag som krävde större transparens kring hur de hanterar AI-bias och styrning. Förslaget fokuserade specifikt på bias-minskning, men den bredare slutsatsen var att när AI blir alltmer djupt ingrupperat i beslutsprocesser, bedöms det utifrån dess operativa ansvar och mätbara affärsresultat snarare än dess grundläggande kapacitet.

Vad jag ser i samtal med företag är att mycket få människor fortfarande debatterar om modellerna själva är kapabla. De flesta organisationer vet redan att dessa system kan generera utdata, automatisera arbetsflöden och presentera insikter med enastående hastighet. Den svårare frågan är om något av detta konsekvent förbättrar resultaten inom företaget. Använder anställda verkligen dessa system på meningsfulla sätt? Litar de på rekommendationerna de får? Blir besluten tydligare, snabbare eller mer konsekventa? Eller genererar organisationer bara mer innehåll, mer analys och mer brus utan att förändra hur människor opererar? Klyftan mellan AI-kapacitet och mänsklig anpassning är vad jag kallar “sista milen” i företags-AI. Det är där ROI, förtroende, ansvar och operativ konsekvens sammanstrålar, och det är där många distributioner börjar stanna av.

Kapacitet är inte flaskhalsen – mänsklig kontext är

IBM-aktieägarförslaget i sig fokuserade på bias, en välbekant och växande oro i branschen. Resolutionen krävde att IBM skulle producera ytterligare rapportering om de metoder de använder för att identifiera och mildra bias över hela sina AI-modeller, inklusive de potentiella riskerna förknippade med dessa mildrande insatser. IBM höll tillbaka, och hävdade att mycket av denna information redan var allmänt tillgänglig genom modellkort, styrningsdokumentation, transparensrapportering och inlämnanden till Stanfords Foundation Model Transparency Index. De flesta observatörer erkände att IBM har gjort mer än de flesta leverantörer för att operationalisera ansvarsfulla AI-praxis, samtidigt som de erkände att styrning och bias förblir olösta utmaningar inom branschen.

Vad som är intressant för mig är inte om IBMs svar var rätt eller fel. Det är vad hela situationen säger om vart företags-AI-samtal är på väg. Styrelser har i stor utsträckning flyttat in i en ny fas av AI-utvärdering som fokuserar på beslutskvalitet, operativ påverkan, anställdas förtroende och långsiktig anpassning inom företaget.

Detta är där en neurovetenskaplig synvinkel leder mig till en annan slutsats än mycket av den nuvarande företags-AI-konversationen. Människor är inte rationella indata-utdata-maskiner. Vi närmar oss beslut med ändlig uppmärksamhet, fluktuerande förtroende, kognitiv överbelastning och konstant skiftande avsikt. När interaktioner känns långsamma, när fördefinierade svar missar vad vi faktiskt menade, eller när människor måste kämpa mot systemet för att komma till något användbart, kollapsar engagemanget långt innan anpassningsmått tar upp det. Hallucinationsrisk, inkonsekvens och bias förvärrar bara problemet, och skapar friktion inom arbetsflöden som ursprungligen avsågs att förbättra produktivitet och beslutsfattning. Denna “sista mil” är vad de flesta organisationer fortfarande underskattar: AI-värde skapas inte när en modell genererar ett svar, utan när den levererar rätt svar vid rätt tidpunkt och människor kan lita på det tillräckligt för att agera på vad det producerar.

Varför ignorerar vi den riktiga “människan i loopen” – användaren?

Vi har hört mycket nyligen om “människa i loopen” och vikten av att ha en människa närvarande för att godkänna AI-drivna utdata. Men vad om den viktigaste människan – användaren – inte förstås ordentligt? Människa-till-människa-interaktion är komplex och mångfacetterad, men anledningen till att direkt kommunikation fungerar så bra är att ingen nyans går förlorad. Om någon tvekar, förlorar förtroende, blir frustrerad eller förvirrad, eller om deras avsikt skiftar, så förmedlas det under en interaktion och samtalet skiftar därefter. De flesta AI-system kämpar fortfarande för att känna igen dessa signaler eftersom de är mer eller mindre “på räls” i det att de bara svarar på den senaste prompten från användaren.

Enligt min mening blir detta en av de avgörande begränsningarna för nuvarande företags-AI-distributioner. Vi har byggt system som är exceptionellt bra på att generera information samtidigt som de förblir begränsade i sin förmåga att känna igen om den informationen hjälper någon att fatta bättre beslut.

En organisation kan distribuera företags-AI-verktyg för tusentals anställda och fortfarande inte uppnå meningsfull samstämmighet i hur dessa system faktiskt används. Ramverk som NIST AI Risk Management Framework, ISO/IEC 42001 och EU AI Act driver organisationer mot större styrningsmognad och operativt ansvar. Men styrning på papperet går bara så långt om anställdas engagemang med AI förblir fragmenterat. Om olika team litar på och använder AI på helt olika sätt, blir det nästan omöjligt att mäta ROI konsekvent, och det är ett problem som ingen mängd prompting kan lösa.

Kostnaden för AI-överbelastning

Vi går nu in i en fas där AI blir helt ubiquitöst inom AI-arbetsflöden. Det finns co-piloter inbäddade i produktivitetssviter, AI-genererade mötessummeringar som anländer efter varje samtal, instrumentpaneler som presenterar predictiva insikter i realtid, rekommendationsmotorer som matar anställda konstant förslag och automatiserad analys som dyker upp snabbare än de flesta team kan realistiskt bearbeta den. På papper ser detta ut som framsteg – företag producerar mer information än någonsin tidigare. Men kognitiv vetenskap har varit tydlig med detta under årtionden: mer information producerar inte automatiskt bättre beslut.

Människor kan bara absorbera så mycket information innan överbelastning börjar sätta in. För många rekommendationer skapar tvekan. För många larm blir bakgrundsbrus. För många AI-genererade alternativ kan lämna anställda tvivlande snarare än agerande med förtroende. Vad som är intressant är att AI-system blir exceptionellt bra på att producera information samtidigt som de förblir relativt dåliga på att förstå hur människor tar emot, tolkar och svarar på den informationen i sammanhang. Styrelser bryr sig slutligen inte om hur många summeringar, rekommendationer eller genererade insikter ett system kan producera. De bryr sig om huruvida besluten blir tydligare och mer tillförlitliga över hela företaget.

AI har gått in i sin ansvarsfas

IBM-aktieägarförslaget kan ha kommit från oro över bias, men jag tror att det reflekterar något mycket bredare som händer över hela företags-AI. Nyheten om AI har passerat, och företag som letar efter en solid avkastning på sin AI-investering kan inte längre se till modellkapacitet ensam. Teknologin har bevisat sig, men nu behöver den en grad av ansvar. Använder anställda konsekvent dessa system? Förbättras besluten? Ökar förtroende och engagemang över tiden, eller urholkas de långsamt? När AI blir mer ingrupperat i dagliga arbetsflöden, kan nästa generations system behöva bli mycket mer medvetna om mänskligt beteende, uppmärksamhet, förtroende och avsikt om företag vill ha varaktig anpassning och mätbar ROI. Tills dess kommer “sista milen” troligen förbli en av de största utmaningarna i företags-AI-anpassning.