CIO:er behöver ett bättre sätt att redovisa AI-arbete i IT

Under de senaste två åren har CIO:er haft ett enkelt mål för AI inom IT: få in det i organisationen, låta team experimentera och se var det kan förbättra tjänsteleveransen.

IT-organisationer köpte licenser, körde pilotprojekt och lade till AI-funktioner i redan överbelastade mjukvarustaplar. Det var logiskt medan teamen fortfarande försökte lista ut vad AI kunde göra. Nu när utgifterna ligger i riktiga budgetar, och CFO:er vill veta vad företaget får för sina pengar.

Problemet är att många av de siffror som CIO:er använder för att mäta AI inte svarar på den frågan. CIO:er kan visa hur många anställda som använder AI, hur ofta de använder den och hur mycket tid de säger att den sparar dem. Ekonomiavdelningen vill veta om företaget spenderade mindre pengar, fick mer arbete gjort eller undvek att anställa fler personer.

Att spara fem timmar per vecka för en anställd låter värdefullt, men företaget måste fortfarande veta vad som hände med de fem timmarna. Om den anställde hanterar mer arbete, eller om teamet kan stödja en växande arbetsbelastning utan att anställa ytterligare någon, kan företaget se det finansiella resultatet. Om inget annat förändras kan tidsbesparingarna aldrig synas i budgeten.

När företag spenderar mer på AI måste CIO:er bli mycket mer specifika kring det arbete AI utför och vad det arbetet kostar.

Sparad tid betyder inte nödvändigtvis sparade pengar

Många AI-ROI-beräkningar börjar med tid som kriterium – dvs. om AI sparar en anställd 30 minuter per dag kan ett företag multiplicera dessa minuter över tusentals anställda och få ett mycket stort tal.

Men affärsprocesser fungerar sällan så smidigt. Arbete går från en person till en annan, väntar på godkännanden och sitter i köer. Om AI sparar tio minuter på en del av en process och arbetet sedan väntar sex timmar på någon annan, har företaget inte fått tio minuter av användbar kapacitet.

För CIO:er är den mer användbara frågan om AI förändrar tjänstens prestanda i sig. Om åtkomstbegäranden rör sig snabbare genom kön, färre ärenden kräver mänsklig hantering eller kostnaden per begäran minskar, kan IT mäta resultatet med samma operativa nyckeltal som redan följs.

Aviva är ett bra exempel. Försäkringsbolaget använde mer än 80 AI-modeller som en del av förändringar i sin skadehantering och rapporterade att de minskade tiden för ansvarsvärdering med 23 dagar och klagomålen med 65 procent. Dessa siffror visar ledningen vad som förändrades i verksamheten och ger ekonomifunktionen något att mäta.

CIO:er måste tillämpa samma tankesätt på sina AI-investeringar. Innan de utökar ett pilotprojekt bör de veta vilken del av verksamheten de förväntar sig att förändra och hur mycket arbete AI måste ta på sig för att detta ska ske.

Arbetet som AI slutför är en bättre startpunkt

Tänk på en vanlig IT-åtkomstbegäran. En copilot kan sammanfatta ärendet och utarbeta ett svar, medan en IT-agent kontrollerar företagets policy, verifierar den som begär, får godkännande, ändrar behörigheten och avslutar begäran.

Copoloten kan spara några minuter för den anställde, men det mesta av arbetet tillhör fortfarande den anställde.

Tänk nu på ett AI-system som kan kontrollera begäran mot företagets policy, samla in saknad information, skicka begäran för godkännande och göra ändringen när godkännandet erhållits. IT kan se hur många begäranden AI-systemet slutför, hur ofta en anställd måste ingripa och hur mycket mänskligt arbete varje begäran fortfarande kräver.

Det ger CIO:er ett mycket tydligare sätt att redovisa AI. Istället för att uppskatta hur många minuter tekniken sparade kan de mäta hur mycket arbete den slutförde och vad det kostade att slutföra det arbetet.

Samma tillvägagångssätt kan tillämpas på anställningsintroduktion, intern support och incidentrespons. Det viktiga är att ge AI ansvar för arbete som företaget redan förstår och vet hur man mäter.

Men du måste också räkna med det mänskliga arbetet

Ett AI-system kan påbörja 1 000 introduktionsbegäranden och kräva att en anställd ingriper i 600 av dem. Att kalla alla 1 000 för automatiserade skulle ge ledningen en felaktig bild av hur mycket arbete AI faktiskt hanterade.

Dessa ingripanden kostar pengar. Om en agent arbetar med ett ärende i flera minuter och sedan överlämnar det till en anställd som spenderar ytterligare tjugo minuter på att slutföra det, bör de tjugo minuterna räknas med i processens kostnad.

Det betyder att IT behöver en logg över vad som hände under varje jobb. Det behöver veta vad AI gjorde, vilka system det nådde, var det behövde godkännande, när en anställd ingripade och om arbetet faktiskt slutfördes. Dessa loggar kan mata in i traditionella servicedesk-mått såsom medeltid till lösning, samtidigt som de lägger till mått som är specifika för AI, inklusive interventionsfrekvens och kostnad per slutfört uppdrag.

Säkerhetsteam behöver i stor utsträckning samma information när något går fel. Om ett AI‑system ändrar fel behörighet eller vidtar en åtgärd som det inte skulle ha gjort, måste de återskapa vad som hände och förstå varför.

Att behålla den registreringen ger CIO:er ett sätt att mäta båda sidorna av investeringen. De kan se kostnaden för att driva AI:n och den mänskliga arbetskraft som fortfarande krävs för att övervaka och slutföra dess arbete.

Hur mycket ansvar AI får påverkar ekonomin

CIO:er måste också besluta hur mycket befogenhet de är villiga att ge AI.

Ett AI‑system med begränsade behörigheter kan behöva att en anställd godkänner många av dess åtgärder. Det håller en person involverad, men det innebär också att företaget fortsätter betala för mer mänsklig arbetskraft.

Att ge systemet mer befogenhet kan göra det möjligt att slutföra mer arbete på egen hand, men det ger också IT mer risk att hantera. Ett system som kan skapa ett konto eller ändra en behörighet kan orsaka mer skada när det gör ett misstag än ett som bara kan rekommendera vad en anställd bör göra. Kostnaden kan också oväntat öka när en agent fastnar i en slinga, upprepar samma uppgift eller förbrukar beräkningsresurser eftersom en instruktion var för vag. Dessa fel bör också räknas in i ekonomin.

Företag kommer att dra den linjen på olika sätt beroende på vilket arbete som är involverat. Det som är viktigt för ROI‑beräkningen är att veta var linjen går och hur mycket mänsklig inblandning den skapar.

Om ett AI‑system säkert kan slutföra 90 procent av en process kan dess ekonomi se mycket annorlunda ut jämfört med ett system som behöver en anställd varannan steg.

Börja med arbete som redan kostar pengar

CIO:er som planerar sin nästa AI‑utgift bör börja med arbete som redan förbrukar betydande tid eller personal.

Åtkomstförfrågningar, onboarding av anställda, incidentrespons och intern support ger IT något konkret att mäta. Företaget vet redan ungefär hur många förfrågningar det hanterar, hur mycket anställdas tid de kräver och var arbetet tenderar att fastna.

Utifrån detta kan IT avgöra vilka delar AI kan hantera säkert och var en anställd fortfarande behöver bli involverad. Därefter kan de bestämma vad de förväntar sig att investeringen ska uppnå.

Kanske vill teamet hantera 30 procent fler ärenden utan att anställa. Kanske vill de sänka kostnaden för varje åtkomstförfrågan. Kanske vill de att anställda ska spendera mindre tid på rutinstöd så att de kan ta hand om arbete som för närvarande ligger i en kö. När IT känner till den fullständiga kostnaden för att slutföra en uppgift med AI, inklusive mänsklig intervention, kan de sätta ett målpris för den uppgiften och avgöra om automatisering verkligen är värt det.

När AI börjar utföra arbetet kan CIO:er jämföra vad de förväntade sig med vad som faktiskt hände. De kan se hur mycket arbete AI slutförde, hur ofta människor var tvungna att ingripa och vad hela processen kostade.

Det ger CIO:er ett mycket enklare sätt att diskutera AI‑utgifter med ekonomifunktionen. Istället för att försöka sätta ett dollaranpris på tusentals uppskattade sparade minuter kan de visa vilket arbete AI hanterade, hur mycket mänsklig arbetskraft som fortfarande krävdes och om företaget spenderade mindre pengar för att få arbetet gjort.