CIO potřebují lepší způsob, jak vyhodnotit práci AI a její náklady v IT

Poslední dva roky mají CIO jednoduchý cíl pro AI v IT: zavést ji do organizace, nechat týmy experimentovat a zjistit, kde může zlepšit poskytování služeb.

IT organizace nakoupily licence, spustily piloty a přidaly AI funkce do již přeplněných softwarových stacků. To dávalo smysl, když týmy stále zjišťovaly, co AI dokáže. Nyní jsou tyto výdaje součástí reálných rozpočtů a finanční ředitelé chtějí vědět, co společnost za své peníze získává.

Problém je, že mnoho čísel, která CIO používají k měření AI, na tuto otázku neodpovídá. CIO mohou ukázat, kolik zaměstnanců AI používá, jak často ji používají a kolik času podle nich ušetří. Finanční oddělení chce vědět, zda společnost utratila méně peněz, zvládla více práce nebo se vyhnula najímání dalších lidí.

Ušetřit zaměstnanci pět hodin týdně zní cenně, ale společnost stále potřebuje vědět, co se s těmi pěti hodinami stalo. Pokud zaměstnanec zvládne více práce, nebo tým může podpořit rostoucí pracovní zátěž bez najímání další osoby, může společnost vidět finanční výsledek. Pokud se nic jiného nezmění, úspory času se možná nikdy neobjeví v rozpočtu.

Jak společnosti utrácejí více na AI, CIO potřebují být mnohem konkrétnější ohledně práce, kterou AI vykonává, a jaké jsou náklady na tuto práci.

Ušetřený čas nutně neznamená ušetřené peníze

Mnoho výpočtů ROI AI začíná časem jako kritériem – tj. pokud AI ušetří zaměstnanci 30 minut denně, může společnost tyto minuty vynásobit tisíci zaměstnanci a získat velmi velké číslo.

Ale obchodní procesy zřídka fungují takto hladce. Práce přechází z jedné osoby na druhou, čeká na schválení a stojí ve frontách. Pokud AI ušetří deset minut na jedné části procesu a pak práce čeká šest hodin na někoho jiného, společnost nezískala deset minut užitečné kapacity.

Pro CIO je užitečnější otázka, zda AI mění výkonnost samotné služby. Pokud požadavky na přístup procházejí frontou rychleji, méně tiketů vyžaduje lidskou obsluhu nebo klesnou náklady na požadavek, IT může výsledek měřit pomocí stejných provozních ukazatelů, které již sleduje.

Aviva je dobrý příklad. Pojišťovna použila více než 80 AI modelů v rámci změn ve svém procesu likvidace škod a oznámila, že zkrátila dobu posuzování odpovědnosti o 23 dní a snížila počet stížností o 65 procent. Tato čísla říkají vedení, co se v provozu změnilo, a poskytují financím něco, co lze měřit.

CIO by měli uplatnit stejný přístup na své investice do AI. Před rozšířením pilotního projektu by měli vědět, kterou část podniku očekávají změnit a kolik práce musí AI převzít, aby k tomu došlo.

Práce, kterou AI dokončí, je lepší výchozí bod

Zvažte běžný požadavek na přístup v IT. Kopilot může shrnout tiket a připravit odpověď, zatímco IT agent kontroluje firemní politiku, ověřuje žadatele, získává schválení, mění oprávnění a uzavírá požadavek.

Kopilot může zaměstnanci ušetřit několik minut, ale většina práce stále patří zaměstnanci.

Nyní zvažte AI systém, který může kontrolovat požadavek vůči firemní politice, shromažďovat chybějící informace, směrovat požadavek ke schválení a provést změnu, jakmile schválení obdrží. IT může vidět, kolik požadavků AI systém dokončí, jak často musí zaměstnanec zasáhnout a kolik lidské práce každý požadavek stále vyžaduje.

To poskytuje CIO mnohem jasnější způsob, jak vyhodnotit práci AI a její náklady. Místo odhadování, kolik minut technologie ušetřila, mohou měřit, kolik práce dokončila a jaké byly náklady na dokončení této práce.

Stejný přístup lze použít na zaškolení nových zaměstnanců, interní podporu a reakci na incidenty. Důležitá část je dát AI odpovědnost za práci, které společnost již rozumí a ví, jak ji měřit.

Ale musíte také započítat lidskou práci

AI systém může zahájit 1 000 požadavků na zaškolení a vyžadovat, aby se do 600 z nich zapojil zaměstnanec. Označit všech 1 000 za automatizované by managementu poskytlo nesprávný obrázek o tom, kolik práce AI skutečně zvládla.

Tyto zásahy stojí peníze. Pokud agent pracuje na požadavku několik minut a poté jej předá zaměstnanci, který stráví dalších dvacet minut jeho dokončením, těchto dvacet minut patří do nákladů procesu.

To znamená, že IT potřebuje záznam o tom, co se během každé úlohy stalo. Potřebuje vědět, co AI udělala, ke kterým systémům přistoupila, kde potřebovala schválení, kdy se zaměstnanec zapojil a zda byla práce skutečně dokončena. Tyto záznamy mohou sloužit jako podklad pro tradiční ukazatele centra podpory, jako je průměrná doba řešení, a zároveň přidat ukazatele, které jsou pro AI specifické, včetně míry zásahů a nákladů na dokončený úkol.

Bezpečnostní týmy potřebují podobné informace, když se něco pokazí. Pokud AI systém změní nesprávné oprávnění nebo provede akci, kterou neměl provést, musí rekonstruovat, co se stalo, a pochopit proč.

Uchovávání takového záznamu poskytuje CIOům způsob, jak měřit obě strany investice. Mohou vidět náklady na provoz AI i lidskou práci, která je stále potřebná k dohledu nad její činností a k jejímu dokončení.

Jak míra odpovědnosti AI ovlivňuje ekonomiku

CIOové také musí rozhodnout, kolik pravomocí jsou ochotni AI udělit.

AI systém s omezenými oprávněními může vyžadovat, aby zaměstnanec schválil mnoho jeho akcí. To udržuje člověka v procesu, ale zároveň znamená, že společnost nadále platí za více lidské práce.

Poskytnutí systému větší pravomoci může umožnit, aby sám dokončil více úkolů, ale zároveň přináší IT větší riziko, které je třeba řídit. Systém, který dokáže vytvořit účet nebo změnit oprávnění, může při chybě způsobit větší škodu než ten, který jen doporučuje, co by měl zaměstnanec udělat. Náklady mohou také nečekaně vzrůst, když se agent zasekne v cyklu, opakovaně provádí stejný úkol nebo spotřebuje výpočetní výkon kvůli příliš vágnímu pokynu. Tato selhání patří také do ekonomické rovnice.

Společnosti tuto hranici vymezí různě podle povahy práce. Pro výpočet ROI je podstatné vědět, kde hranice leží a kolik lidské účasti to vyvolá.

Pokud AI systém dokáže bezpečně dokončit 90 % procesu, jeho ekonomika může vypadat naprosto odlišně od systému, který potřebuje zaměstnance v každém druhém kroku.

Začněte s prací, která už stojí peníze

CIOové, kteří plánují další kolo výdajů na AI, by měli začít s prací, která již spotřebovává značné množství času nebo kapacitu zaměstnanců.

Požadavky na přístup, onboarding zaměstnanců, reakce na incidenty a interní podpora poskytují IT konkrétní měřítko. Společnost už přibližně ví, kolik požadavků zpracovává, kolik času zaměstnanců vyžadují a kde práce často uvízne.

Na základě toho může IT určit, které části může AI bezpečně převzít a kde je stále potřeba zapojení zaměstnance. Pak může rozhodnout, co od investice očekává.

Možná tým chce zpracovat o 30 % více tiketů bez najímání nových lidí. Možná chce snížit náklady na každý požadavek na přístup. Možná chce, aby zaměstnanci trávili méně času rutinní podporou, aby se mohli věnovat práci, která nyní leží v backlogu. Jakmile IT zná úplné náklady na dokončení úkolu s AI, včetně lidské intervence, může stanovit cílové náklady na tento úkol a rozhodnout, zda je automatizace skutečně výhodná.

Jakmile AI začne práci vykonávat, mohou CIOové porovnat, co očekávali, s tím, co se skutečně stalo. Vidí, kolik práce AI dokončila, jak často museli lidé zasáhnout a jaké jsou celkové náklady procesu.

To poskytuje CIOům mnohem jednodušší způsob, jak hovořit o výdajích na AI s finančním oddělením. Místo snahy přiřadit dolarovou hodnotu tisícům odhadovaných ušetřených minut mohou ukázat, jakou práci AI zvládla, kolik lidské práce stále vyžadovala a zda společnost utratila méně peněz na dosažení tohoto výsledku.