Mapa a kolejnice: Budování bezpečné architektury pro firemní AI

První část skončila tvrzením: firemní AI bude úspěšná, až když instituce naučí, jak budovat smyčku sama. Tento esej je o tom, na čem stojí smyčka. Agent pracující uvnitř skutečné společnosti potřebuje dvě věci, které společnost téměř jistě nemá dnes: mapu práce a kolejnice pro důsledky.

Mapa

Zde je nepříjemný fakt pod meisten zablokovanými AI programy: společnost nemůže agentovi předat popis své vlastní práce, protože takový popis neexistuje. Většina společností má zmapované své názvy — databáze plné zákazníků, faktur, reklamací, smluv. Skoro žádná z nich nezmapovala práci: co lze udělat s těmito věcmi, kým, za jakých podmínek a co se stane poté. Tato znalost žije v hlavách zkušených lidí a v procesním diagramu, který popisuje, jak práce byla navržena před pěti lety, ne jak běží dnes.

Nový lidský zaměstnanec uzavírá tuto mezeru prostřednictvím učňovství — pozorováním, pokusem, dotazem. Agent se takhle neučí. Potřebuje práci napsanou: věci, které společnost zpracovává, a kde každá z nich stojí, práce prováděná na nich, rozhodnutí, která zvolí další cestu, kdo je oprávněn věci posunout vpřed, a co se stane, když je posunou — záznam, který se mění, schválení, které potřebuje, způsob, jakým se zruší. Ten napsaný popis je mapa.

Tři pravidla udržují mapu živou. Musí být napsána lidmi, kteří vlastní práci, a zabezpečena inženýry — mapa, kterou mohou aktualizovat pouze inženýři, zestárne, a mapa, kterou mohou editovat pouze operátoři, se stane nebezpečnou. Musí být verzována, protože agent by neměl nikdy jednat proti významu, který se změnil potají. A musí být publikována — čitelná agentem, recenzentem a auditorem. Pokud agent musí objevit vaši firmu spojením API volání, máte vystavené systémy, ne popisované práce. API jsou tím, jak se věci provádějí. Mapa je tím, jak se práce chápe.

Mapa je důležitá z důvodu, který přetrvává každou produktovou cyklus: agent není trvalým aktivem. Mapa ano. Modely se zlepší a budou vyměněny, agentní rámce přijdou a půjdou — a popis vaší vlastní práce, s jeho pravidly a výjimkami a nahromaděnými opravami, je to, co každý budoucí agent zdědí v den jeden.

Kolejnice

Mapa říká, co se může stát. Kolejnice jsou tím, co to dělá přesně.

Něčí z práce, kterou agent dotýká, je úsudek: přečíst špinavý e-mail, zvážit výjimku, doporučit cestu. Ale většina z ní je opakování — stejná kontrola, stejná aktualizace, stejný příspěvek, tisícekrát. Opakování nepotřebuje inteligenci. Potřebuje být přesné. Model je pravděpodobnostní podle návrhu a pro provedení, pravděpodobně správný je špatný: příspěvek platby nemá žádné přijatelné rozdíly, bez ohledu na to, jak dobrý model je. Stabilní práce patří na kolejnice — deterministické automatizace, které běží stejným způsobem každým časem, nic nestojí na běh a zanechávají čistou auditní stopu.

Zde se dvě křivky rozcházejí. Budování kolejnic se stává snadnějším, protože popis práce, generování kódu, psaní testů a opravování rozbitých cest je přesně ten druh práce, který AI urychluje. Nasazování volně se pohybujících agentů uvnitř důsledkových procesů se nestává snadnějším stejným tempem, protože čím blíže se agent přiblíží k akci, tím více potřebuje hranice, důkazy, schválení, audit a vlastníky. Důsledek je těžký a zůstává těžký. Nechte agenty prozkoumat a nechte je pomoci vašim týmům naučit se práci — pak přesuňte každou cestu na kolejnice, jakmile přestane měnit. Nechte vysokovýkonnou, stabilní práci uvnitř pravděpodobnostní smyčky, protože agenti jsou módní.

Rižte podle důsledku

S mapou a kolejnicemi na místě, zbývá jedna otázka, než agent dotkne se skutečné práce: co by mělo být dovoleno? Průmysl má zvyk odpovídat v termínech potrubí — agent “používá nástroje” — jako by hledání politiky, výpočet variance, návrh dopisu, schválení faktury a platba byly jedním druhem věci. Není tomu tak. Model, který hledá politiku, není stejný jako model, který odmítá reklamaci. Model, který vypočítává částku, není stejný jako model, který platí. Čtení informací, přijímání postoje, příprava akce, změna záznamu a přesun peněz jsou různé druhy práce a rozdíl je důsledkem: co to stojí firmu, když krok je špatný.

Řízení by mělo následovat tuhle gradientu, ne potrubí. Práce, která pouze čte, potřebuje kontrolu přístupu. Práce, která doporučuje, potřebuje člověka, který skutečně rozhoduje. Práce, která mění záznam, potřebuje povolení, auditní stopu, způsob, jak ji zrušit, a jmenovaného vlastníka. Práce, která přesouvá peníze, potřebuje všechnu tuhle věc, plus záruku, že nedokončená změna nemůže nechat firmu ve stavu, který je prostě špatný. Řízení podle důsledku a bezpečné použití AI se rychle otevírají; řízení všeho stejným způsobem vede k paralýze nebo incidentu.

Důvěra je získána pracovním postupem

Tentýž gradient je také tím, jak důvěra roste. S mapou a kolejnicemi se důvěra přestává být pocitem o modelu a stává se vlastností práce. Pracovní postup — jeden popsán kus podnikání, s jeho branou z první části — získá povolení krok za krokem, stoupající stejným gradientem: nejprve pouze návrh, pak může doporučit, pak může připravit akci, kterou člověk schválí, pak může provést rutinní případy a eskalovat výjimky a nakonec běží pod auditem, s lidmi, kteří sledují výsledky místo klikání na každý případ.

Každý krok nahoru je ziskán s důkazy z brány — prohlíženými rozhodnutími, opravami, důvody — a každý krok dolů je automatický, když výkon klesá. Lepší model nezískává práva akce.

Nepropagujte model. Propagujte pracovní postup.

Začněte s jedním pracovním postupem

Nic z toho nevyžaduje firemní program a neměl by začínat jako jeden. Vyberte jeden důsledkový pracovní postup s reálným objemem, reálnou chybou a vlastníkem, který ho chce opravit. Zmapujte ten kus práce. Dejte jeho stabilní kroky na kolejnice. Nastavte jeho bránu. Pak zkontrolujte popis proti devíti jednoduchým otázkám:

• Jaké obchodní objekty se pohybují?
• Kde stojí každá z nich právě teď?
• Jaká práce se provádí?
• Jaké rozhodnutí zvolí další cestu?
• Co se stane, když je to schváleno?
• Co může agent použít?
• Co běží automaticky?
• Kdo navrhuje, kdo schvaluje, kdo provádí, kdo je zodpovědný?
• Co se změní, když něco půjde špatně, před dalším spuštěním?

Pokud lidé, kteří vlastní práci, mohou odpovědět na tyto devět otázek pro jeden pracovní postup, agent může pracovat uvnitř něj bezpečně — navrhnout, být ověřen a nechat kolejnice provést. Pokud ne, žádná kvalita modelu nezachrání nasazení.

Neúspěchy jsou právě tak rozpoznatelné jako vzorec. Chatbot s přístupem k citlivým systémům, ale bez mapy práce. Vrstva pro vyhledávání, která odpovídá na otázky politiky, ale nemůže ukázat zdroj politiky. Agent, který může schválit práci, ale nemůže říci, kdo vlastní schválení. Recenzent, který vidí doporučení, ale ne důsledky schválení. Pracovní postup, který byl povýšen na autonomii, protože se model zlepšil, ne protože pracovní postup získal důvěru.

Mapa, kolejnice a brána: to je architektura. Zbývající otázka je, jak ji postavit v jednom pracovním postupu — a to je třetí část.