Člověk v smyčce není governance

Zjevná odpověď na riziko AI je “umístit člověka do smyčky.” Ale tento výraz skrývá tvrdou realitu.

Člověk ve smyčce funguje pouze tehdy, pokud je smyčka navržena. Jinak se člověk stává jedním ze tří selhání:

• Úzkým místem, protože kontrola výstupu AI trvá stejně dlouho jako ruční provedení práce.
• Gumovým razítkem, protože recenzent je přetížený, nemůže vidět důkazy, nerozumí obchodnímu kontextu a klikne na schválit, aby udržoval frontu v pohybu.
• Nebo třetí selhání: zóna zhroucení. Přidáním člověka do smyčky instituce označuje osobu zodpovědnou, ale nedává této osobě skutečnou kontrolu, čas, pravomoc, schopnost zastavit systém a žádnou cestu ke změně následujícího běhu. Důsledek dopadá na člověka, zatímco rozhodovací podklad zůstává nezměněn.

Tady je místo, kde se většina konverzace o podnikovém AI går špatně. Mluvíme o tom, zda by člověk měl kontrolovat práci, ale ne o tom, jak je tato kontrola navržena. Předpokládáme, že přidání člověka vytváří governance. To není pravda. Governance závisí natom, zda recenzent má smysluplnou kontrolu, smysluplnou viditelnost a schopnost zlepšit systém po rozhodnutí.

Kontrola člověka je cenná, ale pouze tehdy, pokud je umístěna tam, kde je důležité soudit a podporována dostatečným kontextem, aby toto soudění bylo smysluplné.

Ověřovací brána je více než kontrolní krok

Brána není tlačítko pauzy. Je to ověřovací rozhraní.

Když agent nebo automatizace vytvoří návrh – návrh odpovědi, doporučené akce, klasifikace, autorizace platby, směrování případu, balíček odmítnutí – recenzent by měl okamžitě pochopit, co se má stát a proč.

Skutečná ověřovací brána musí ukázat, co je důležité: navrhovanou akci; zdroje, které ji podporují; pravidla, která byly zkontrolována; obchodní přechod, který nastane; pravomoc, která je použita; záznam auditu, který bude napsán; nejistotu nebo výjimku, která spustila kontrolu; a dostupné možnosti: schválit, upravit, odmítnout nebo eskalovat.

Každý z těchto prvků existuje z důvodu. Navrhovaná akce vysvětluje, co systém chce udělat. Podpůrné důkazy vysvětluje proč. Pravidla a pravomoc ukazují, zda doporučení odpovídá firemní politice. Nejistota říká recenzentovi, proč práce dospěla k člověku. Společně mění kontrolu z náhody na ověření.

Pokud recenzent musí ručně rekonstruovat vše, brána není postavena.

Cílem brány není pouze zastavit chyby předtím, než nastanou. Jejich druhým účelem je zachytit institucionální soud.

Tady začíná podniková nasazení získávat na významu. Každé skutečné rozhodnutí o schválení, úpravě, odmítnutí nebo eskalaci zachytí institucionální soud – ale pouze pokud brána zachytí proč.

Schválení nejsou data, ale ověření jsou.

Gumové razítko nezachytí nic užitečného. Kontrolované, upravené, odmítnuté nebo eskalované rozhodnutí s kódem důvodu zachytí signál, ze kterého může následující verze systému se učit. Pokud recenzent klikne na schválit bez pohledu, systém se nic neučí. Pokud recenzent upraví, odmítne, eskaluje a dá důvod, instituce zachytí soud.

V průběhu času se tyto soudy stávají jednou z nejcennějších aktiv organizace. Odhalují, kde jsou politiky nejasné, kde pracovní postupy pravidelně selhávají, kde výjimky nastávají nejčastěji a kde by automatizace měla být více sebevědomá – nebo více omezená. Cílem není pouze automatizovat více práce. Je to zlepšit kvalitu budoucích rozhodnutí zachycením, jak zkušení lidé uplatňují soud dnes.

Zodpovědnost vyžaduje více než pouze jmenovaného vlastníka

Tento rozdíl mění, jak by organizace měly uvažovat o zodpovědnosti.

Brána není dostatečná. Jmenovaný vlastník není dostatečný. Záznam auditu není dostatečný.

Zodpovědnost vyžaduje příjem důsledku: chyba musí dopadnout tam, kde lze změnit budoucí chování.

Před nasazením AI do významné práce by organizace měly položit pět otázek:

1. Kdo obdrží důsledky, pokud tato akce je špatná?
2. Měl ten člověk nebo systém smysluplnou kontrolu před akcí?
3. Může zodpovědný vlastník kontrolovat, omezovat, přepsat nebo zastavit agenta nebo automatizaci?
4. Je odpovědnost proporcionální ke kontrole, kterou vlastník skutečně měl?
5. Co se změní před dalším během: dovednost, pravidlo, oprávnění, pracovní postup, automatizace, ověřovací brána, kód důvodu, školení nebo třída důvěry?

Lidská brána bez smysluplné kontroly není governance. Je to zóna zhroucení.

Smyčka není uzavřena, dokud zachycený soud nezmění něco: dovednost, pravidlo, oprávnění, práh eskalace, automatizaci, test, rozhraní pro kontrolu, plán školení, vzorek auditu nebo třídu důvěry. Důsledek, který nezmění následující běh, je pouze incident, ne učení. Organizace se zlepšují, když každá významná kontrola změní následující verzi systému, ať už tím, že upřesní politiku, zpřísní oprávnění, zlepšuje automatizaci nebo posiluje ověřovací zkušenost sama o sobě.

Bezpečnostní prvky zabraňují selhání. Hodnocení buduje důvěru.

Organizace také potřebují rozlišovat mezi bezpečnostními prvky a hodnocením. Řeší různé problémy, které potřebují řešení.

1. Bezpečnostní prvky vynucují chování při běhu. Kontroly schémat, blokování nebezpečných parametrů, kontroly oprávnění, redakce PII, obrana proti vstřikování příkazů a omezení použití nástrojů existují, aby zabránily nebezpečnému chování předtím, než nastane.
2. Hodnocení měří výkon v průběhu času. Examinují kvalitu, drift, výběr nástrojů, kvalitu eskalace, náklady, latenci a dodržování politiky. Říkají organizaci, zda systém pokračuje ve zasloužení důvěry.

Jeden chrání současné rozhodnutí. Druhý zlepšuje budoucí rozhodnutí.

Bezpečnostní prvky a hodnocení slouží různým účelům, a stejně tak lidé, kteří za ně zodpovídají. Platforma vynucuje politiku. Operátoři hodnotí výsledky. Společně vytvářejí zpětnou smyčku, která umožňuje systému zlepšovat se bez obětování governance.

Systém načte politiku, záznam o nároku, podpůrné dokumenty, předchozí případy a firemní playbook. Připraví balíček pro triáž, navrhuje závažnost, identifikuje chybějící důkazy a otevře podřízený případ, pokud pravidla vyžadují. Adjuster vidí navrhovaný pohyb, podpůrné důkazy, kód důvodu, záznam auditu a důsledky schválení. Místo rekonstrukce případu z více systémů může recenzent soustředit na ověření doporučení samotného. Teprve po ověření automatizace aktualizuje případ, vydává platbu, žádá o další dokumentaci nebo uzavírá práci.

Pracovní postup pro nároky demonstruje, jak to funguje v praxi. Agent si nevzpomněl na proces. Jednal uvnitř zveřejněné mapy.

Architektura by měla následovat práci

Tento princip platí bez ohledu na to, jak je práce sama organizována. Ne každý podnikový problém má stejný tvar, a governance by tomu měla odpovídat. Některé práce začínají cílem. Některé začínají případem; některé začínají stabilním pracovním postupem. Architektura by měla následovat práci, ne naopak.

Nasazení vedené cílem začíná výsledkem, nikoli předepsanou cestou. Vyřešit tuto eskalaci zákazníka. Snížit riziko odchodu na tomto účtu. Prošetřit tento signál podvodu. Připravit tento plán obnovení. Cíl je jasný, ale cesta se může změnit, jakmile jsou k dispozici nové informace. Hlavní agent rozloží práci, použije schválené agenty a nástroje, vyvolá schválenou automatizaci a přiřadí lidskou práci v rámci řízených hranic. Jeho silnou stránkou je adaptabilita. Jeho riziko je, že adaptabilita bez jasných omezení se stává nepředvídatelností.

To je důvod, proč pružné systémy vyžadují silnější governance, ne méně. Čisté hranice pracovního postupu, oprávnění automatizace, práva rozhodnutí, záznamy auditu a pravidla eskalace se stávají důležitějšími, jakmile se AI stává více schopným. Čím více svobody má agent k určení své vlastní cesty, tím pečlivěji musí instituce definovat hranice, ve kterých může operovat.

Podnikový AI nebude úspěšný, protože každé rozhodnutí má někde ve smyčce člověka.

Bude úspěšný, protože instituce se naučí budovat smyčku samu.