Jak jsem přenesl své znalosti do systémů AI, které mohou skutečně učinit rozhodnutí jako lidské odborníky

Když jsem opustil Microsoft a pokračoval v práci s podniky na jejich nasazení AI, stále jsem viděl, že většina systémů AI, které lidé považovali za zajímavé, nemohla skutečně učinit rozhodnutí s opravdovým lidským úsudkem. Samozřejmě, že mohli psát, shrnovat a produkovat pozoruhodně plynulý text, který zněl jako rozhodnutí, ale když jste tyto systémy umístili do skutečného provozního prostředí, kde jsou kompromisy, nejistota, neúplné instrukce a skutečné důsledky, rychle selhávají. To odpovídá údajům z projektu MIT Project NANDA, které ukazují, že zatímco 60 % organizací vyhodnotilo nástroje AI, pouze 20 % dosáhlo fáze pilotního projektu a pouze 5 % dosáhlo produkční fáze. Jinými slovy, odvětví se potýká s vytvořením systémů, které mohou skutečně fungovat v reálných pracovních postupech.

V podnikatelském prostředí, zejména v oblastech, jako je dodavatelský řetězec, výroba a provoz, není problém získat odpověď; je to vědět, které odpovědi důvěřovat, které proměnné jsou nejdůležitější a co se pravděpodobně zhroutí, pokud se rozhodnete špatně. Z mého pohledu je to otázka odbornosti a úsudku.

Abychom byli jasný, AI dosáhla mimořádných pokroků ve výrobě lepší výstupu. Ale lepší výstup není totéž jako lepší rozhodnutí. Tyto jsou dva různé milníky a myslím, že odvětví strávilo mnoho času tím, že je považovalo za zaměnitelné.

Chybějící odbornost a úsudek jsou důvodem, proč jsem se začal zajímat o vytváření AI, které mohou lidské odborníky naučit učinit komplexní rozhodnutí způsobem, jakým to dělají. AI by neměly být pouze o automatizaci úkolů, ale o efektivní a bezpečné přenosu lidského úsudku do AI, které mohou fungovat.

Velké jazykové modely (LLM) mluví jako rozhodovací činovníci, ale nejsou jimi

Neexistuje žádná pochyba o tom, že LLM jsou užitečné, ale nejsou samy o sobě systémy pro rozhodování. Jsou to předpovědní systémy zabalené v jazyce. A jazyk je přesvědčivý, což je část problému. Pokud systém může vysvětlit sám sebe plynule, snadno přeháníme, co rozumí. Položíte mu obchodní otázku, poskytne vám strukturovanou odpověď s kompromisy, výjimkami a pěkným shrnutím na konci, což dělá dojem, že je chytřejší, než ve skutečnosti je. Znějící koherentně a být operačně kompetentní nejsou totéž, a to je místo, kde mnoho podnikatelských AI selhává. Modely mohou říci, co zní jako dobré rozhodnutí, aniž by měly jakékoli pochopení toho, co dělá rozhodnutí dobrým pod tlakem, časem nebo v kontextu. To je jeden z důvodů, proč mnoho organizací má potíže s přechodem za hranice experimentování. Gartner zjistil, že alespoň 50 % projektů generativní AI je opuštěno po důkazech konceptu, dlouho předtím, než dodají skutečný provozní dopad, často kvůli nejasné hodnotě a kontrolám rizik.

Informace nejsou totéž jako odbornost

Jedna z nejjednodušších pastí, do které lze s AI spadnout, je předpoklad, že pokud systém má dostatek informací, měl by být schopen fungovat jako odborník. Zní to rozumně, ale když o tom přemýšlíme v našem každodenním životě, zvýšení našich informací o něčem automaticky nedělá z nás odborníky. Můžete přečíst každý letecký manuál a stále nemusíte být připraveni přistát letadlo. Můžete zapamatovat si každou nejlepší praxi v dodavatelském řetězci a stále můžete zamrznout, když se tři věci pokazí najednou.

Mohl bych pokračovat, ale pointa je, že informace se nerovnají schopnostem. Schopnosti pocházejí z expérience, konkrétně z opakovaného vystavení se složitým situacím, kde odpověď není zjevná.

Každý den vidím, že většina dnešních systémů AI je trénována na statických příkladech. To je všechno užitečné pro předpovědi, ale to je pouze malá část rozhodování. Podniky nejsou chudé na data, ale potřebují strukturovaná prostředí pro praxi, což znamená poskytnout systémy prostředí, kde mohou opakovaně:

• Setkat se s realistickými scénáři
• Dělat volby
• Vidět, co se stane
• Získávat zpětnou vazbu
• Zlepšovat se časem

AI lze trénovat pomocí prediktivních algoritmů, ale tento přístup má omezení. Co je potřeba dále, je AI, které lze trénovat v simulovaném prostředí s lidským dohledem. Nazývám to učení strojů, metodologií, která rozkládá komplexní rozhodnutí na scénáře a dovednosti, poskytující průvodce pro lidské odborníky, aby učili AI prostřednictvím simulace. Výsledná zpětná vazba a pokusy a omyly nakonec umožňují agentům učit se a jednat s opravdovou autonomií přímo od lidí, kteří vytvořili tyto procesy.

Přestaňte behandovat AI jako monolit

Jinou chybou, kterou často vidím, je předpoklad, že jeden velký model by měl nějak dělat všechno. Žádný basketbalový tým nesestává pouze z jedné osoby. Žádná továrna není řízena jednotlivcem. Komplexní systémy fungují, protože různé komponenty dělají různé úkoly a existuje struktura, která je drží pohromadě.

AI by měly být postaveny stejným způsobem. Nemyslím si, že dlouhodobá budoucnost podnikatelského rozhodování spočívá v jednom velkém modelu uprostřed společnosti, který se tváří, že je univerzálně kompetentní. Je mnohem pravděpodobnější, že to bude vypadat jako týmy specializovaných agentů.

Jeden agent by mohl být odborníkem na získání dat. Další je lepší v hodnocení scénářů. Další zpracovává plánování. Jeden kontroluje soulad nebo chyby. Další funguje více jako dozor, rozhodující, kdy eskalovat nebo kdy je důvěra příliš nízká, aby pokračovala. Architektura týmu má mnohem více smysl, protože mapuje, jak skutečné organizace skutečně fungují a odpovídá širším tržním trendům. Zjištění McKinsey potvrzují, že organizace získávají nejvíce hodnoty z AI, když přebudovávají pracovní postupy a provozní struktury kolem ní.

Ne všechna rozhodnutí se dělají stejným způsobem a často předpokládáme, že stejný model, stejná data a stejný typ uvažování mohou zvládnout vše. Ve skutečnosti vyžadují různá rozhodnutí různé mechanismy.

Čtyři způsoby, kterými se rozhodnutí skutečně dějí

Z mé zkušenosti většina rozhodnutí spadá do několika kategorií:

1. Řídicí systémy (pravidla a vzorce): Rozhodnutí jsou učiněna aplikováním předem definovaných rovnic nebo pravidel na známé vstupy. Pokud se stane X, udělejte Y.
2. Vyhledávání a optimalizace: Rozhodnutí jsou učiněna vyhodnocením mnoha možných voleb a výběrem nejlepší na základě definovaného cíle.
3. Učení se posilováním (pokusy a omyly): Rozhodnutí jsou naučena časem tím, že se činí akce, pozorují se výsledky a upravují se na základě odměny nebo trestu.
4. Praxe a zkušenost (lidské učení): Rozhodnutí jsou formována prostřednictvím opakovaného vystavení, řízené zpětné vazby a nahromaděného úsudku v reálných scénářích.

Většina podnikatelské AI funguje dobře v prvních dvou kategoriích. Třetí a čtvrtá kategorie jsou náročnější pro AI, protože tam žije lidský úsudek.

Autonomie bez struktury je riziko

Kdykoli lidé mluví o autonomní AI, konverzace se obvykle rozdělí do dvou extrémů. Jedna strana si myslí, že systémy jsou prakticky magické a připravené řídit vše. Druhá strana se chová, jako by nikdy neměly být důvěřovány ničemu významnému.

Nemyslím si, že žádný z těchto pohledů je užitečný. Měli bychom se soustředit na autonomii ve struktuře, protože autonomie bez dohledu, logiky eskalací, hranic nebo odpovědnosti je hlavní zdroj rizika. Obavy z rizika se nyní objevují častěji, včetně konverzací ovlivněných snahami, jako je Rámcová smlouva o řízení rizik AI Národního úřadu pro standardy a technologii, která odráží, jak vážně organizace berou otázky dohledu, odpovědnosti a provozní důvěry.

Budoucnost podnikatelské AI spočívá v týmech agentů. Organizace, které získávají nejvíce hodnoty z AI, nebudou ty, které automatizují nejvíce slov. Jsou to ty, které zjistí, jak přenést skutečnou odbornost do systémů, které mohou fungovat, když se prostředí stane složitým. To, z mého pohledu, je rozdíl mezi AI, které vypadají působivě, a AI, které se skutečně stanou užitečnými, produkcí skutečného ROI.