Myslitelé
Jak jsem přenesl své znalosti do systémů AI, které mohou skutečně učinit rozhodnutí jako lidské odborníci
Když jsem opustil Microsoft a pokračoval v práci s podniky na jejich nasazování AI, stále jsem viděl, že většina systémů AI, které lidé považovali za zajímavé, nemohla skutečně učinit rozhodnutí s opravdovým lidským úsudkem. Samozřejmě, že mohli psát, shrnovat a produkovat pozoruhodně plynulý text, který zněl jako rozhodnutí, ale když jste tyto systémy umístili do skutečného provozního prostředí, kde jsou kompromisy, nejistota, neúplné instrukce a skutečné důsledky, rychle selhávají. To odpovídá údajům z projektu MIT NANDA, které ukazují, že zatímco 60 % organizací vyhodnotilo nástroje AI, pouze 20 % dosáhlo fáze pilotního projektu a pouze 5 % dosáhlo produkční fáze. Jinými slovy, průmysl se potýká s tím, aby vytvořil systémy, které mohou skutečně fungovat v reálných pracovních postupech.
V podnikatelském prostředí, zejména v oblastech, jako je dodavatelský řetězec, výroba a provoz, není problém získat odpověď; je to vědět, které odpovědi důvěřovat, které proměnné jsou nejdůležitější a co se pravděpodobně pokazí dále, pokud se rozhodnete špatně. Z mého pohledu je to otázka odbornosti a úsudku.
Chci být jasný, AI dosáhla mimořádných pokroků ve výrobě lepších výstupů. Ale lepší výstup není totéž jako lepší rozhodnutí. Tyto jsou dva různé milníky a myslím, že průmysl strávil hodně času tím, že je považoval za vzájemně zastupitelné.
Nedostatek odbornosti a úsudku je důvodem, proč jsem se začal zajímat o budování AI, které mohou lidské odborníci naučit učinit komplexní rozhodnutí způsobem, jakým je dělají. AI by nemělo být pouze o automatizaci úkolů, ale o efektivní a bezpečné přenosu lidského úsudku do AI, které vydrží.
Velké jazykové modely (LLM) mluví jako rozhodovací orgány, ale nejsou
Není pochyb o tom, že LLM jsou užitečné, ale nejsou z výchozího nastavení systémy pro rozhodování. Jsou to předpovědní systémy zabalené v jazyce. A jazyk je přesvědčivý, což je část problému. Pokud systém může vysvětlit sám sebe srozumitelně, snadno přeháníme, co rozumí. Položíte mu obchodní otázku, poskytne vám strukturovanou odpověď s kompromisy, výjimkami a pěkným shrnutím na konci, což dělá dojem, že je chytřejší, než ve skutečnosti je. Znějící koherentně a být provozně kompetentní nejsou totéž a tohle je místo, kde mnoho podnikových AI selhává. Modely vám mohou říci, jak zní dobré rozhodnutí, aniž by měly jakékoli pochopení toho, co dělá rozhodnutí dobrým pod tlakem, časem nebo v kontextu. To je jeden z důvodů, proč mnoho organizací zápasí s tím, aby šly za hranice experimentování. Gartner zjistil, že alespoň 50 % projektů generativní AI je opuštěno po programech prokazujících koncept, dlouho předtím, než dodají skutečný provozní dopad, často kvůli nejasné hodnotě a kontrolám rizik.
Informace nejsou totéž jako odbornost
Jedna z nejjednodušších pastí, do které je snadné spadnout s AI, je předpoklad, že pokud má systém dostatek informací, měl by být schopen fungovat jako odborník. Zní to rozumně, ale když o tom přemýšlíte v našem každodenním životě, zvýšení našich informací o něčem nás automaticky nečiní odborníky. Můžete přečíst každý letecký manuál a stále nemusíte být připraveni na přistání letadla. Můžete zapamatovat si každou nejlepší praxi v dodavatelském řetězci a stále můžete zamrznout, když se tři věci pokazí najednou.
Mohl bych pokračovat, ale pointa je, že informace nejsou totéž jako schopnost. Schopnost pochází z zkušeností, konkrétně z opakovaného vystavení složitým situacím, kde odpověď není zřejmá.
Každý den vidím, že většina dnešních systémů AI je trénována na statických příkladech. To je všechno užitečné pro vytváření předpovědí, ale to je pouze malá část rozhodování. Podniky nejsou zásadně chudé na data, ale potřebují strukturovaná prostředí pro praxi, což znamená poskytnout systémům prostředí, kde mohou opakovaně:
- Setkat se s realistickými scénáři
- Dělat volby
- Vidět, co se stane
- Získávat zpětnou vazbu
- Zlepšovat se časem
AI lze trénovat pomocí prediktivních algoritmů, ale tento přístup má omezení. Co je potřeba dále je AI, které lze trénovat v simulovaném prostředí s lidským dohledem. Nazývám to učení strojů, metodiku, která rozkládá komplexní rozhodnutí na scénáře a dovednosti, poskytující průvodce pro lidské odborníky, aby učili AI prostřednictvím simulace. Výsledná zpětná vazba a pokusy a omyly nakonec umožňují agentům učit se a jednat s opravdovou autonomií přímo od lidí, kteří vytvořili tyto procesy.
Přestaňte zacházet s AI jako s monolitem
Jinou chybou, kterou často vidím, je předpoklad, že jeden velký model by měl nějak udělat vše. Žádný basketbalový tým se neskládá pouze z jedné osoby. Žádná továrna není řízena jednotlivcem. Složité systémy fungují, protože různé součásti dělají různé úkoly a existuje struktura, která je drží pohromadě.
AI by mělo být postaveno stejným způsobem. Nemyslím si, že dlouhodobá budoucnost podnikového rozhodování spočívá v jednom gigantickém modelu uprostřed společnosti, který se snaží být univerzálně kompetentní. Je mnohem pravděpodobnější, že bude vypadat jako týmy specializovaných agentů.
Jeden agent by mohl být odborníkem na načtení dat. Další je lepší při vyhodnocování scénářů. Další zpracovává plánování. Jeden kontroluje soulad nebo chyby. Další funguje více jako dozor, rozhodující, kdy eskalovat nebo kdy je důvěra příliš nízká, aby pokračovala. Architektura týmu má mnohem větší smysl, protože odpovídá tomu, jak fungují skutečné organizace, a odpovídá širším tržním trendům. Zjištění McKinsey potvrzují, že organizace získávají největší hodnotu z AI tím, že přepracovávají pracovní postupy a provozní struktury kolem něj.
Ne všechna rozhodnutí se dělají stejným způsobem a příliš často předpokládáme, že stejný model, stejná data a stejný typ uvažování mohou zvládnout vše. Ve skutečnosti vyžadují různá rozhodnutí různé mechanismy.
Čtyři způsoby, jak rozhodnutí skutečně probíhají
Z mé zkušenosti většina rozhodnutí spadá do několika kategorií:
- Systémy řízení (pravidla a vzorce): Rozhodnutí jsou učiněna aplikováním předem definovaných rovnic nebo pravidel na známé vstupy. Pokud se stane X, udělejte Y.
- Vyhledávání a optimalizace: Rozhodnutí jsou učiněna vyhodnocením mnoha možných voleb a výběrem nejlepší z nich na základě definovaného cíle.
- Učení s posilováním (pokusy a omyly): Rozhodnutí jsou učiněna časem tím, že jsou činěny akce, sledovány výsledky a upravovány na základě odměny nebo pokuty.
- Praxe a zkušenost (lidské učení): Rozhodnutí jsou utvářena opakovaným vystavením, řízenou zpětnou vazbou a nahromaděným úsudkem v reálných scénářích.
Většina podnikového AI funguje dobře v prvních dvou kategoriích. Třetí a čtvrtá kategorie jsou náročnější pro AI, protože tam žije lidský úsudek.
Autonomie bez struktury je riziko
Kdykoli lidé mluví o autonomním AI, rozdělená se diskuse do dvou extrémů. Jedna strana si myslí, že systémy jsou prakticky magické a připravené řídit vše. Druhá strana se chová, jako by nikdy neměly být důvěřovány ničemu významnému.
Nemyslím si, že žádný z těchto názorů je užitečný. Měli bychom se soustředit na autonomii ve struktuře, protože autonomie bez dohledu, logiky eskalace, hranic nebo odpovědnosti je hlavním zdrojem rizika. Obavy z rizika se nyní objevují častěji, včetně diskusí ovlivněných úsilím, jako je Rámcová smlouva o řízení rizik AI Národního institutu standardů a technologií, která odráží, jak vážně organizace berou otázky dohledu, odpovědnosti a provozní důvěry.
Budoucnost podnikového AI spočívá v týmech agentů. Organizace, které získají největší hodnotu z AI, nebudou ty, které automatizují nejvíce slov. Jsou to ty, které zjistí, jak přenést skutečnou odbornost do systémů, které mohou vydržet, když se prostředí stane složitým. To, podle mého názoru, je rozdíl mezi AI, které vypadají působivě, a AI, které se skutečně stanou užitečnými, produkujícími skutečný ROI.
