Problém spolehlivosti umělé inteligence, o kterém nikdo nechce mluvit

Dominantní narativ o spolehlivosti umělé inteligence je jednoduchý: modely halucinují. Protože společnosti chtějí získat z nich maximum užitku, musí se modely zlepšit. Více parametrů. Lepší trénovací data. Více učení s posilováním. Více sladění.

A přesto, i když se modely na hranici vývoje stávají stále schopnějšími, debata o spolehlivosti odmítá zmizet. Lídři podniků stále váhají, zda mají umožnit agentům provádět významné akce v rámci základních systémů. Představenstva stále ptají: „Můžeme jim důvěřovat?“

Ale halucinace nejsou primárně problémem modelu. Jsou problémem kontextu. Požadujeme, aby systémy umělé inteligence fungovaly v podnikových infrastrukturách, aniž by jim poskytly strukturální viditelnost, která je potřebná pro bezpečné uvažování. Pak viníme model, když se snaží uhodnout.

Skutečná mezera ve spolehlivosti není v hmotách tak tolik, jako v informačním vrstvě.

Chirurg bez zobrazování

Představte si chirurga, který operuje bez zobrazování. Žádné MRI. Žádné CT skenování. Žádné reálné vizualizace okolní tkáně. Pouze obecné pochopení anatomie a skalpel. I nejzkušenější chirurg by byl nucen uhodnout. Přibližovat. Spoléhat se na pravděpodobnostní uvažování.

To je to, co dělají agenti umělé inteligence v podnikových systémech nyní.

Když je systém umělé inteligence požádán o úpravu pracovního postupu, aktualizaci pravidel ERP nebo spuštění automatizace napříč nástroji, zřídka má úplnou závislostní graf prostředí. Neví, které „nepoužité“ pole pohání dolní dashboard. Nevidí, které automatizace odkazují na tu ověřovací pravidlo. Nemůže spolehlivě simulovat druhý řád dopadů.

Takže dělá to, co jsou velké jazykové modely trénovány dělat: předpovídá. Předpověď není pochopení. A předpověď bez strukturálního kontextu vypadá jako halucinace.

Stále opakujeme špatnou debatu

Komunita umělé inteligence je uvězněna v modelově-centrické diskusi o spolehlivosti. Články o zákonech škálování. Výzkum o řetězovém myšlení při vyvolání. Techniky augmentace načítání. Hodnoticí benchmarky.

Všechny jsou nutné. Všechny jsou cenné. Ale všimněte si, co chybí: diskuse o topologii podnikových systémů.

Spolehlivost v podnikovém kontextu neznamená pouze „model generuje správný text“. Znamená „systém provádí změny, které jsou bezpečné, stopovatelné a předvídatelné“.

To je фундаментálně odlišný požadavek.

Když OpenAI a Anthropic publikují hodnocení výkonu modelů, měří přesnost na úkolech uvažování, kodifikačních benchmarcích nebo znalostních vzpomínkách. Tyto signály jsou užitečné. Nicméně, neměří schopnost agenta umělé inteligence bezpečně upravit živý revenue systém s 15 lety nahromaděného automatizačního dluhu.

Problém není, zda model může psát syntakticky správný kód; je to, zda umělá inteligence rozumí prostředí, do kterého je kód nasazen.

Žijící systémy akumulují entropii

Podnikové systémy nejsou statickými databázemi. Jsou živými systémy. Každá nová integrace zanechává stopu. Každá kampaň zavádí pole. Každé „rychlé řešení“ zavádí další vrstvu automatizace. V průběhu času tyto vrstvy interagují způsoby, které nikdo plně nerozumí.

To je funkce růstu. Komplexní adaptivní systémy přirozeně akumulují entropii. Výzkum z MIT Sloan School již dlouho zdůrazňuje, jak informační asymetrie uvnitř organizací zvyšuje provozní riziko. Mezitím Gartner odhaduje, že špatná kvalita dat stojí organizace v průměru $12,9 milionu ročně.

Teď si představte vložení autonomních agentů do tohoto prostředí bez předchozího řešení jeho strukturální neprůhlednosti.

Neměli bychom být překvapeni, když výsledky vypadají nepředvídatelně. Agent není zlý nebo hloupý. Je slepý. Staví ve tmě.

Načítání nestačí

Někteří budou argumentovat, že generace s podporou načítání (RAG) řeší tento problém. Dejte modelu přístup k dokumentaci. Krmit ho schématy popisů. Připojte ho k API.

To pomáhá.

Ale dokumentace není topologie.

PDF, který vysvětluje, jak pracovní postup „má“ fungovat, není stejný jako reálný graf, jak skutečně interaguje s 17 dalšími automatizacemi.

Podniková realita se zřídka shoduje s podnikovou dokumentací.

Studie z roku 2023 publikovaná v Communications of the ACM zjistila, že zastaralá dokumentace je primárním přispěvatelem k selháním údržby softwaru. Systémy se vyvíjejí rychleji než jejich narativy.

Takže i když poskytujeme agentům umělé inteligence dokumentaci, často jim poskytujeme pouze částečnou nebo idealizovanou mapu.

Částečné mapy stále produkují sebevědomé chyby.

Agentní vrstva je skutečnou bezpečnostní vrstvou

Máme tendenci myslet si, že bezpečnost znamená trénink sladění, zábrany, červené týmy a filtry zásad. Všechny jsou důležité. Ale v podnikových kontextech je bezpečnost kontextuální. Je to vědět:

• Co závisí na tomto poli?
• Jaké automatizace odkazují na tento objekt?
• Které dolní zprávy se rozbijí?
• Kdo vlastní tento proces?
• Kdy byl tento proces naposledy upraven?
• Jaké historické změny předcházely aktuální konfiguraci?

Bez této vrstvy je agent umělé inteligence efektivní improvizace uvnitř černé skříňky. S touto vrstvou může simulovat dopad před provedením. Rozdíl mezi halucinací a spolehlivostí je často viditelnost.

Proč je model obviňován

Proč je debata zaměřena tak silně na modely? Protože modely jsou čitelné. Můžeme měřit zmatenost. Můžeme srovnávat benchmarkové skóre. Můžeme publikovat škálovací křivky. Můžeme debatovat o kvalitě trénovacích dat.

Informační topologie uvnitř podniků je mnohem špinavější. Vyžaduje koordinaci napříč funkcemi. Vyžaduje disciplínu řízení. Nucuje organizace, aby se vypořádaly s nahromaděnou složitostí svých vlastních systémů.

Je snazší říci „model není připraven“ než přiznat „naše infrastruktura je neprůhledná“.

Ale když agenti umělé inteligence přecházejí z generování obsahu na operační provedení, toto rámování se stává nebezpečným.

Pokud budeme považovat spolehlivost pouze za problém modelu, budeme pokračovat v nasazování agentů do prostředí, které nemohou smysluplně vnímat.

Autonomie vyžaduje kontext

Recentní experimenty Anthropic s týmy pro vývoj softwaru s více agenty ukazují, že systémy umělé inteligence mohou koordinovat přes komplexní úkoly, když jsou poskytovány strukturovaný kontext a trvalá paměť. Hranice schopností se rychle rozšiřuje. Ale tato značka autonomie bez environmentální povědomí je křehká.

Samojízdný vůz se nespoléhá pouze na silný neuronový síť. Spoléhá se na lidar, kamery, systémy mapování a reálné environmentální snímání. Model je jednou vrstvou v širším percepčním stacku.

Podniková umělá inteligence potřebuje ekvivalent lidaru. Nejen přístup k API. Nejen dokumentaci. Ale strukturované, dynamické pochopení systémových závislostí.

Dokud tato existence neexistuje, debaty o halucinacích budou pokračovat v nesprávném diagnostikování základní příčiny.

Skryté riziko: Přehnaná sebedůvěra

Existuje další jemné riziko v současném rámování.

Jak se modely zlepšují, jejich výstupy se stávají více plynulými, přesvědčivějšími, autoritativnějšími.

Plynulost zvyšuje sebedůvěru.

Když agent úpraví systém s plnou důvěrou bez úplného kontextu, selhání není okamžitě zřejmé. Může se projevit týdny později jako nesrovnalost ve zprávách, mezera v souladu nebo chyba ve výhledu výnosů. Protože model vypadá kompetentně, organizace mohou přehánět jeho operační bezpečnost. Skutečný režim selhání je pravděpodobná chyba.

A pravděpodobná chyba prosperuje ve tmě.

Předefinování otázky spolehlivosti

Místo ptaní se: „Je model dostatečně dobrý?“ Měli bychom se ptát: „Má agent dostatečnou strukturální kontext, aby jednal bezpečně?“ Místo měření benchmarkové přesnosti bychom měli měřit environmentální viditelnost. Místo debat o počtech parametrů bychom měli audity systémové neprůhlednosti.

Další hranice spolehlivosti umělé inteligence není pouze větší modely. Je to bohatší kontextové vrstvy.

To zahrnuje:

• závislostní grafy podnikových systémů
• reálné sledování změn
• mapování vlastnictví
• povědomí o historické konfiguraci
• simulace dopadu před provedením

Žádná z těchto věcí není glamurní. Žádná z nich se neobjevuje na sociálních médiích. Ale tohle je místo, kde bude spolehlivost vyhrána.

Stavba se světly

Lídři podniků mají pravdu, když požadují spolehlivost předtím, než udělí agentům operační pravomoci. Ale cesta vpřed není čekání na mýtický model bez halucinací.

Je to investice do viditelnostní infrastruktury, která umožňuje inteligentní akci.

Nedovolíme, aby junior administrátor měnil produkční systémy bez pochopení závislostí. Neměli bychom dovolit, aby agenti umělé inteligence tak činili.

Cílem je snížit slepá místa.

Když agenti fungují se strukturální povědomím, míra halucinací klesá ne proto, že se model změnil, ale protože se snížila plocha pro odhady.

Předpověď se stává uvažováním. Uvažování se stává simulací. Simulace se stává bezpečným provedením.

Nezbytný posun

V průběhu následujících pěti let se zásobník umělé inteligence rozdělí. Jedna vrstva se zaměří na schopnosti modelu: hloubku uvažování, multimodální plynulost a efektivitu nákladů. Druhá vrstva se zaměří na informační/kontextuální topologii: systémové grafy, metadata inteligence a rámce řízení.

Organizace, které považují spolehlivost pouze za výběr modelu, budou mít potíže.

Organizace, které považují spolehlivost za architektonickou vlastnost, budou postupovat rychleji s menším rizikem.

Debata o halucinacích bude vypadat naivně v retrospektivě. Skutečný příběh bude o viditelnosti.

Umělá inteligence není sama o sobě bezohledná.

Funguje v temné místnosti.

Dokud tuto situaci neřešíme, nebudeme stavět inteligentní systémy. Budeme stavět silné prediktory uvnitř neprůhledných prostředí.

A to znamená, že navzdory všem pokrokům je umělá inteligence stále stavěna ve tmě.