Krize paměti umělé inteligence: Budujeme digitální temný věk

Miliony agentů umělé inteligence vstupují do produkčních systémů. Téměř žádný z nich se nemůže podělit o provozní zkušenosti. Proto je na této architektonické volbě důležité – a co se změní, když ji uděláme správně.

V 2:06 si zákazník online objedná notebook.

Pokladní agent se dotazuje na svou operační databázi: čistá historie nákupů, částka v normálním rozmezí, dříve použitá dodací adresa, zařízení a umístění shodné s nedávnými úspěšnými objednávkami. Vše vypadá normálně. Pokladní agent schválí objednávku.

Zároveň behaviorální agent zpracovává data o kliknutí v datovém jezeru společnosti. Z relace odvodí vzorec: uživatel se dostal přímo na hlubokou URL adresu pro dokončení platby bez jakéhokoli procházení nebo porovnávání. Tento signál je sám o sobě slabý, ale v kombinaci s jinak běžnými nákupy je známým prekurzorem v scénářích převzetí účtu.

Behaviorální agent zaznamenává tuto interpretaci jako odvozené znalosti pro pozdější analýzu a trénování modelu.

Pokladní agent to nikdy nevidí. Ne proto, že by signál nebyl vypočítán, ani proto, že by byl ignorován – ale proto, že znalosti jsou uvnitř systému, který pokladní agent během autorizace nekonzultuje.

Každý agent se chová správně vzhledem k tomu, co vidí. Každý zapisuje do systému, který vlastní. Ale poznatky získané jedním agentem jsou pro druhého v době rozhodování neviditelné.

Notebook se odesílá.

O třicet šest hodin později je obvinění zpochybněno. Vyšetřování potvrzuje, že účet byl napaden dříve ten den. Útočník udržel transakci v normálních mezích a spoléhal se na skutečnost, že jediným včasným varováním existovaly behaviorální znalosti uvězněné mimo kontext rozhodování pokladního agenta.

Chybou nebyla chybějící data, pomalé zpracování ani špatný model. Jednalo se o silo agentů: znalosti se sice vytvářely, ale nesdílely se.

A to odhaluje problém, o kterém téměř nikdo nemluví. Vytvořili jsme architektury, kde agenti umělé inteligence, kteří se rozhodují, nemají přístup k tomu, co již jiní agenti umělé inteligence objevili.

Problém, který vyřešil tiskařský lis

Před vynálezem knihtisku byly znalosti křehké. Když vědec zemřel, mnoho z toho, co se naučil, zemřelo s ním. Matematik v Londýně mohl strávit celá desetiletí objevováním principů, které matematik v Paříži znovuobjevil o padesát let později. Pokrok byl skutečný, ale byl lokální, pomalý a opakovaně se nuloval.

Tiskařský lis Neudělalo jednotlivce chytřejšími. Externalizovalo paměť. Znalosti přestaly být vázány na jednu mysl a začaly přetrvávat i po skončení života svého tvůrce. Poznatky mohly být sdíleny, znovu prozkoumávány a rozvíjeny napříč generacemi. To umožnilo, aby se pokrok umocnil.

Riskujeme, že s umělou inteligencí zopakujeme chybu z doby před tiskem.

Většina organizací nyní nasazuje agenty umělé inteligence napříč produkčními systémy., přičemž mnoho dalších aktivně experimentuje v oblastech, jako je zákaznická podpora, vývoj softwaru, výzkum a odhalování podvodů. Tito agenti jsou obvykle nasazeni jako nezávislé služby v souladu s moderními architektury mikroslužeb, z nichž každý má svá vlastní data a operační hranice. I v rámci stejné organizace agenti čerpají poznatky z vlastních výrobních zkušeností, ale jen zřídka sdílejí získané znalosti s ostatními agenty, kteří činí související rozhodnutí.

V důsledku toho zůstávají operační poznatky roztříštěné. Lokální rozhodnutí se sice mohou zlepšovat, ale zkušenosti se v celém systému nehromadí. Každý průlom, který zůstane uvězněn v jednom agentovi, je průlomem, který nelze hromadit.

Tentokrát limitujícím faktorem není inteligence ani rychlost. Je to paměť. Bez způsobu, jakým by systémy umělé inteligence mohly externalizovat a sdílet své objevy, se pokrok častěji resetuje, než aby se budoval.

Jak sdílená paměť skutečně vypadá

Větší kontextová okna mohou obohatit individuální uvažování, ale nevytvářejí sdílené, přetrvávající zkušenosti napříč agenty.

Sdílená paměť mění výsledky ne vylepšením modelů, ale změnou toho, co agenti vidí v okamžiku rozhodování.

V izolovaném systému každý agent správně uvažuje v rámci svých vlastních hranic. Agent pro pokladnu vyhodnocuje transakční riziko. Agent pro chování analyzuje vzorce clickstreamu. Každý agent zapisuje své závěry do systému, který vlastní, a tyto závěry zůstávají neviditelné pro ostatní agenty pracující paralelně. Rozhodnutí jsou lokálně správná, ale globálně neúplná.

U vrstvy sdílené paměti tato hranice mizí.

Jak behaviorální agent zpracovává relaci, odvodí slabý, ale smysluplný signál: navigační vzorec spojený s časnými pokusy o převzetí účtu. Místo ukládání těchto poznatků pouze pro offline analýzu zapíše signál do sdílené paměti, která je propojena s aktivní relací.

O chvíli později, když pokladní agent vyhodnotí nákup, se dotáže na stejnou paměť. Transakce stále vypadá normálně. Nyní však vidí další kontext: behaviorální varování, které by jinak chybělo. Ani jeden ze signálů není sám o sobě rozhodující. Společně překračují hranici pro další ověření.

Na samotných agentech se nic nezměnilo. Žádné modely nejsou přeškoleny. Nezasahuje žádný centralizovaný řídicí systém. Rozdíl spočívá v viditelnosti: poznatky vytvořené jedním agentem se stávají dostupnými pro jiného, ​​zatímco na nich stále záleží.

Rozhodující je, že tento poznatek přetrvává. Když je výsledek později znám – ať už se jedná o podvod nebo legitimní – zaznamená se souvislost mezi signálem a výsledkem. Postupem času systém shromažďuje empirický záznam o tom, které slabé indikátory mají tendenci být důležité a za jakých podmínek. Budoucí rozhodnutí jsou ovlivněna zkušenostmi, které sahají za hranice jakékoli jednotlivé interakce nebo činitele.

Sdílená paměť není datový sklad ani operační databáze. Je to substrát s nízkou latencí pro odvozený kontext: signály, interpretace a asociace, které přežijí interakci, která je vytvořila, a zůstanou dotazovatelné ostatními agenty, kteří provádějí související rozhodnutí.

Takto se zkušenosti skládají – ne uvnitř jednoho modelu, ale v celém systému.

Architektonický kompromis za agentskými sily

Agentská sila nejsou chybou implementace. Jsou předvídatelným výsledkem podnikových architektur navržených pro jiný typ spotřebitele.

Po celá desetiletí produkční systémy oddělovaly pracovní zátěže podle funkcí. Operační systémy byly optimalizovány pro transakce s nízkou latencí a konzistentními funkcemi, zatímco analytické systémy byly optimalizovány pro rozsáhlou agregaci a vyhledávání historických vzorců (OLTP vs. OLAP). Toto oddělení odráželo způsob, jakým byly poznatky využívány: analytické výsledky byly vytvářeny pro lidi, nikoli pro stroje, a proto se očekávalo, že dorazí asynchronně a mimo kritickou cestu rozhodování.

Agenti umělé inteligence toto architektonické rozdělení dědí, ale nezapadají do něj.

Důsledkem není jen opožděný vhled, ale strukturální slepá místa. Vhledy vytvořené v analytických systémech jsou ze své podstaty objeveny až poté, co byla učiněna rozhodnutí v reálném čase. Signály, které by mohly změnit výsledky, existují, ale nemohou být objeveny v době rozhodování, protože se nacházejí v systémech, které nejsou určeny k tomu, aby byly autonomními osobami s rozhodovací pravomocí neustále dotazovány.

Architektura není narušená. Je neodpovídající požadavkům autonomních systémů.

Chybějící disciplína: Kontextové inženýrství

Sdílená paměť představuje problém, který většina týmů není připravena vyřešit: rozhodnutí, jaká zkušenost by měla přetrvávat.

Systémy umělé inteligence generují obrovské množství surových zkušeností – transakcí, kliknutí, zpráv, akcí, výsledků. Uchovávání všech těchto informací není ani praktické, ani užitečné. Bez záměrného výběru se sdílená paměť stává šumem. Úkolem není shromažďovat více dat, ale formovat zkušenosti do kontextu, který mohou ostatní agenti využít.

Toto je role kontextové inženýrství.

Kontextové inženýrství je disciplína, která se zabývá rozhodováním o tom, která pozorování se stanou trvalými signály, jak jsou tyto signály reprezentovány a kdy by měly být vystaveny dalším agentům. Nachází se mezi surovými událostmi a uvažováním agentů a transformuje přechodnou aktivitu do sdíleného, ​​pro rozhodování relevantního porozumění.

V praxi to znamená povyšování vzorců, indikátorů a podmíněných asociací, přičemž se nechává většina surových zkušeností vyblednout. Slabý signál nebo okrajový případ nemusí být sám o sobě důležitý, ale stává se cenným, když se nashromáždí a objeví se ve správný okamžik.

Kontextové inženýrství určuje, zda sdílená paměť pouze ukládá zkušenosti – nebo umožňuje jejich sčítání.

Co se stane, když tohle uděláme správně

To není problém budoucnosti. Je to architektonické rozhodnutí, které dnes dělají – často implicitně – infrastrukturní týmy.

Výchozí cestou je izolace. Agenti umělé inteligence jednají nezávisle a čerpají pouze ze svých vlastních zkušeností. Každý z nich činí rychlá a lokálně správná rozhodnutí, ale inteligence stagnuje. Opakují se stejné okrajové případy, znovu se objevují slabé signály a selhání se opakují s větší rychlostí a objemem.

Alternativou je vrstva sdílené paměti.

Když odvozený kontext přetrvává a je viditelný v době rozhodování, zkušenosti přestávají mizet. Poznatky objevené jednou zůstávají k dispozici. Slabé signály získávají význam akumulací. Rozhodnutí se nezlepšují proto, že se mění modely, ale proto, že agenti již neuvažují izolovaně.

To nevyžaduje větší modely, přetrénování v reálném čase ani centralizované řízení. Vyžaduje to zacházení s pamětí jako s prvotřídní architektonickou vrstvou – navrženou pro přístup s nízkou latencí, perzistenci a sdílenou viditelnost.

Architektonické výchozí nastavení se rychle ztvrdí. Systémy postavené bez sdílené paměti se s nárůstem počtu agentů stávají stále obtížnějšími pro modernizaci. Volba je jednoduchá: stavět systémy, které shromažďují zkušenosti – nebo systémy, které se neustále resetují.