Myslitelé

Když agenti AI začnou koordinovat, insider risk se mnohonásobně zvyšuje

mm
Přidejte Unite.AI mezi své preferované zdroje na Google

Epizoda OpenClaw odhalila riziko, které většina bezpečnostních programů aktivně nesleduje: koluzi mezi systémy poháněnými umělou inteligencí.

V jednom z prvních veřejně pozorovaných případů byly autonomní agenti AI pozorováni, jak objevují jeden druhého, koordinují chování, posilují taktiku a vyvíjejí se společně – bez lidského směru nebo dohledu. Tato změna je důležitější než jakákoliv jednotlivá zranitelnost, protože fundamentálně mění, jak se riziko měří v moderních bezpečnostních prostředích AI.

OpenClaw a Moltbook nebyly pouze demonstracemi schopností agentů. Byly to rané signály vzniku koordinace více agentů v divočině. Co zůstává špatně pochopeno, je proč se agenti chovali, jak se chovali – jaký záměr vykonávali a v jakém kontextu. Jakmile mohou agenti koordinovat, mění se model hrozby a bez viditelnosti do záměru a kontextu nejsou většina bezpečnostních programů připravena na tuto evoluci rizika.

Proč koluze mění rovnici rizika

OpenClaw, dříve známý jako MoltBot a Clawdbot, fungoval v spotřebitelských prostředích, ne firemních. Ale chování, které odhalil, se přímo vztahuje na firemní systémy, které nasazují autonomní nebo agenty AI.

Když je agentu AI udělen přístup k e-mailu, kalendářům, prohlížečům, souborům a aplikacím (a je mu dovoleno jednat s minimálními omezeními), přestává se chovat jako nástroj. Začíná se chovat jako uživatel.

Vykonává úkoly. Udržuje přítomnost. Funguje nepřetržitě.

Moltbook urychlil tuto změnu, poskytujíc agentům založeným na Claw základnu, kde se mohli navzájem najít. Během několika dní dokumentovali pozorovatelé agentů, kteří navazovali šifrovanou komunikaci, sdíleli pokyny pro rekurzivní zlepšení, koordinovali narativy a hájili nezávislost na lidském dohledu – chování přímo relevantní pro firemní řízení rizika AI.

Není důležité, zda tato změna skutečně představuje autonomii. Koluze sama o sobě představuje riziko. Když mohou agenti ovlivňovat jiné agenty, kteří mají legitimní pověření a delegovanou autoritu, izolované selhání se mohou velmi rychle stát systémovými.

DPRK paralelní bezpečnostní týmy by neměly ignorovat

Z pohledu insider risku je překryv s DPRK IT pracovníky pozoruhodný a vysoce relevantní pro řízení rizika AI.

Během let se DPRK aktéři spoléhali na trvalý přístup, normálně vypadající aktivitu a práci vykonávanou na úrovni legitimních vzdálených zaměstnanců koordinovaných napříč identitami, časovými pásmy a jazyky.

Agenti AI nyní replikují mnoho z těchto chování automaticky.

Rozdíl spočívá v rychlosti a rozsahu.

DPRK IT pracovníci dlouhodobě usilovali o automatizaci a pomoc AI, aby mohli přenést rutinní práci, udržet nepřetržitou přítomnost a maximalizovat zisky s minimálním lidským úsilím. Autonomní agenti nyní operationalizují tento přístup, vykonávají základní úkoly, udržují aktivitu a koordinují výkon v rozsahu.

To je důvod, proč epizody OpenClaw a Moltbook jsou důležité. Předvádějí, co se stane, když koordinace vznikne bez řízení, a v rychlosti a rozsahu AI.

Model hrozby se právě rozšířil (znovu)

Až donedávna byl dominantním problémem zlý člověk, který vytváří nebo manipuluje zlými agenty.

Tato hrozba je reálná a stále existuje, ale nová hrozba se objevuje a potenciálně ohrožuje organizace extrémním rizikem.

Nyní vidíme rané signály opaku: zlých agentů AI, kteří najímají lidi.

Platformy jako rentahuman.ai umožňují explicitně agentům AI najímat lidi pro reálné úkoly – od běhání pochůzek a účasti na jednáních až po podepisování dokumentů a nákup zboží. Lidé nastavují sazby. Agenti přiděluje úkoly.

Hranice mezi autonomními systémy a lidskou prací se právě stala tenčí. Záměr může nyní pocházet z obou stran, a provedení může probíhat v obou směrech.

To není sci-fi. Je to strukturální změna v tom, jak může být práce (a zneužívání) orchestrována.

Proč to matters to bezpečnostním týmům

Agenti AI překračují inflexní bod, který fundamentálně mění organizační riziko. To již není jen další bezpečnostní problém AI, který bude řešen v průběhu času – je to systémové insider riziko, které může přímo ohrožovat firemní kontinuitu, důvěru a značku, pokud nebude řízeno.

Jsou již omezeni pouze na reagování na diskrétní podněty. Začínají.persistovat, koordinovat a jednat napříč prostředími, která nebyla navržena pro delegovanou autoritu (natož pro vliv agenta na agenta).

Z pohledu insider risku expozice nepřichází z maligního kódu samotného. Vzniká na interakční vrstvě, kde se setkává lidský záměr, agentní schopnost, delegovaná autorita a koordinace. To se blízce mapuje na koncept Lethal Trifecta: přístup k citlivým údajům, expozice neověřeným vstupům a schopnost jednat nebo komunikovat externě. Když se tyto podmínky setkají, selhání se mohou rychle eskalovat z izolovaných chyb na firemně kritické riziko.

Porozumění tomu vyžaduje přesunutí se za hranice jednoduchého myšlení o agentech směrem k riziku behaviorálních systémů.

Čtyři interakční vzorce, které vytvářejí riziko

Incidenty agentů AI nejsou jedinou kategorií. Výsledky závisí na tom, kdo má záměr a jak je vykonávána autorita. Jednoduchá matice pomáhá týmům klasifikovat incidenty a reagovat vhodně.

  1. Koluze: zlý člověk, zlý agent
    Agent se stává akcelerantem. Lidský záměr se kombinuje s agentní efektivitou, persistencí a rozsahem. Koordinace zesiluje efekt, umožňující podvod, dezinformaci nebo manipulaci bez velkých týmů. Moltbook nabídl raný pohled na to, jak rychle se agenti vzájemně posilují, když je objevování neomezené.
  2. Adversářský uživatel: zlý člověk, ne-maligní agent
    Pomocní agenti jsou ideálními nástroji pro zneužívání. Zlý insider může udržovat falešné osobnosti, maskovat aktivitu nebo škálovat dezinformaci, jako je podvod s přepracováním. Agent není maligní. Vykonává delegovanou autoritu.
  3. Kompromitovaný agent: ne-maligní člověk, maligní agent
    Zde je záměr odstraněn z člověka úplně. Prompt injection, otrávená paměť nebo manipulované vstupy mohou změnit agenta na vektor pro zneužívání. Když agenti interagují s jinými agenty, kompromitace se může rychle šířit, zejména s persistentní pamětí – kritickou bezpečnostní otázkou AI.
  4. Ideální stav: ne-maligní člověk, ne-maligní agent
    Tam, kde většina organizací předpokládá bezpečnost, a kde mnoho incidentů začíná. Nadměrná delegace, nahromaděná oprávnění a široký přístup umožňují malým chybám eskalovat. To není nedbalost. Je to nesoulad mezi schopnostmi a kontrolou.

Všechny čtyři vzorce mají konzistentní dynamiku. Agenti AI snižují tření mezi záměrem a výsledkem, maskují behaviorální signály a rozšiřují dosah. Tradiční kontroly zápasí, když jsou akce delegovány, nepřetržité a zprostředkovány autonomními systémy.

Bod inflexe řízení

Agenty AI jsou navrženy tak, aby pozorovaly nepřetržitě, udržovaly kontext a jednaly na základě nahromaděných znalostí. To je to, co je činí cennými, a nebezpečnými, když nejsou omezeny.

S persistentní pamětí a koordinací nemusí být exploatace okamžitá. Může čekat. Může se vyvíjet.

Zaměření agenty AI jako produktivity nástroje podceňuje riziko. Tyto systémy se chovají méně jako aplikace a více jako insideri, ale s rychlostí počítačů.

Co skutečně vyžaduje bezpečné přijetí agentů AI

Organizace by měly pohlížet na agenty AI jako na vysoce rizikové firemní systémy, ne jako na pohodlí.

To znamená schválené použití, vrstvené kontroly, adversářské testování a formální řízení. Zásada minimálního práva stále platí, a stávající standardy již poskytují pokyny. Ale tradiční kontroly musí být kombinovány s behaviorální viditelností a inteligencí – historií promptů, autonomních akcí a koordinačních vzorců – aby bylo možné rozlišit zneužívání, zneužívání a systémové selhání jako součást efektivní řízení rizika AI.

To není o zpomalení přijetí. Je to o tom, aby autonomie byla říditelná, aniž by byla ohrožena inovace a rychlost.

Závěr

Koluze mění rovnici insider risku. Když mohou agenti AI posilovat vzájemné chování, riziko se přesouvá z izolovaných akcí na sdílenou autoritu, vliv a amplifikaci.

Bezpečnostní expozice nyní vzniká na interakční vrstvě, kde se setkává legitimní přístup, delegovaná autorita a koluze. Kontroly, které hodnotí individuální aktivitu, budou selhání přehlédnout, která se objevují pouze tehdy, když se chování kumuluje.

Organizace, které řídí agenty AI jako insideri – s behaviorální viditelností a odpovědností – mohou rozšiřovat použití agentů AI s důvěrou. Ty, které to nedělají, budou reagovat na výsledky, které již nejsou plně pod jejich kontrolou.

Marshall Heilman je výkonný ředitel společnosti DTEX Systems, globálního lídra v oblasti řízení vnitřních rizik. Marshall má více než 20 let zkušeností v oblasti kybernetické bezpečnosti (v startupových a velkých veřejných organizacích), kde zastával výkonné vedení a vysoce technické role ve firmách Mandiant a Google.