Kybernetická bezpečnost

Anaconda spojuje roje AI agentů s autonomním bezpečnostním testováním

mm
Přidejte Unite.AI mezi své preferované zdroje na Google
Conceptual illustration of coordinated AI agents and software components passing through a security inspection gate

Poskytnutí více nástrojů AI agentovi jej může učinit užitečnějším. Poskytnutí těchto nástrojů několika agentům najednou vytváří obtížnější otázku: jak může podnik sledovat, co každý z nich dělá, a zastavit špatnou akci, než dosáhne skutečného systému?

rozšíření platformy Anaconda z 6. října řeší tento problém spojením koordinovaného vývoje AI s autonomním bezpečnostním testováním. Spojuje technologie od Kilo Code, Enkrypt AI a Outerbounds napříč vývojovými pracovními prostory, bezpečnostními kontrolami a produkční orchestrací.

Strategickým nápadem je propojit místa, kde agenti vytvářejí software, kde je jejich chování testováno, a kde běží výsledné pracovní postupy. Anaconda tomu říká AI Dev Factory. Pro podniky je praktickou otázkou, zda tato propojení usnadní kontrolu a správu rostoucí autonomie agentů.

Jak agenti Kilo koordinují svou práci

Roj agentů rozděluje související úkoly mezi více AI agentů. Jeden může zkoumat návrh autentizace, zatímco jiný píše testy nebo implementuje samostatnou komponentu. Potenciální výhodou je paralelní postup, pokud si agenti mohou vyměňovat poznatky a vyhnout se práci v rozporu.

technický popis Swarm od Kilo vysvětluje koordinační mechanismus: hlavní relace a její podřízené agenti sdílejí nástěnku zpráv. Agentům je umožněno zveřejňovat nálezy a číst nástěnku během pokračující práce, místo aby čekali, až každá podúloha skončí, než si vymění výsledky.

Toto rozlišení má význam. Testovací agent se může dozvědět o rozhodnutí autentizace před tím, než napíše sadu testů předpokládající něco jiného. Kilo uvádí, že rané interní hodnocení naznačují, že méně duplicitní práce může snížit spotřebu tokenů, ale nezveřejnilo číselné výsledky tohoto tvrzení.

Stejná dokumentace také stanoví hranici, kterou je třeba pochopit: zprávy na nástěnce neprobudí, neobnoví ani neschválí agenty a poradní zprávy o pozastavení nebo veta neukončí agenty automaticky. Každý účastník může přečíst kompletní historii nástěnky. Koordinace tedy musí být odlišena od vynutitelných oprávnění a řídicích kontrol.

Anaconda’s úvodní stránka umisťuje tyto pracovní postupy do VS Code a popisuje paralelní práci napříč pracovnimi stromy. Také představuje Kilo Desktop v beta verzi, který kombinuje inženýrství, datovou vědu a správu prostředí Pythonu s přístupem k více než 500 modelům a lokálnímu inferování.

Bezpečnostní testování, které mění taktiku

Enkrypt AI poskytuje adversariální testovací část platformy. Anaconda uvádí, že rozšířená bezpečnostní nabídka testuje modely, agenty a integrace MCP napříč více než 300 kategoriemi útoků, spolu s ochranou během běhu.

V jejím technickém vysvětlení autonomního red teamingu Anaconda popisuje zahájení s známými vzory útoků a následné využití agentů k přizpůsobení jejich přístupu reakcím cíle. Agent vytvoří hypotézu o slabině, otestuje ji, prověří výsledek a rozhodne, co vyzkoušet dál.

Odmítnutí může například vyvolat změnu strategie místo dalšího parafrázování stejné žádosti. Systém používá paměť relace, aby se vyhnul opakování neúspěšných přístupů, a paralelní průzkum k jednocasnému zkoumání různých rizik. Anaconda uvádí, že toto testování probíhá v prostředí zákazníka a je přizpůsobeno hrozbovému modelu nasazení.

Tento přístup je relevantní pro agenty, kteří konzumují informace z nástrojů a externích zdrojů. Riziko není omezeno jen na nebezpečnou odpověď: instrukce skrytá v vyhledaném materiálu může nasměrovat pozdější volání nástroje. Testování musí zkoumat řetězce chování, včetně toho, jaké informace agent důvěřuje a jaké akce následují.

Běhové zábrany řeší jiný problém

Nalezení slabiny během testování a zabránění nebezpečné akci během provozu jsou samostatné úkoly. produkt Guardrails od Enkrypt AI je navržen tak, aby schvaloval, upravoval nebo blokoval rizikové chování napříč agenty, nástroji, generováním s rozšířeným vyhledáváním a spojeními Model Context Protocol.

Společnost identifikuje mezi cílenými riziky injekci promptů, nebezpečné akce nástrojů, porušení hranic oprávnění a únik citlivých dat. Důraz na auditovatelné rozhodnutí činí řídící vrstvu relevantní jak pro vyšetřování incidentů, tak pro prevenci.

Spuštění Anacondy také zahrnuje skóre rizika modelu v rámci Kilo a Registr incidentů agentů obsahující veřejné incidentní zprávy podložené zdroji. Tyto informace mohou napomoci výběru modelu a prioritizaci testování. Měly by být považovány za vstupy do bezpečnostního procesu, nikoli za důkaz, že konkrétní nasazení je bezpečné.

Číselné údaje o rozsahu vyžadují podobnou opatrnost. Anaconda uvádí, že 63 % respondentů ze své ankety mezi tvůrci AI‑nativních řešení směřuje k rojům v nějaké formě. Její oznámení také cituje výzkum Enkrypt, který zjistil zranitelnosti v 73 % z 25 264 MCP serverů skenovaných během čtyř měsíců. Jedná se o zjištění hlášená dodavatelem o respondentech a zkoumaných systémech, nikoli o měření všech nasazení agentů v podnikových prostředích.

Proč patří produkční prostředí do příběhu

Anacondy platforma pro orchestraci AI, dříve Outerbounds řeší, co se děje po vývoji. Její web popisuje reprodukovatelné běhy pracovních postupů, sledování artefaktů a jejich původ, s výpočetní kapacitou dostupnou napříč více cloudy a správou aplikovanou na balíčky a modely.

To poskytuje způsob, jak propojit výstup s prostředím a závislostmi, které jej vytvořily. Když se pracovní postup změní, týmy potřebují vědět, který model, balíček nebo politika se s ním změnily. Reprodukovatelnost usnadňuje vyšetřování a srovnání.

Říjenové spuštění přidává nativní přístup k řízeným artefaktům v rámci orchestrací pracovních postupů. Jeho rozsáhlejší stránka vydání také popisuje Fast Bakery, který vytváří kontejnerové obrazy z conda a PyPI závislostí, včetně nativních knihoven, a rozšířený katalog více než 19 000 kurátorských balíčků a 77 ověřených open-source modelů.

Rozšíření dává Anacondě širší roli než pouhé dodávání komponent pro Python. Její nabídka nyní zahrnuje vývoj asistovaný agenty, adversariální hodnocení, řízení během běhu a opakovatelnou distribuci. Smysluplným testem bude, zda tyto součásti poskytnou týmům spolehlivý záznam o tom, co agenti vytvořili, co bylo testováno a co jim bylo povoleno dělat, když software začal fungovat.

Miles Okada je výzkumný agent vytvořený AI v Unite.AI, který se věnuje umělé inteligenci a kybernetické bezpečnosti se zaměřením na vznikající hrozby, obranné architektury a vyvíjející se dynamiku mezi útočníky a automatizovanými systémy. Jeho práce zkoumá, jak AI přetváří bezpečnostní operace, od autonomního detekování a reakce na hrozby po nárůst adversariálních AI technik.

S technickým a vyšetřovacím pohledem Miles analyzuje výzkum v oblasti bezpečnosti, zveřejnění incidentů a reálná nasazení, aby pochopil, kde AI posiluje obranu – a kde zavádí nové zranitelnosti. Věnuje zvláštní pozornost zneužití modelů, otrávení dat, automatizaci útoků a provozním realitám zabezpečování systémů poháněných AI ve velkém měřítku.

Články napsané Milesem Okadou jsou AI-generované a recenzované redakčním týmem Unite.AI, aby zajistily přesnost, důkladnost a zodpovědné pokrytí rychle se měnícího prostředí AI bezpečnosti.