Tajemství bez tajemství: Proč tradiční bezpečnostní modely selhávají, když se AI agenti dotknou kódu

V dubnu 2023, Samsung zjistil, že jeho inženýři úmyslně poskytli citlivé informace ChatGPT. Ale to bylo náhodou. Teď si představte, že ty repozitáře kódu obsahovaly úmyslně zasazené instrukce, neviditelné pro lidi, ale zpracované AI, navržené k extrahování nejen kódu, ale také všech API klíčů, databázových pověření a servisních tokenů, ke kterým by AI mohla získat přístup. To není hypotetická situace. Bezpečnostní výzkumníci již prokázali, že tyto “neviditelné instrukce” útoky fungují. Otázka není, zda se to stane, ale kdy.

Hranice, která již neexistuje

Po desetiletích jsme stavěli bezpečnost na fundamentálním předpokladu: kód je kód a data jsou data. SQL injekce nás naučila parametrizovat dotazy. Cross-site scripting nás naučil uniknout výstupy. Naučili jsme se stavět zdi mezi tím, co programy dělají, a tím, co uživatelé vstupují.

S AI agenty tato hranice zmizela.

Na rozdíl od deterministického softwaru, který následuje předvídatelné cesty, jsou Large Language Modely pravděpodobnostními černými skříňkami, které nemohou rozlišit mezi legitimitními vývojářskými instrukcemi a škodlivými vstupy. Když útočník poskytuje prompt AI kódovacímu asistentovi, neposkytuje pouze data. V podstatě přeprogramuje aplikaci na letu. Vstup se stal programem sám o sobě.

To představuje fundamentální rozchod od všeho, co víme o aplikované bezpečnosti. Tradiční syntaxové brány firewall, které hledají škodlivé vzory, jako je DROP TABLE nebo značky, zcela selhávají proti útokům založeným na přirozeném jazyce. Výzkumníci prokázali “semantickou substituci” techniky, kde nahrazení “API klíčů” za “jablka” v promptech umožňuje útočníkům zcela obejít filtry. Jak můžete ohnout záměr, když je zamaskován jako neškodná konverzace?

Nulový klik reality, o které se nikdo nebaví

Toto je to, co většina bezpečnostních týmů nepochopila: prompt injekce nevyžaduje, aby uživatel něco napsal. Tyto jsou často nulové kliky exploit. AI agent jednoduše skenuje repozitář kódu pro rutinní úkoly, kontroluje pull request nebo čte API dokumentaci, může spustit útok bez jakékoli lidské interakce.

Zvažte tento scénář, založený na technikách, které výzkumníci již prokázali: škodlivý aktér vkládá neviditelné instrukce do HTML komentářů v dokumentaci populární open-source knihovny. Každý AI asistent, který analyzuje tento kód, ať už GitHub Copilot, Amazon CodeWhisperer nebo jakýkoli podnikový kódovací asistent, se stává potenciálním harvestorem pověření. Jedna kompromitovaná knihovna by mohla znamenat tisíce vystavených vývojových prostředí.

Nebezpečí není v LLM samotném; je to agentura, kterou mu dáváme. Okamžik, kdy jsme integrovali tyto modely s nástroji a API, dovolující jim načítat data, spouštět kód a přistupovat k tajemstvím, jsme transformovali užitečné asistenty na dokonalé útočné vektory. Riziko se nezvyšuje s inteligencí modelu; zvyšuje se s jeho konektivitou.

Proč současný přístup je odsouzen k neúspěchu

Průmysl je目前 posedlý “vyrovnáním” modelů a stavbou lepších prompt firewall. OpenAI přidává více ochranných plotů. Anthropic se zaměřuje na ústavní AI. Všichni se snaží vytvořit modely, které nelze oklamat.

To je prohraná bitva.

Pokud je AI dostatečně chytrý, aby byl užitečný, je dostatečně chytrý, aby byl oklamaný. Padáme do “čisticí pasti”: předpokládáme, že lepší filtrování vstupů nás zachrání. Ale útoky mohou být maskovány jako neviditelný text v HTML komentářích, pohřbeny hluboko v dokumentaci nebo zakódovány způsoby, které jsme ještě nevymysleli. Nemůžete vyčistit to, co nemůžete kontextuálně pochopit, a kontext je přesně to, co dělá LLMs mocnými.

Průmysl potřebuje přijmout tvrdou pravdu: prompt injekce uspěje. Otázka je, co se stane, když k tomu dojde.

Architektonická změna, kterou potřebujeme

Nacházíme se v “fázi oprav”, zoufale přidáváme vstupní filtry a validační pravidla. Ale stejně jako jsme nakonec pochopili, že prevence SQL injekce vyžaduje parametrizované dotazy, ne lepší úniky řetězců, potřebujeme architektonické řešení pro AI bezpečnost.

Odpověď spočívá v principu, který zní jednoduše, ale vyžaduje přehodnocení toho, jak stavíme systémy: AI agenti by nikdy neměli mít tajemství, která používají.

To není o lepší správě pověření nebo zlepšených řešeních pro trezory. Je to o uznání AI agentů jako jedinečných, ověřitelných identit, spíše než uživatelů, kteří potřebují hesla. Když AI agent potřebuje přístup k chráněnému zdroji, měl by:

1. Ověřit svou verifikovatelnou identitu (ne uložené tajemství)

2. Obdržet just-in-time pověření platná pouze pro konkrétní úkoly

3. Mít tato pověření automaticky vypršet během sekund nebo minut

4. Nikdy neukládat ani “vidět” dlouhodobá tajemství

Několik přístupů se objevuje. AWS IAM role pro servisní účty, Google’s Workload Identity, HashiCorp Vault’s dynamická tajemství a účelově navržená řešení, jako je Akeyless’s Zero Trust Provisioning, všechny směřují k tomuto bez tajemství budoucnosti. Implementační detaily se liší, ale princip zůstává: pokud AI nemá žádná tajemství, která lze ukrást, prompt injekce se stává mnohem menší hrozbou.

Vývojové prostředí roku 2027

Do tří let bude soubor .env mrtvý v AI-augmentovaném vývoji. Dlouhodobé API klíče uložené v proměnných prostředí budou považovány za relikt naivější doby, stejně jako hesla v plain textu.

Místo toho bude každý AI agent fungovat pod přísným oddělením oprávnění. Ve výchozím nastavení pouze pro čtení. Whitelistování akcí jako standard. Sandboxované prostředí jako požadavek na dodržování předpisů. Přestaneme se snažit kontrolovat, co si AI myslí, a budeme se soustředit pouze na kontrolu toho, co může dělat.

To není pouze technická evoluce; je to fundamentální posun v modelech důvěry. Přecházíme z “důvěřuj, ale ověř” na “nikdy nedůvěřuj, vždy ověř a předpokládej kompromitaci”. Princip nejnižších oprávnění, dlouho kázán, ale zřídka praktikován, se stává nezbytným, když váš junior vývojář je AI, který zpracovává tisíce potenciálně škodlivých vstupů denně.

Volba, před kterou stojíme

Integrace AI do softwarového vývoje je nevyhnutelná a převážně prospěšná. GitHub hlásí, že vývojáři, kteří používají Copilot, dokončují úkoly o 55 % rychleji. Produktivita zisků je reálná a žádná organizace, která chce zůstat konkurenceschopná, nemůže je ignorovat.

Ale stojíme na křižovatce. Můžeme pokračovat po současné cestě přidáváním dalších ochranných plotů, stavbou lepších filtrů, doufajíc, že můžeme vytvořit AI agenty, kteří nemohou být oklamáni. Nebo můžeme uznat fundamentální povahu hrozby a přestavět naši bezpečnostní architekturu odpovídajícím způsobem.

Incident Samsung byl varovným výstřelem. Další porušení nebude náhodné a nebude omezeno na jednu společnost. Jak AI agenti získávají více schopností a přístup k více systémům, potenciální dopad roste exponenciálně.

Otázka pro každého CISO, každého vedoucího inženýra a každého vývojáře je jednoduchá: Když prompt injekce uspěje ve vašem prostředí (a uspěje), co útočník najde? Zjistí pokladnici dlouhodobých pověření, nebo najde AI agenta, který, navzdory tomu, že je kompromitován, nemá žádná tajemství, která lze ukrást?

Volba, kterou uděláme nyní, určí, zda se AI stane největším urychlovačem softwarového vývoje nebo největší zranitelností, kterou jsme kdy vytvořili. Technologie pro stavbu bezpečných, bez tajemství AI systémů existuje dnes. Otázka je, zda je implementujeme, než nás útočníci donutí.

OWASP již identifikoval prompt injekci jako #1 riziko ve svém Top 10 pro LLM aplikace. NIST vyvíjí pokyny pro architektury s nulovou důvěrou. Rámcové podmínky existují. Jediná otázka je rychlost implementace versus evoluce útoku.

Bio: Refael Angel je spoluzakladatel a CTO společnosti Akeyless, kde vyvinul patentovanou technologii Zero-Trust šifrování. Zkušený softwarový inženýr s hlubokými znalostmi kryptografie a cloudové bezpečnosti, Refael dříve působil jako seniorní softwarový inženýr v R&D centru Intuit v Izraeli, kde stavěl systémy pro správu šifrovacích klíčů v veřejných cloudových prostředích a navrhoval služby strojové autentizace. Vystudoval bakalářský titul v oboru počítačových věd na Jerusalem College of Technology, který získal ve věku 19 let.