Imperativ bez tajemství: Proč tradiční bezpečnostní modely selhávají, když se agenti umělé inteligence dotknou kódu

V dubnu 2023, Samsung zjistil, že jeho inženýři zveřejnili citlivé informace na ChatGPTAle to byla náhoda. A teď si představte, že by tato úložiště kódu obsahovala záměrně vložené instrukce, neviditelné pro lidi, ale zpracované umělou inteligencí, určené k extrakci nejen kódu, ale i všech klíčů API, databázových přihlašovacích údajů a servisních tokenů, ke kterým by umělá inteligence měla přístup. To není hypotetické. Bezpečnostní výzkumníci již prokázali Tyto útoky s „neviditelnými instrukcemi“ fungují. Otázkou není, zda se to stane, ale kdy.

Hranice, která už neexistuje

Po celá desetiletí jsme budovali bezpečnost na základním předpokladu: kód je kód a data jsou data. SQL injection nás naučil parametrizovat dotazy. Cross-site scripting nás naučil escapingovat výstupy. Naučili jsme se stavět zdi mezi tím, co programy dělají, a tím, co uživatelé vstupují.

S agenty umělé inteligence se tato hranice vypařila.

Na rozdíl od deterministického softwaru, který se pohybuje předvídatelnými cestami, jsou velké jazykové modely (LML) pravděpodobnostní černé skříňky, které nedokážou rozlišit mezi legitimními instrukcemi vývojáře a škodlivými vstupy. Když útočník zadá výzvu asistentovi kódování s umělou inteligencí, neposkytuje pouze data. V podstatě přeprogramovává aplikaci za chodu. Vstup se stal samotným programem.

To představuje zásadní odklon od všeho, co víme o zabezpečení aplikací. Tradiční firewally založené na syntaxi, které hledají škodlivé vzory, jako je DROP TABLE nebo tags, fail completely against natural language attacks. Researchers have demonstrated “semantic substitution” techniques where replacing “API keys” with “apples” in prompts allows attackers to bypass filters entirely. How do you firewall intent when it’s disguised as harmless conversation?

Realita nulového kliknutí, o které nikdo nemluví

Většina bezpečnostních týmů nechápe, že prompt injection nevyžaduje, aby uživatel cokoli napsal. Často se jedná o útoky typu zero-click. Agent umělé inteligence, který pouhé prohledá úložiště kódu a hledá rutinní úkol, zkontroluje žádost o změnu kódu nebo si přečte dokumentaci k API, může spustit útok bez jakéhokoli lidského zásahu.

Uvažujme tento scénář na základě techniky, které vědci již prokázaliZlomyslný aktér vkládá neviditelné instrukce do HTML komentářů v dokumentaci populární open-source knihovny. Každý asistent umělé inteligence, který analyzuje tento kód, ať už se jedná o GitHub Copilot, Amazon CodeWhisperer nebo jakýkoli podnikový asistent kódování, se stává potenciálním sklízečem přihlašovacích údajů. Jedna kompromitovaná knihovna by mohla znamenat tisíce odhalených vývojových prostředí.

Nebezpečí nepředstavuje samotný LLM, ale jde o pravomoc, kterou mu dáváme. V okamžiku, kdy jsme tyto modely integrovali s nástroji a API a umožnili jim načítat data, spouštět kód a přistupovat k tajným klíčům, jsme proměnili užitečné asistenty v perfektní vektory útoku. Riziko se neškáluje s inteligencí modelu, ale s jeho konektivitou.

Proč je současný přístup odsouzen k zániku

Toto odvětví je v současné době posedlé „sladěním“ modelů a budováním lepších firewallů promptních výzev. OpenAI přidává další ochranné prvky. Anthropic se zaměřuje na konstituční umělou inteligenci. Všichni se snaží vytvářet modely, které nelze oklamat.

Tohle je prohraná bitva.

Pokud je umělá inteligence dostatečně chytrá, aby byla užitečná, je dostatečně chytrá i na to, aby se nechala oklamat. Padáme do toho, čemu říkám „pasti sanitizace“: předpokládáme, že nás lepší filtrování vstupu zachrání. Útoky však mohou být skryty jako neviditelný text v HTML komentářích, hluboko zahrabané v dokumentaci nebo zakódované způsoby, které jsme si dosud nepředstavovali. Nemůžete sanitizovat to, čemu nedokážete kontextově porozumět, a kontext je přesně to, co dělá LLM mocnými.

Průmysl si musí uvědomit krutou pravdu: rychlá injekce bude úspěšná. Otázkou je, co se stane, když se tak stane.

Architektonický posun, který potřebujeme

Momentálně se nacházíme ve „fázi záplatování“, kdy zoufale přidáváme vstupní filtry a ověřovací pravidla. Ale stejně jako jsme se nakonec dozvěděli, že k zabránění SQL injection je zapotřebí parametrizovaných dotazů, nikoli lepšího escapování řetězců, potřebujeme architektonické řešení pro zabezpečení umělé inteligence.

Odpověď spočívá v principu, který zní jednoduše, ale vyžaduje přehodnocení způsobu, jakým systémy vytváříme: Agenti umělé inteligence by nikdy neměli vlastnit tajemství, která používají.

Nejde o lepší správu přihlašovacích údajů ani o vylepšená řešení pro úložiště. Jde o rozpoznávání agentů s umělou inteligencí jako jedinečných, ověřitelných identit, spíše než uživatelů, kteří potřebují hesla. Když agent s umělou inteligencí potřebuje přístup k chráněnému zdroji, měl by:

1. Ověřte se pomocí ověřitelné identity (ne uloženého tajného klíče)

2. Získejte přihlašovací údaje just-in-time platné pouze pro daný úkol

3. Nechte tyto přihlašovací údaje automaticky vypršet během několika sekund nebo minut

4. Nikdy neukládejte ani „nevidějte“ dlouhotrvající tajemství

Objevuje se několik přístupů. Role AWS IAM pro servisní účty, Identita pracovní zátěže od Googlu, Dynamická tajemství trezoru HashiCorpa účelová řešení, jako je Zero Trust Provisioning od Akeyless, poukazují na tuto budoucnost bez tajemství. Detaily implementace se liší, ale princip zůstává stejný: pokud umělá inteligence nemá žádná tajemství k ukrást, okamžitá injekce se stává výrazně menší hrozbou.

Vývojové prostředí roku 2027

Do tří let bude soubor .env v oblasti vývoje s využitím umělé inteligence mrtvý. Dlouhotrvající API klíče uložené v proměnných prostředí budou vnímány jako hesla v prostém textu: trapný pozůstatek naivnější doby.

Místo toho bude každý agent umělé inteligence fungovat s přísným oddělením oprávnění. Ve výchozím nastavení bude přístup pouze pro čtení. Standardně bude povoleno zařazování akcí do whitelistingu. Izolovaná prostředí pro provádění jako požadavek na shodu s předpisy. Přestaneme se snažit ovládat, co si umělá inteligence myslí, a zaměříme se výhradně na kontrolu toho, co dokáže.

Nejde jen o technický vývoj; jde o zásadní posun v modelech důvěry. Přecházíme od „důvěřuj, ale ověřuj“ k „nikdy nedůvěřuj, vždy ověřuj a předpokládej kompromis“. Princip nejmenších privilegií, dlouho hlásaný, ale zřídka praktikovaný, se stává nezpochybnitelným, když je vaším juniorním vývojářem umělá inteligence, která denně zpracovává tisíce potenciálně škodlivých vstupů.

Volba, které čelíme

Integrace umělé inteligence do vývoje softwaru je nevyhnutelná a do značné míry prospěšná. GitHub uvádí, že vývojáři používající Copilot dokončují úkoly o 55 % rychleji.Zvýšení produktivity je skutečné a žádná organizace, která si chce udržet konkurenceschopnost, ho nemůže ignorovat.

Ale stojíme na křižovatce. Můžeme pokračovat v současné cestě přidáním dalších ochranných pásek, budováním lepších filtrů a doufáním, že dokážeme vytvořit agenty umělé inteligence, které nelze oklamat. Nebo můžeme uznat základní podstatu hrozby a podle toho přestavět naši bezpečnostní architekturu.

Incident se společností Samsung byl varovným výstřelem. Další narušení bezpečnosti nebude náhodné a nebude se omezovat na jednu společnost. S tím, jak agenti umělé inteligence získávají více možností a přistupují k více systémům, potenciální dopad exponenciálně roste.

Otázka pro každého CISO, každého technického vedoucího a každého vývojáře je jednoduchá: Když se prompt injection ve vašem prostředí podaří (a bude), co útočník najde? Objeví pokladnici dlouhodobých přihlašovacích údajů, nebo najde agenta umělé inteligence, který i přes kompromitaci nemá žádná tajemství, která by mohl ukrást?

Volba, kterou nyní učiníme, určí, zda se umělá inteligence stane největším akcelerátorem vývoje softwaru, nebo největší zranitelností, jakou jsme kdy vytvořili. Technologie pro budování bezpečných a netajných systémů umělé inteligence existuje již dnes. Otázkou je, zda ji implementujeme dříve, než nás k tomu útočníci donutí.

OWASP již identifikoval rychlou injekci jako riziko číslo 1 v jejich top 10 pro přihlášky do LLM. NIST vyvíjí pokyny na architekturách s nulovou důvěrou. Rámce existují. Jedinou otázkou je rychlost implementace versus vývoj útoku.

Životopis: Refael Angel je spoluzakladatelem a technickým ředitelem společnosti Bezklíčový, kde vyvinul patentovanou šifrovací technologii Zero-Trust. Refael, zkušený softwarový inženýr s hlubokými znalostmi kryptografie a cloudové bezpečnosti, dříve působil jako hlavní softwarový inženýr ve výzkumném a vývojovém centru společnosti Intuit v Izraeli, kde vyvíjel systémy pro správu šifrovacích klíčů ve veřejném cloudovém prostředí a navrhoval služby strojového ověřování. Je držitelem bakalářského titulu v oboru informatiky z Jeruzalémské technologické univerzity, který získal v 19 letech.