Cybersäkerhetsstrategier för utveckling av AI-agenter med lågkod respektive högkod

När organisationer börjar använda AI-agenter i sina affärssystem blir utvecklingstakten och säkerhetsövervakningen nära sammankopplade. Cybersäkerhetsstrategier för utveckling av lågkodade och högkodade AI-agenter måste ta hänsyn till hur de olika metoderna ger åtkomst till information och möjliggör handlingar. Riktade skyddsåtgärder kan hantera skillnaderna, medan en gemensam styrning håller agenternas aktivitet inom ramen för godkända uppgifter när användningen växer.

Vad skiljer utveckling av AI-agenter med lågkod från utveckling med högkod?

Med lågkodsplattformar kan utvecklare sätta samman agenter via visuella gränssnitt och färdiga kopplingar mellan företagstjänster. Högkodsutveckling ger programmerare större flexibilitet att definiera agenternas beteende med anpassad kod, verktygsintegreringar och exekveringsmiljöer. Båda metoderna kräver tillsyn över vilken information agenterna kan komma åt och vilka handlingar de kan utföra.

Säkerhetsansvaret skiljer sig åt eftersom kontrollen ligger på olika ställen. De som utvecklar med lågkod arbetar inom plattformens inställningar för delning och åtkomst till kopplingar, vilket gör konfigurationsbesluten särskilt viktiga. Högkodsteamen har större ansvar för programvaran och miljöerna där agentinstruktionerna körs, inklusive begränsningar för filer och autentiseringsuppgifter.

Cybersecurity and Infrastructure Security Agency identifierar flera risker med agentbaserad AI som ger ett användbart ramverk för båda metoderna. En utökad attackyta innebär fler möjliga ingångspunkter, medan behörighetsglidning innebär att åtkomsten gradvis utökas. Beteendemässig felanpassning innebär avvikelser från de avsedda uppgifterna, och svårtolkade händelseloggar försvårar utredningar. En ofta använd koppling och ett kommandoradsverktyg utan begränsningar kan ge upphov till olika varianter av samma problem.

Säkerhetsrisker med lågkodade AI-agenter och hur de kan åtgärdas

Lågkod gör det möjligt för medarbetare utanför traditionella utvecklingsteam att skapa agenter. Säkerhetsövervakningen behöver också omfatta dessa utvecklare, så att smidiga kopplingar används i enlighet med godkända affärsändamål.

Säkerhetsbrister i lågkodsmiljöer

Medborgarutvecklare kan koppla en agent till delade filer eller affärsapplikationer utan att fullt ut förstå agentens behörigheter. Åtkomst som ges via dessa kopplingar kan röja känslig information eller möjliggöra handlingar som går utöver det avsedda arbetsflödet. Omfattande delning och oklart ägarskap kan förvärra exponeringen.

Den omfattande användningen gör det viktigt med en enhetlig tillsyn inom alla avdelningar. I en marknadsanalys från 2024 rapporterar Forrester att 87 % av företagsutvecklarna använder lågkodsplattformar i någon del av sitt utvecklingsarbete. Resultatet gäller utveckling i allmänhet och visar därför hur utbredda plattformarna är, men mäter inte specifikt användningen av AI-agenter.

Praktiska sätt att stärka säkerheten för lågkodade agenter

Team bör granska kopplingarnas behörigheter utifrån varje agents tilldelade uppgift och tillämpa principen om minsta möjliga behörighet. En central förteckning bör innehålla uppgifter om ägare och anslutna tjänster för varje driftsättning, tillsammans med krav på godkännande av känsliga åtgärder. Det ger säkerhetsteamen underlag för att identifiera oregistrerade agenter och utreda olämplig åtkomst.

Microsofts strategi för datahantering betonar kontrollerad åtkomst till affärsinformation. Naveen Jangir, chefsarkitekt på Microsoft Digital, rekommenderar att organisationer ”styr och skyddar informationen med lämpliga åtkomstbegränsningar”. Dessa kontroller gör det möjligt för behöriga användare och AI-funktioner att använda informationen utan onödig exponering inom fastställda behörighetsgränser. Genom att tillämpa policyer för kopplingar och samtidigt utse ansvariga ägare kan organisationer göra dessa begränsningar till en del av det dagliga utvecklingsarbetet.

Säkerhetsrisker med högkodade AI-agenter och hur de kan åtgärdas

När team använder AI-kodningsagenter för att bygga anpassade system kan kodändringar genereras snabbare än människor hinner granska dem. Säkerhet vid högkodsutveckling kräver därför kontroller både av utvecklingsprocessen och av de miljöer där agenterna utför uppgifter.

Särskilda säkerhetsutmaningar vid högkodsutveckling

Kodningsagenter kan utsättas för indirekt promptinjektion när de läser externa kodarkiv som innehåller instruktioner från angripare. Om en agent följer instruktionerna samtidigt som den har åtkomst till utvecklingsverktyg kan den köra osäkra kommandon eller röja autentiseringsuppgifter. De möjliga konsekvenserna beror delvis på vilka filer, verktyg och externa destinationer agenten kan nå från sin exekveringsmiljö.

NVIDIAs vägledning om sandlådor behandlar risken för att autentiseringsuppgifter röjs inom exekveringsmiljöns gränser. Där står det att ”sandlådemiljöer bör förlita sig på uttrycklig tillförsel av hemligheter” för att begränsa åtkomsten till autentiseringsuppgifter. Därför bör agenter inte ärva fullständiga autentiseringsuppgifter för miljön när deras uppgifter bara kräver begränsad åtkomst. Team bör tillhandahålla autentiseringsuppgifter för den specifika uppgiften och hålla orelaterade hemligheter utom räckhåll för agenten.

Strategier för att säkra agentpipelines med mycket kod

Begränsade körningsmiljöer bör begränsa filåtkomst och utgående anslutningar utifrån uppgiften. Team bör också utföra statisk säkerhetstestning av applikationer på genererad kod. Oberoende granskare bör undersöka behörighetsbeslut och affärslogik som automatiserade kontroller kan missa. Dessa lager hanterar gränserna för exekvering och svagheter i den resulterande programvaran.

Amazon Web Services rekommenderar att kodgenerering skiljs från utvärdering i sitt ramverk för kontroller av kodningsagenter. Där konstateras att ”en separat session bidrar till att undvika självbekräftelsebias”. Två sessioner som använder samma modell kan dock ha samma underliggande blinda fläckar vid granskningen. När det är praktiskt möjligt kan en annan granskningsmodell och mänsklig utvärdering av säkerhetskänsliga ändringar bidra med ytterligare granskning.

Utforma en säkerhetsstrategi som omfattar båda metoderna

AI-säkerhet vid utveckling av agenter med lågkod och mycket kod kräver en gemensam bild av aktiviteten där agenter utbyter information. Ett arbetsflöde med lågkod kan till exempel skicka innehåll till en specialbyggd agent, som sedan anropar en annan företagstjänst. Om varje komponent granskas separat kan säkerhetsteamen sakna det sammanhang som behövs för att förstå hela förloppet.

AI-säkerhetsexperterna på Darktrace hävdar att organisationer måste granska promptar och sessioner tillsammans med svar i företagets generativa AI-verktyg och inom båda utvecklingsmetoderna. Deras perspektiv omfattar även miljöer med programvara som tjänst och säker åtkomst vid nätverkskanten. Med den insynen får organisationer det sammanhang som behövs för att ”upptäcka sofistikerade konversationsbaserade promptattacker och skadlig kedjning”.

Darktraces synsätt stöder en bredare AI-säkerhetsstrategi för agentutveckling med lågkod och mycket kod, eftersom insyn i promptar, sessionsövervakning och identitetskontroll hjälper team att förstå hur agenter samverkar via anslutna verktyg. Säkerhetsteamen bör undersöka hur instruktioner förändras genom sammankopplade sessioner och om efterföljande åtgärder fortfarande överensstämmer med den ursprungliga behörigheten. De bör också ta hänsyn till hur känslig information som sparas för utredning är.

Styrning och övervakning för långsiktig säkerhet kring AI-agenter

Varje agent bör ha en ansvarig ägare och ett tydligt avgränsat arbetsområde, oavsett utvecklingsmetod. Styrningen bör också ange vem som får godkänna ändringar av detta arbetsområde och vem som kan avbryta aktiviteten om en agent beter sig oväntat.

Forskning om styrning av agenter tyder på att agenter behöver befogenheter som kan autentiseras och granskas för att ansvarsutkrävandet ska fungera. Detta tillvägagångssätt kopplar samman personen som beviljar behörigheten med de uppgifter en agent får utföra. Organisationer kan sedan kontrollera en åtgärd mot den behörigheten.

Team bör föra aktivitetsloggar som kopplar delegerade behörigheter till verktygsanvändning och resultat. Återkommande granskningar bör se över behörigheterna när kapaciteten förändras, ta bort åtkomst som blivit över efter slutfört arbete och bekräfta att ägarskapet fortfarande är aktuellt. Utvecklings- och säkerhetsteam kan använda dessa granskningar för att hålla de operativa kontrollerna i linje med agentens godkända syfte.

Ligg steget före säkerhetsriskerna med AI-agenter

Utveckling med lågkod kräver noggrann hantering av plattformsbehörigheter och styrning av anslutningar, medan utveckling med mycket kod kräver särskild uppmärksamhet på anpassade körningsmiljöer och kodgranskning. Centraliserad övervakning och ett konsekvent ansvarstagande ger en gemensam grund för att kontrollera hur agenter får åtkomst till information och agerar i anslutna företagssystem. När funktionerna byggs ut bör utvecklare ompröva skyddsåtgärderna i takt med att agenternas verktyg och ansvarsområden förändras, så att de tillåtna aktiviteterna för varje driftsättning förblir tydliga under hela dess livscykel.