Cybersikkerhedsstrategier for udvikling af low-code- vs. high-code-agenter

Når organisationer tager AI-agenter i brug på tværs af forretningssystemer, hænger udviklingshastighed og sikkerhedstilsyn tæt sammen. Cybersikkerhedsstrategier for udvikling af low-code- og high-code-agenter skal tage højde for, hvordan de to tilgange giver adgang til information og gør det muligt at udføre handlinger. Målrettede sikkerhedsforanstaltninger kan håndtere forskellene, mens fælles styring sikrer, at agenternes aktiviteter fortsat stemmer overens med de godkendte opgaver, efterhånden som udrulningen vokser.

Hvad adskiller udvikling af low-code- og high-code-AI-agenter?

Low-code-platforme gør det muligt for udviklere at sammensætte agenter via visuelle grænseflader og forudbyggede forbindelser, der kobler forretningstjenester sammen. High-code-udvikling giver programmører større fleksibilitet til at definere agenters adfærd gennem tilpasset kode, værktøjsintegrationer og eksekveringsmiljøer. Begge tilgange kræver tilsyn med, hvilke oplysninger agenterne kan tilgå, og hvilke handlinger de kan udføre.

Sikkerhedsansvaret varierer, fordi kontrollen ligger forskellige steder. Low-code-udviklere arbejder med platformindstillinger, der styrer deling og adgang via forbindelser, hvilket gør konfigurationsvalg særligt vigtige. High-code-teams har et større ansvar for den software og de miljøer, der udfører agenternes instruktioner, herunder afgrænsning af adgangen til filer og loginoplysninger.

Cybersecurity and Infrastructure Security Agency identificerer flere risici ved agentisk AI, som udgør en nyttig referenceramme for begge tilgange. Et udvidet angrebsareal betyder flere indgangspunkter, mens gradvis ophobning af privilegier betyder, at adgangen øges over tid. Adfærdsmæssig fejltilpasning indebærer afvigelser fra de tilsigtede opgaver, og uklare hændelseslogfiler gør undersøgelser vanskeligere. En meget udbredt forbindelse og et ubegrænset kommandolinjeværktøj kan føre til forskellige udgaver af de samme problemer.

Sikkerhedsrisici ved low-code-AI-agenter og løsninger

Low-code gør det nemmere for medarbejdere uden for traditionelle udviklingsteams at skabe agenter. Sikkerhedstilsynet skal også omfatte disse udviklere, så de bekvemme forbindelser fortsat anvendes i overensstemmelse med godkendte forretningsformål.

Hvor low-code-miljøer kommer til kort på sikkerhed

Borgerudviklere kan forbinde en agent til delte filer eller forretningsapplikationer uden fuldt ud at forstå agentens tilladelser. Den adgang, der gives via disse forbindelser, kan blotlægge følsomme oplysninger eller muliggøre handlinger ud over det tilsigtede arbejdsforløb. Omfattende deling og uklart ejerskab kan forværre eksponeringen.

Udbredelsens omfang gør det vigtigt at føre konsekvent tilsyn på tværs af afdelinger. I en markedsanalyse fra 2024 rapporterer Forrester, at 87 % af udviklerne i virksomheder bruger low-code-platforme til noget af deres udviklingsarbejde. Resultatet vedrører udvikling generelt og dokumenterer derfor platformenes udbredelse, men måler ikke specifikt brugen af AI-agenter.

Praktiske måder at styrke sikkerheden for low-code-agenter

Teams bør gennemgå forbindelsernes tilladelser i forhold til hver agents tildelte opgave og anvende princippet om mindst mulige privilegier. Et centralt register bør for hver udrulning angive ejeren og de tilsluttede tjenester, og følsomme handlinger bør kræve godkendelse. Det giver sikkerhedsteams grundlag for at identificere ikke-registrerede agenter og undersøge uhensigtsmæssig adgang.

Microsofts tilgang til datastyring lægger vægt på kontrolleret adgang til forretningsoplysninger. Naveen Jangir, ledende arkitekt hos Microsoft Digital, anbefaler, at organisationer «styrer og beskytter dem med passende adgangsbegrænsninger». Disse kontroller gør det muligt for autoriserede brugere og AI-funktioner at anvende oplysningerne uden unødig eksponering inden for de fastlagte tilladelsesgrænser. Når forbindelsespolitikker kombineres med tydeligt ansvarligt ejerskab, kan disse begrænsninger blive en del af det daglige udviklingsarbejde.

Sikkerhedsrisici ved high-code-AI-agenter og løsninger

Når teams bruger AI-kodeagenter til at bygge skræddersyede systemer, kan ændringer genereret af agenterne komme hurtigere, end mennesker kan nå at gennemgå dem. Sikkerhed ved high-code-udvikling kræver derfor kontrol med både udviklingsprocessen og de miljøer, hvor agenterne udfører opgaver.

De særlige sikkerhedsudfordringer ved high-code-udvikling

Kodeagenter kan blive udsat for indirekte promptinjektion, når de læser eksterne kodearkiver med instruktioner indsat af en angriber. Hvis en agent følger instruktionerne, mens den har adgang til udviklingsværktøjer, kan den køre usikre kommandoer eller blotlægge loginoplysninger. De mulige konsekvenser afhænger blandt andet af, hvilke filer, værktøjer og eksterne destinationer eksekveringsmiljøet giver agenten adgang til.

NVIDIAs vejledning om sandkasseisolering omhandler eksponering af loginoplysninger inden for denne eksekveringsgrænse. Her står der, at «sandkassemiljøer bør benytte eksplicit indsprøjtning af hemmeligheder» for at begrænse adgangen til loginoplysninger. Derfor bør agenter ikke arve fuld adgang til miljøets loginoplysninger, når deres opgaver kun kræver begrænset adgang. Teams bør tildele loginoplysninger til den specifikke opgave og holde uvedkommende hemmeligheder uden for agentens rækkevidde.

Strategier til at styrke sikkerheden i pipelines for high-code-agenter

Begrænsede eksekveringsmiljøer bør begrænse filadgang og udgående forbindelser i overensstemmelse med opgaven. Teams bør også udføre statisk sikkerhedstest af applikationer på genereret kode. Uafhængige kontrollanter bør gennemgå autorisationsbeslutninger eller forretningslogik, som automatiserede kontroller kan overse. Disse lag beskytter eksekveringsgrænserne og afhjælper svagheder i den software, der udvikles.

Amazon Web Services anbefaler i sin ramme for styring af kodeagenter, at kodegenerering adskilles fra evaluering. Her påpeges det, at »En separat session hjælper med at undgå selvbekræftelsesbias.« To sessioner med samme model kan dog have de samme grundlæggende blinde vinkler under gennemgangen. Hvor det er praktisk muligt, kan en anden model til gennemgang og menneskelig evaluering af sikkerhedsfølsomme ændringer bidrage til yderligere kontrol.

Udformning af en sikkerhedsstrategi, der omfatter begge tilgange

AI-sikkerhed i udviklingen af low-code- og high-code-agenter kræver et fælles overblik over aktiviteterne alle de steder, hvor agenter udveksler information. En low-code-arbejdsgang kan for eksempel sende indhold til en specialbygget agent, som derefter kalder en anden forretningstjeneste. Hvis hver komponent gennemgås for sig, kan sikkerhedsteams mangle den kontekst, der er nødvendig for at forstå hele forløbet.

AI-sikkerhedseksperterne hos Darktrace mener, at organisationer skal undersøge prompter og sessioner sammen med svar på tværs af virksomheders generative AI-værktøjer og begge udviklingstilgange. Deres perspektiv omfatter også miljøer med software som en tjeneste og sikker adgangstjeneste ved netværkskanten. Med dette overblik får organisationer den kontekst, der gør, at »de kan opdage snedige samtalebaserede promptangreb og ondsindet kædning.«

Darktraces synspunkt understøtter en bredere AI-sikkerhedsstrategi for udvikling af low-code- og high-code-agenter, fordi indblik i prompter, overvågning af sessioner og kontrol med identiteter hjælper teams med at forstå, hvordan agenter interagerer på tværs af forbundne værktøjer. Sikkerhedsteams bør undersøge, hvordan instruktioner ændrer sig gennem forbundne sessioner, og om efterfølgende handlinger fortsat stemmer overens med den oprindelige autorisation. De bør også tage højde for, hvor følsomme de oplysninger er, som opbevares med henblik på undersøgelse.

Styring og overvågning af AI-agenters sikkerhed på lang sigt

Hver agent bør have en ansvarlig ejer og et klart defineret arbejdsområde, uanset hvordan den er udviklet. Styringen bør også fastlægge, hvem der kan godkende ændringer af dette arbejdsområde, og hvem der kan sætte agentens aktiviteter på pause, hvis den opfører sig uventet.

Forskning i agentstyring peger på, at agenter har brug for beføjelser, der kan autentificeres og revideres, så der kan drages ansvarlighed. Denne tilgang forbinder den person, der giver tilladelsen, med de opgaver, agenten må udføre. Organisationer kan dermed kontrollere en handling i forhold til den pågældende autorisation.

Teams bør føre aktivitetsregistre, der forbinder delegerede tilladelser med brugen af værktøjer og de opnåede resultater. Ved regelmæssige gennemgange bør tilladelserne vurderes på ny, efterhånden som funktionerne ændres; adgange, der er tilbage efter afsluttet arbejde, bør fjernes, og det bør bekræftes, at ejerskabet stadig er aktuelt. Udviklings- og sikkerhedsteams kan bruge disse gennemgange til at sikre, at de operationelle kontroller fortsat stemmer overens med agentens godkendte formål.

Hold dig på forkant med sikkerhedsrisici ved AI-agenter

Low-code-udvikling kræver omhyggelig styring af platformstilladelser og forbindelser, mens high-code-udvikling kræver særlig opmærksomhed på specialbyggede eksekveringsmiljøer og kodegennemgang. Centraliseret overvågning og ensartet ansvarlighed udgør et fælles grundlag for at holde øje med, hvordan agenter får adgang til information og handler på tværs af forbundne forretningssystemer. Efterhånden som funktionerne udvides, bør udviklere revurdere sikkerhedsforanstaltningerne, samtidig med at agenternes værktøjer og ansvarsområder ændres, og sikre, at de tilladte aktiviteter for hver implementering er tydelige gennem hele dens livscyklus.