Fra generativ til agensbasert AI: Skiftet fra innholdrisiko til eksekusjonsutfordring

Bedriftens AI utvikler seg raskt. Det som startet som generativ AI-kopiloter som utarbeidet e-poster og sammenfattet dokumenter, blir nå noe mye mer selvstendig: systemer som planlegger, avgjør og eksekverer oppgaver på tvers av verktøy og miljøer.

Dette er skiftet fra generativ til agensbasert AI. Det er å se risikoen forvandle seg.

GenAI innførte innholdrisiko, inkludert hallucinasjoner, datalekkasjer via promter, og forvrengte utdata. Agensbasert AI-eksplosjon skjer gjennom sine selvstendige systemer, som har tillatelse, minne og evnen til å aksessere alle tilgjengelige verktøy med maskinens hastighet.

Dette er en mulighet for sikkerhets-, styrings- eller AI-eksperter til å vurdere sin posisjon på disse nye risikoene.

Hva er agensbasert AI-risiko?

Agensbasert AI-risiko refererer til sikkerhets-, operasjonelle og styringsrisiko som følger med AI-systemer som opererer selvstendig, ikke bare genererer tekst, men også utfører flertrinnsarbeidsflyter på bedriftssystemer.

I motsetning til tradisjonelle store språkmodeller (LLM), kan agensbaserte systemer bryte ned oppgaver i dynamiske arbeidsflyter, gjøre eksterne API-forespørsler og invokere interne applikasjoner, og lagre og gjenkalle minner. De kan også operere under delegert identitet og kommunisere med andre agenter.

Det er mindre som chatboter og mer som junior digitale ansatte. Dette representerer en massiv økning i AI-agentens angrepsflate.

Generativ vs agensbasert AI: Hva endrer seg?

Generativ AI-risiko sentrerer seg rundt utdata. Sikkerhetsteam spør spørsmål som om modellen lekkerte data, om den kunne hallucinere, eller om skadelig eller ikke-samsvarlig innhold ble generert.

Mennesker er fast i løkken. AI foreslår, menneskene godkjenner.

Agensbasert AI-risiko er handlingorientert. Nå må sikkerhetsteam spørre seg selv hva systemer agenten kan samhandle med, hvilke tillatelser den vil arve, hvor langt dens plan kan nå, og hva som skjer hvis den blir lurt mens den kjører.

Forskjellen kan være svært liten, men den er betydelig: Generativ AI skaper innhold. Agensbasert AI skaper konsekvenser. Dette er skiftet fra innholdrisiko til eksekusjonsutfordring.

Hvordan utvider agensbasert AI bedriftens angrepsflate?

Agensbasert AI legger ikke bare til en ny applikasjon. Den skaper en ny operasjonslag. Her er hvordan angrepsflaten vokser:

1. Privilegerte AI-agenter

Det finnes mange agenter som handler på vegne av brukere eller tjenekontoer. Når omfanget av tillatelser ikke er strengt, blir de verdifulle mål.

Dette kan føre til forvirrede deputatproblemer, privilegieoppgradering og lateral bevegelse. Dette er et problem når sky-, SaaS- og interne systemer gir dynamisk eller arvet tilgang til agenter.

2. Dynamiske eksekusjonsveier

Kontrollflyter i tradisjonelle apper er deterministiske. Kontrollflyter i agensbaserte AI-systemer er ikke det.

De tenker over mål, handlinger, reflekterer, finjusterer og invokerer verktøy på en ikke-deterministisk måte. Dette fører til vanskelige å analysere feiltilfeller, komplekse avhengighetsgrafer og kaskadefeil i multi-agent-systemer. Sikkerhetskontroller utviklet for deterministiske kontrollflyter er ikke anvendelige her.

3. Varig minne

Angrepsflaten som følger med agentminne er varig.

Når kort- eller langtidsminne er kompromittert, kan en skadelig tilstand påvirke avgjørelser over flere sesjoner. Dette skiller seg fra en enkelt injeksjon av en prompt, da minnekompromittering gir varighet.

4. Maskinhastighetsavgjørelsrisiko

Selvstendige agenter tar avgjørelser med en hastighet som er umulig å matche. Dette bringer maskinhastighetsavgjørelsutfordringer, som rask feilpropagering, misbrukssykluser mye raskere enn menneskelig reaksjon, og eskalering før detektering er mulig.

I multi-agent-systemer er omfanget av påvirkning raskt. En skadelig agent kan utløse en feilkaskade i koordineringskjeder.

Hvorfor feiler tradisjonelle kontroller med agensbasert AI

De fleste tradisjonelle bedriftssikkerhetsmodeller baserer seg på statiske applikasjoner, forutsigbare kallografer, menneskelig godkjenning og en tydelig skille mellom dataforedling og eksekusjon. Agensbasert AI gjør disse antagelsene ugyldige.

<p-Ta eksempel en tradisjonell kontroll som inndata-validering. Dette sikrer grensen av et system. Imidlertid oppstår agensbasert risiko vanligvis midt i en løkke, i planleggings-, refleksions- eller verktøyfasen.

Tradisjonell sårbarhets-scanning fokuserer også på infrastruktur og programvare. Imidlertid bor AI-eksekusjonsrisiko innenfor begrunnelses- og handlingssjiktet til agenten.

Spørsmålet er: Hvordan beskytter du noe som kan velge sin egen neste handling? Du kan ikke bare pakke kontroller rundt en enkelt modellkall. Du må sikre arbeidsflyten.

Sikre agensbasert AI: Hva fungerer virkelig?

Når det gjelder å sikre agensbasert AI, må det være et skifte fra perimetersyn til livssyklussyn. Agenter bør ikke tillates å reinterpretere mål uendelig, og det finnes flere måter å oppnå dette på.

Etablere tillatte sekvenser av mål, regulere dybden av planekspansjonstrær, overvåke begrunnelsesavvik og forby selv-etterfulgte mål utenfor omfanget er alle essensielle kontroller. Uventede variasjoner i begrunnelse er ofte forløperne til manipulering.

Gjør verktøy-eksekusjon hard. Verktøy er der planen møter virkeligheten, og sikkerhet må dekke tillatelseskontroller før verktøy-eksekusjon, sandbox-eksekusjonsmiljøer, strenge parameter-valideringer og just-in-time-creditransfer. Hver verktøy-eksekusjon må logges som en førsteklasses sikkerhetsbegivenhet.

Isolere minne og privilegieomfang. Minne må behandles som sensitiv infrastruktur. Dette betyr å validere skriveoperasjoner, minnedomæne-partisjonering, begrense omfanget for leseoperasjoner per oppgave, bruke kortvarige kreditorer og forhindre arvede privilegier. Uvalideret tillatelse-akkumulering er en stor agensbasert AI-risiko.

Sikre multi-agent-koordinering. I distribuerte agentsystemer blir kommunikasjon selv en angrepsvektor. Dette bør innebære agent-autentisering, meldingsskjema-validering, begrensede kommunikasjonskanaler og overvåking av anomale påvirkningsmønster. Når koordinering avviker fra forventede flyter, bør isolering skje automatisk.

Fra eksponeringsstyring til eksponeringsvurdering for AI-systemer

Dette er der en bredere sikkerhetsfilosofi blir nøkkel. Tradisjonell sårbarhetsstyring identifiserer kjente svakheter. Imidlertid introduserer selvstendige AI-systemer emergent eksponering: risiko som oppstår fra konfigurasjon, tillatelsedesign, integrasjonsveier og dynamisk atferd.

Dette stemmer overens med hva industrien har døpt eksponeringsstyring og, mer nylig, eksponeringsvurdering.

Eksponeringsstyring handler om å ha kontinuerlig visibilitet i hvordan systemer (inkludert sky-aktiver, identiteter, applikasjoner og nå AI-agenter) skaper veier som angripere kan utnytte.

For selvstendige AI-systemers sikkerhet, betyr det å spørre: Hva kan denne agenten nå? Hva tillatelser akkumulerer den? Hva systemer koordinerer den? Og hvor møter eksekusjon sensitivt data?

Lag som allerede bruker eksponeringsbaserte strategier for å redusere cyber-risiko er i en solid posisjon til å utvide disse prinsippene til sine AI-miljøer. For eksempel gir plattformer som samler identitet, sky og sårbarhetsvisibilitet en måte å forstå hvordan privilegerte AI-agenter møter eksisterende angrepsveier.

Nøkkelen er ikke leverandør-verktøy per se. Det er tankesettet:

Du sikrer ikke agensbasert AI ved å beskytte modellen. Du sikrer det ved å kontinuerlig måle og redusere dens eksponering.

Styring av eksekusjonslagrisiko i agensbasert AI

Kjennetegnet på agensbasert AI-sikkerhet er dette: Angrepsflaten er ikke responsen, men arbeidsflyten.

Eksekusjonslagrisiko er mange, inkludert uautentisert verktøybruk, identitetsspoofing, privilegieklatring, minnepoisoning, kryss-agent-manipulering og menneske-i-løkken-systemer under tvang.

Å mildne disse risikoene betyr å ha visibilitet i identitetsforhold, privilegiearv, API-avhengigheter, kjøretidsaktivitet og eksekusjons-telemetri.

Dette er ikke lenger bare GenAI-sikkerhet; det er AI-operasjonssikkerhet også.

Agensbasert AI-risiko er arkitektonisk, ikke hypotetisk

Agensbasert AI er neste skritt i utviklingen av bedriftens AI-tilpasning. Det holder løftet om effisiens, automatisering og skalerbarhet. Imidlertid introduserer det også risiko fra hva AI sier til hva AI gjør.

Overgangen fra generativ til agensbasert systemer påvirker følgende:

• Innholdrisiko til eksekusjonsrisiko
• Statiske promter til dynamiske eksekusjonsflyter
• Menneskelig gjennomgang til selvstendig eksekusjon
• Applikasjonssikkerhet til eksponeringsstyring

Sikkerhetsledere som forstår denne overgangen først, kan arkitektere retningslinjer som skalerer med selvstendighet. Andre vil ende opp med digitale innsidere uten innsiderekontroller.

Fremtiden for AI i bedriften er agensbasert. Fremtiden for AI-sikkerhet må være eksponeringsdrevet, arbeidsflyt-bevisst og designet for maskinhastighetsoperasjoner.

Fordi når AI-agenter har evnen til å eksekvere, er den eneste gyldige tilnærmingen å kontinuerlig forstå (og mildne) hva de er utsatt for.