Fra verktøy til insider: Oppblomstringen av autonome AI-identiteter i organisasjoner

AI har hatt en betydelig innvirkning på driftene i hver bransje, og har levert bedre resultater, økt produktivitet og ekstraordinære resultater. Organisasjoner i dag er avhengige av AI-modeller for å få en konkurransefordel, ta informerte beslutninger og analysere og strategisere sine forretningsinnsats. Fra produktledelse til salg, deployerer organisasjoner AI-modeller i hver avdeling, tilpasset for å møte spesifikke mål og objektiver.

AI er ikke lenger bare et supplerende verktøy i forretningsdrift; det har blitt en integrert del av en organisasjons strategi og infrastruktur. Men når AI-tilpasningen vokser, oppstår en ny utfordring: Hvordan håndterer vi AI-entiteter innenfor en organisasjons identitetsramme?

AI som distinkte organisatoriske identiteter 

Tanken på at AI-modeller har unike identiteter innenfor en organisasjon, har utviklet seg fra et teoretisk konsept til en nødvendighet. Organisasjoner begynner å tildele spesifikke roller og ansvar til AI-modeller, og gir dem tillatelser på samme måte som for menneskelige ansatte. Disse modellene kan få tilgang til sensitive data, utføre oppgaver, og ta beslutninger autonomt.

Med AI-modeller som påmeldes som distinkte identiteter, blir de essensielt sett digital motpart til ansatte. Like som ansatte har rollebasert tilgangskontroll, kan AI-modeller tildeles tillatelser for å samhandle med ulike systemer. Men denne utvidelsen av AI-roller øker også angrepsflaten, og introduserer en ny kategori av sikkerhetstrusler.

Farene med autonome AI-identiteter i organisasjoner

Mens AI-identiteter har gavnet organisasjoner, stiller de også noen utfordringer, inkludert:

• AI-modell forgiftning: Malisøse trusler kan manipulere AI-modeller ved å injisere forvrengt eller tilfeldig data, og forårsake at disse modellene produserer uriktige resultater. Dette har en betydelig innvirkning på finansielle, sikkerhets- og helseapplikasjoner.
• Insidertrusler fra AI: Hvis et AI-system er kompromittert, kan det fungere som en insidertrussel, enten på grunn av uforvarende sårbarheter eller motstridende manipulering. I motsetning til tradisjonelle insidertrusler som involverer menneskelige ansatte, er AI-baserte insidertrusler vanskeligere å oppdage, da de kan operere innenfor ramen for deres tildelte tillatelser.
• AI utvikler unike “personligheter”: AI-modeller, trent på mangfoldige datasett og rammer, kan utvikle seg på uforutsigbare måter. Mens de mangler sanne bevissthet, kan deres beslutningsmønster avvike fra forventede atferder. For eksempel kan en AI-sikkerhetsmodell begynne å feilaktig flagge legitime transaksjoner som bedrageriske eller omvendt når den er utsatt for misvisende treningdata.
• AI-kompromiss som fører til identitetstyveri: Like som stjålne legitimasjoner kan gi uautorisert tilgang, kan en kapret AI-identitet brukes til å omgå sikkerhetstiltak. Når et AI-system med privilegert tilgang er kompromittert, får en angriper en usedvanlig kraftfull verktøy som kan operere under legitime legitimasjoner.

Håndtering av AI-identiteter: Å anvende prinsipper for menneskelig identitetsstyring 

For å mildne disse risikoene, må organisasjoner omtenke hvordan de håndterer AI-modeller innenfor deres identitets- og tilgangsramme. Følgende strategier kan hjelpe:

• Rollebasert AI-identitetshåndtering: Behandle AI-modeller som ansatte ved å etablere strenge tilgangskontroller, og sikre at de bare har tillatelser som er nødvendige for å utføre spesifikke oppgaver.
• Atferdsmessig overvåking: Implementer AI-drevne overvåkingsverktøy for å spore AI-aktiviteter. Hvis en AI-modell begynner å vise atferd utenfor dens forventede parametre, bør varslinger utløses.
• Zero Trust-arkitektur for AI: Like som menneskelige brukere krever autentisering på hver trinn, bør AI-modeller kontinuerlig verifiseres for å sikre at de opererer innenfor deres autoriserte område.
• AI-identitetsrevokasjon og revisjon: Organisasjoner må etablere prosedyrer for å tilbakekalle eller modifisere AI-tilgangstillatelser dynamisk, spesielt i respons til mistenkelig atferd.

Analyse av den mulige cobraeffekten

Noen ganger er løsningen på et problem bare å gjøre problemet verre, en situasjon som historisk sett er beskrevet som cobraeffekten – også kalt en pervertert incentiv. I dette tilfelle, mens påmelding av AI-identiteter i directorysystemet adresserer utfordringen med å håndtere AI-identiteter, kan det også føre til at AI-modeller lærer directorysystemene og deres funksjoner.

På lengre sikt kan AI-modeller vise non-malisiøs atferd mens de forblir sårbare for angrep eller sogar eksfiltrere data i respons til malisøse forespørsler. Dette skaper en cobraeffekt, der et forsøk på å etablere kontroll over AI-identiteter i stedet muliggjør at disse identitetene lærer directorykontroller, og til slutt fører til en situasjon der disse identitetene blir ukontrollerbare.

For eksempel kan en AI-modell integrert i en organisasjons autonom SOC potensielt analysere tilgangsmønster og slutte seg til privilegiene som kreves for å få tilgang til kritiske ressurser. Hvis ikke egnet sikkerhetstiltak er på plass, kan et slikt system muligens modifisere gruppepolitikker eller utnytte dormante kontoer for å få uautorisert kontroll over systemer.

Balansere intelligens og kontroll

Til slutt er det vanskelig å bestemme hvordan AI-tilpasningen vil påvirke den overordnede sikkerhetsposturen til en organisasjon. Denne usikkerheten oppstår hovedsakelig fra skalaen som AI-modeller kan lære, tilpasse seg og handle, avhengig av dataene de konsumerer. I essensen blir en modell hva den konsumerer.

Mens overvåket læring tillater kontrollert og veiledet trening, kan det begrense modellens evne til å tilpasse seg dynamiske miljøer, potensielt gjøre den stiv eller foreldet i utviklende operasjonelle sammenhenger.

Omvisst læring, på den andre siden, gir modellen større autonomi, og øker sannsynligheten for at den vil utforske mangfoldige datasett, potensielt inkludert de utenfor dens intensjonelle område. Dette kan påvirke dens atferd på uventede eller usikre måter.

Utfordringen er derfor å balansere denne paradokset: å begrense et essensielt ubegrenset system. Målet er å designe en AI-identitet som er funksjonell og tilpassbar uten å være fullstendig ubegrenset, empowerment, men ikke ubegrenset.

Fremtiden: AI med begrenset autonomi? 

Gitt den økende avhengigheten av AI, må organisasjoner pålegge begrensninger på AI-autonomi. Mens fullstendig uavhengighet for AI-entiteter forblir usannsynlig i nær fremtid, kan kontrollert autonomi, der AI-modeller opererer innenfor en forhåndsdefinert område, bli standarden. Dette sikrer at AI forbedrer effektivitet mens det minimiserer uforutsette sikkerhetstrusler.

Det ville ikke være overraskende å se reguleringer etablere spesifikke retningslinjer for hvordan organisasjoner deployerer AI-modeller. Hovedfokuset ville – og bør – være på dataprivat, spesielt for organisasjoner som håndterer kritisk og sensitiv personlig identifiserbar informasjon (PII).

Til tross for at disse scenariene kan synes spekulative, er de langt ifra usannsynlige. Organisasjoner må proaktivt adresse disse utfordringene før AI blir både en aktiv og en passiv innenfor deres digitale økosystemer. Mens AI utvikler seg til en operasjonell identitet, må sikring av den være en topprioritet.