Fra verktøy til insider: Oppblomstringen av autonome AI-identiteter i organisasjoner

AI har hatt en betydelig innvirkning på driftene i hver bransje, og har levert bedre resultater, økt produktivitet og ekstraordinære resultater. Organisasjoner i dag er avhengige av AI-modeller for å få en konkurransefordel, ta informerte beslutninger og analysere og strategisere sine forretningsinnsats. Fra produktledelse til salg, deployerer organisasjoner AI-modeller i hver avdeling, tilpasset for å møte spesifikke mål og objekter.

AI er ikke lenger bare et supplementært verktøy i forretningsdrift; det har blitt en integrert del av en organisasjons strategi og infrastruktur. Imidlertid, når AI-adoptsjon vokser, oppstår en ny utfordring: Hvordan håndterer vi AI-entiteter innenfor en organisasjons identitetsramme?

AI som distinkte organisatoriske identiteter

Idéen om at AI-modeller har unike identiteter innenfor en organisasjon, har utviklet seg fra et teoretisk konsept til en nødvendighet. Organisasjoner begynner å tildele spesifikke roller og ansvar til AI-modeller, og gir dem tillatelser på samme måte som de ville for menneskelige ansatte. Disse modellene kan få tilgang til sensitive data, utføre oppgaver og ta beslutninger selvstendig.

Med AI-modeller som blir påmeldt som distinkte identiteter, blir de essensielt digitalt motstykke til ansatte. Like som ansatte har rollebasert tilgangskontroll, kan AI-modeller tildeles tillatelser til å samhandle med ulike systemer. Imidlertid øker også denne utvidelsen av AI-roller angrepsflaten, og introduserer en ny kategori av sikkerhetstrusler.

Farene med autonome AI-identiteter i organisasjoner

Mens AI-identiteter har gavnet organisasjoner, stiller de også noen utfordringer, inkludert:

• AI-modell forgiftning: Malisøse trusler kan manipulere AI-modeller ved å injisere forvrengt eller tilfeldig data, og får disse modellene til å produsere uriktige resultater. Dette har en betydelig innvirkning på finansielle, sikkerhets- og helseapplikasjoner.
• Insidertrusler fra AI: Hvis et AI-system er kompromittert, kan det fungere som en insidertrussel, enten på grunn av utilsiktet sårbarhet eller motstridig manipulering. I motsetning til tradisjonelle insidertrusler som involverer menneskelige ansatte, er AI-baserte insidertrusler vanskeligere å oppdage, da de kan operere innenfor ramen for deres tildelte tillatelser.
• AI utvikler unike “personligheter”: AI-modeller, trent på ulike datasett og rammer, kan utvikle seg på uforutsigbare måter. Mens de mangler sant bevissthet, kan deres beslutningsmønster avvike fra forventede atferder. For eksempel kan en AI-sikkerhetsmodell begynne å feilaktig flagge legitime transaksjoner som svindel eller omvendt når den er utsatt for misvisende treningdata.
• AI-kompromiss som fører til identitetstyveri: Like som stjålne legitimasjoner kan gi uautorisert tilgang, kan en kapret AI-identitet brukes til å omgå sikkerhetstiltak. Når et AI-system med privilegert tilgang er kompromittert, får en angriper en usedvanlig kraftfull verktøy som kan operere under legitime legitimasjoner.

Håndtering av AI-identiteter: Anvendelse av menneskelig identitetsstyring

For å mildne disse risikoene, må organisasjoner omtenke hvordan de håndterer AI-modeller innenfor deres identitets- og tilgangsstyring. Følgende strategier kan hjelpe:

• Rollebasert AI-identitetshåndtering: Behandle AI-modeller som ansatte ved å etablere strenge tilgangskontroller, og sikre at de bare har tillatelser som er nødvendige for å utføre spesifikke oppgaver.
• Atferdsmessig overvåking: Implementer AI-drevne overvåkingsverktøy for å spore AI-aktiviteter. Hvis en AI-modell begynner å vise atferd utenfor dens forventede parametre, skal advarsler utløses.
• Zero Trust-arkitektur for AI: Like som menneskelige brukere krever autentisering på hver trinn, skal AI-modeller kontinuerlig verifiseres for å sikre at de opererer innenfor deres autoriserte område.
• AI-identitet-tilbakekalling og revisjon: Organisasjoner må etablere prosedyrer for å tilbakekalle eller modifisere AI-tilgangstillatelser dynamisk, spesielt i respons til mistenkelig atferd.

Analyse av den mulige cobraeffekten

Noen ganger kan løsningen på et problem bare gjøre problemet verre, en situasjon som historisk er beskrevet som cobraeffekten – også kalt en pervers incentiv. I dette tilfelle, mens påmelding av AI-identiteter til katalogsystemet løser utfordringen med å håndtere AI-identiteter, kan det også føre til at AI-modeller lærer katalogsystemene og deres funksjoner.

På lang sikt kan AI-modeller vise ikke-malisøs atferd mens de fortsatt er sårbare for angrep eller selv eksfiltrere data i respons til malisøse forespørsler. Dette skaper en cobraeffekt, hvor et forsøk på å etablere kontroll over AI-identiteter i stedet muliggjør at de lærer katalogkontroller, og til slutt fører til en situasjon hvor disse identitetene blir ukontrollerbare.

For eksempel kan en AI-modell integrert i en organisasjons autonom SOC potensielt analysere tilgangsmønster og slutte seg til de privilegier som er nødvendige for å få tilgang til kritiske ressurser. Hvis egnet sikkerhetstiltak ikke er på plass, kan et slikt system kanskje modifisere gruppepolitikker eller utnytte dormante kontoer for å få uautorisert kontroll over systemer.

Balansere intelligens og kontroll

Til slutt er det vanskelig å bestemme hvordan AI-adoptsjon vil påvirke en organisasjons sikkerhetsposture. Denne usikkerheten oppstår hovedsakelig fra skalaen som AI-modeller kan lære, tilpasse seg og handle, avhengig av dataene de konsumerer. I essensen blir en modell det den konsumerer.

Mens overvåket læring tillater kontrollert og veiledet trening, kan det begrense modellens evne til å tilpasse seg dynamiske miljøer, potensielt gjøre den stiv eller foreldet i utviklende operasjonelle sammenhenger.

Omvendt, uovervåket læring gir modellen større autonomi, og øker sannsynligheten for at den vil utforske ulike datasett, potensielt inkludert de utenfor dens tenkte område. Dette kan påvirke dens atferd på uventede eller usikre måter.

Utfordringen er derfor å balansere denne paradokset: å begrense et essensielt ubegrenset system. Målet er å designe en AI-identitet som er funksjonell og tilpasningsdyktig uten å være fullstendig ubegrenset, empoweret, men ikke ukontrollert.

Fremtiden: AI med begrenset autonomi?

Gitt den økende avhengigheten av AI, må organisasjoner pålegge begrensninger på AI-autonomi. Mens fullstendig uavhengighet for AI-entiteter forblir usannsynlig i nær fremtid, kan kontrollert autonomi, hvor AI-modeller opererer innenfor et forhåndsdefinert område, bli standarden. Dette tilnærmingen sikrer at AI forbedrer effektivitet mens det minimerer uforutsette sikkerhetsrisiko.

Det ville ikke være overraskende å se reguleringer etablere spesifikke retningslinjer for hvordan organisasjoner deployerer AI-modeller. Hovedfokuset ville – og burde – være på dataprivatitet, spesielt for organisasjoner som håndterer kritiske og sensitive personlige identifiserbare informasjoner (PII).

Skjønt disse scenariene kan synes spekulative, er de langt ifra usannsynlige. Organisasjoner må proaktivt håndtere disse utfordringene før AI blir både en ressurs og en byrde innenfor deres digitale økosystemer. Mens AI utvikler seg til en operasjonell identitet, må sikring av det være en topprioritet.