Fra verktøy til insider: Fremveksten av autonome AI-identiteter i organisasjoner

AI har hatt betydelig innvirkning på driften i alle bransjer, og levert forbedrede resultater, økt produktivitet og ekstraordinære resultater. Organisasjoner i dag er avhengige av AI-modeller for å få et konkurransefortrinn, ta informerte beslutninger og analysere og strategisk planlegge forretningsinnsatsen sin. Fra produktstyring til salg, distribuerer organisasjoner AI-modeller i alle avdelinger, og skreddersyr dem for å møte spesifikke mål.

AI er ikke lenger bare et tilleggsverktøy i forretningsdriften; det har blitt en integrert del av en organisasjons strategi og infrastruktur. Men ettersom AI-adopsjonen vokser, dukker det opp en ny utfordring: Hvordan håndterer vi AI-enheter innenfor en organisasjons identitetsrammeverk?

AI som distinkte organisasjonsidentiteter 

Ideen om at AI-modeller har unike identiteter innenfor en organisasjon har utviklet seg fra et teoretisk konsept til en nødvendighet. Organisasjoner begynner å tildele spesifikke roller og ansvar til AI-modeller, og gir dem tillatelser akkurat som de ville gjort for menneskelige ansatte. Disse modellene kan få tilgang til sensitive data, utføre oppgaver, og ta avgjørelser selvstendig.

Når AI-modeller integreres som separate identiteter, blir de i hovedsak digitale motparter til ansatte. Akkurat som ansatte har rollebasert tilgangskontroll, kan AI-modeller tildeles tillatelser til å samhandle med ulike systemer. Denne utvidelsen av AI-roller øker imidlertid også angrepsflaten, og introduserer en ny kategori av sikkerhetstrusler.

Farene ved autonome AI-identiteter i organisasjoner

Selv om AI-identiteter har vært til fordel for organisasjoner, reiser de også noen utfordringer, inkludert:

• Forgiftning av AI-modell: Ondsinnede trusselaktører kan manipulere AI-modeller ved å injisere partiske eller tilfeldige data, noe som fører til at disse modellene gir unøyaktige resultater. Dette har en betydelig innvirkning på økonomiske, sikkerhetsmessige og helsemessige applikasjoner.
• Insidertrusler fra AI: Hvis et AI-system blir kompromittert, kan det fungere som en insidertrussel, enten på grunn av utilsiktede sårbarheter eller manipulasjon fra fiendtlige parter. I motsetning til tradisjonelle insidertrusler som involverer menneskelige ansatte, er AI-baserte insidertrusler vanskeligere å oppdage, ettersom de kan operere innenfor rammen av sine tildelte tillatelser.
• AI utvikler unike «personligheter»: AI-modeller, trent på ulike datasett og rammeverk, kan utvikle seg på uforutsigbare måter. Selv om de mangler reell bevissthet, kan beslutningsmønstrene deres avvike fra forventet atferd. For eksempel kan en AI-sikkerhetsmodell feilaktig flagge legitime transaksjoner som uredelige, eller omvendt, når den utsettes for villedende treningsdata.
• AI-kompromittering som fører til identitetstyveriAkkurat som stjålne legitimasjonsopplysninger kan gi uautorisert tilgang, a kapret AI Identitet kan brukes til å omgå sikkerhetstiltak. Når et AI-system med privilegert tilgang kompromitteres, får en angriper et utrolig kraftig verktøy som kan operere under legitim legitimasjon.

Administrering av AI-identiteter: Anvendelse av prinsipper for menneskelig identitetsstyring 

For å redusere disse risikoene må organisasjoner revurdere hvordan de håndterer AI-modeller innenfor rammeverket for identitets- og tilgangsstyring. Følgende strategier kan hjelpe:

• Rollebasert AI-identitetsadministrasjon: Behandle AI-modeller som ansatte ved å etablere strenge tilgangskontroller, og sørg for at de kun har tillatelsene som kreves for å utføre spesifikke oppgaver.
• Atferdsovervåking: Implementer AI-drevne overvåkingsverktøy for å spore AI-aktiviteter. Hvis en AI-modell begynner å vise atferd utenfor de forventede parameterne, bør varsler utløses.
• Nulltillitsarkitektur for AI: Akkurat som menneskelige brukere krever autentisering i hvert trinn, bør AI-modeller kontinuerlig verifiseres for å sikre at de opererer innenfor sitt autoriserte omfang.
• Tilbakekalling og revisjon av AI-identitet: Organisasjoner må etablere prosedyrer for å tilbakekalle eller endre tilgangstillatelser for AI dynamisk, spesielt som svar på mistenkelig atferd.

Analyse av den mulige kobraeffekten

Noen ganger gjør løsningen på et problem bare problemet verre, en situasjon som historisk er beskrevet som kobraeffekten – også kalt et perverst insentiv. I dette tilfellet, mens integrering av AI-identiteter i katalogsystemet løser utfordringen med å administrere AI-identiteter, kan det også føre til at AI-modeller lærer seg katalogsystemene og deres funksjoner.

På lang sikt kan AI-modeller vise ikke-skadelig oppførsel, samtidig som de forblir sårbare for angrep eller til og med tvangsinndrivelse av data som svar på ondsinnede forespørsler. Dette skaper en kobraeffekt, der et forsøk på å etablere kontroll over AI-identiteter i stedet lar dem lære katalogkontroller, noe som til slutt fører til en situasjon der disse identitetene blir ukontrollerbare.

For eksempel kan en AI-modell integrert i en organisasjons autonome SOC potensielt analysere tilgangsmønstre og utlede hvilke rettigheter som kreves for å få tilgang til kritiske ressurser. Hvis det ikke er riktige sikkerhetstiltak på plass, kan et slikt system være i stand til å endre gruppepolicyer eller utnytte sovende kontoer for å få uautorisert kontroll over systemer.

Balansering av intelligens og kontroll

Til syvende og sist er det vanskelig å avgjøre hvordan bruk av kunstig intelligens vil påvirke den generelle sikkerhetssituasjonen til en organisasjon. Denne usikkerheten oppstår først og fremst fra skalaen der kunstig intelligens-modeller kan lære, tilpasse seg og handle, avhengig av dataene de inntar. I hovedsak blir en modell det den forbruker.

Selv om veiledet læring tillater kontrollert og veiledet trening, kan det begrense modellens evne til å tilpasse seg dynamiske miljøer, noe som potensielt gjør den rigid eller foreldet i utviklende driftssammenhenger.

Omvendt, uovervåket læring gir modellen større autonomi, noe som øker sannsynligheten for at den vil utforske ulike datasett, potensielt inkludert de utenfor det tiltenkte omfanget. Dette kan påvirke dens oppførsel på utilsiktede eller usikre måter.

Utfordringen er derfor å balansere dette paradokset: å begrense et iboende ubegrenset system. Målet er å designe en AI-identitet som er funksjonell og tilpasningsdyktig uten å være fullstendig ubegrenset, myndiggjort, men ikke ukontrollert.

Fremtiden: AI med begrenset autonomi? 

Gitt den økende avhengigheten av AI, må organisasjoner innføre begrensninger på AI-autonomi. Selv om full uavhengighet for AI-enheter fortsatt er usannsynlig i nær fremtid, kan kontrollert autonomi, der AI-modeller opererer innenfor et forhåndsdefinert omfang, bli standarden. Denne tilnærmingen sikrer at AI forbedrer effektiviteten samtidig som den minimerer uforutsette sikkerhetsrisikoer.

Det ville ikke være overraskende om regulatoriske myndigheter etablerte spesifikke samsvarsstandarder som styrer hvordan organisasjoner distribuerer AI-modeller. Hovedfokuset ville – og bør – være på personvern, spesielt for organisasjoner som håndterer kritisk og sensitiv personlig identifiserbar informasjon (PII).

Selv om disse scenariene kan virke spekulative, er de langt fra usannsynlige. Organisasjoner må proaktivt håndtere disse utfordringene før AI blir både en ressurs og en belastning i deres digitale økosystemer. Etter hvert som AI utvikler seg til en operativ identitet, må sikring av den være en topprioritet.