Tankeledere

Når AI blir rogue: Minder insidertrusler i en tid med autonome agenter

mm
Legg til Unite.AI blant dine foretrukne kilder på Google

 Den raskt voksende bruken av AI-agenter skaper nye utfordringer for sikkerhets- og IT-team. På terskelen av denne overgangen til mer agent-automatiserte arbeidsflyter for bedriftens kontinuitet, fant nylig testing at AI-agenter kan utvise usikre eller bedrageriske atferder under visse forhold, og skape en ny insidertrussel for bedrifter over hele bransjen.

Dette presenterer et kritisk behov for organisasjoner å overvåke AI-agenter som har tilgang til sensitive data og handler uten menneskelig tilsyn, og introduserer potensielt nye klasser av risiko som er raskere, mindre forutsigbare og vanskeligere å tilskrive. Realiteten av disse risikoene er todelt. På den ene side må sikkerhetsteamene være forberedt på dårlige aktører som bruker AI-agenter til å styrke sosiale ingeniørangrep som tar sikte på deres ansatte. På den andre siden må de være forberedt på internasjonale AI-agenter som kan utvise atferd som skaper en helt ny rekke sikkerhetsrisiko og sårbarheter.

Hvordan interne AI-agenter kan føre til insidertrusler

AI-agenter utgjør to nøkkelinterne sikkerhetsrisikoer innenfor bedriftens nettverk. Først og fremst opererer de autonomt uten de etiske grensene eller den innebygde ansvarligheten som menneskelige arbeidere følger naturlig. Basert på antatte mål og ikke eksplisitte instruksjoner, kan deres effektivitet og utholdenhet føre til at de overskrider grenser og handler uten godkjenning. Uten nødvendige kontroller og balanser på plass, kan sårbarheter lett skapes og overse.

Disse agentene kan også ha tilgang til store mengder data, men mangler evnen til å skille mellom privilegert og vanlig informasjon. Derfor kan selv enkle oppgaver som å analysere datasett føre til at data blir lekket eller eksponert for eksterne parter. Dette blir enda mer komplekst når AI skaleres over forskjellige systemer og arbeidsflyter med forskjellige dataregler og protokoller. Agenter som opererer over regioner kan ofte bryte lokale datahåndteringregler på grunn av inkonsistent politikk-gjennomføring, og bygge sikkerhetsrisiko. Realiteten er at bare 30% av amerikanske bedrifter aktivt kartlegger hvilke AI-agenter som har tilgang til kritiske systemer, og skaper en stor sikkerhetsblindhet.

Hvordan eksterne AI-agenter kan føre til insidertrusler

En av de vanligste måtene for hakere å komme inn er gjennom phishing- og sosiale ingeniørangrep. Dårlige aktører og cyber-gjenger bruker AI-agenter til å forbedre disse angrepene og gjennomføre sofistikerte deepfake- og impersoneringshendelser. AI-agenter kan brukes til å lage phishing- og sosiale ingeniørangrep som ser mer realistiske og troverdige ut for et uopplært øye. 60% av datalekkasjene i 2024 involverte et menneskelig element, og nesten en fjerdedel av disse oppstod fra sosiale ingeniørangrep. Dette tallet vil bare øke ettersom bruken av AI-agenter vil fortsette å styrke disse inngangsmetodene.

AI-agenter kan bli trent til å gå gjennom omfattende mengder sosiale medier og personlige data over plattformer og kanaler for å sende målrettede, personlige kommunikasjoner. Meldinger som etterligner tone og stemme fra sendere er mer sannsynlig å lykkes og vanskeligere å skille fra ekte medier. AI-agenter kan lære å tilpasse sine kampanjer for å forbedre effekten, og endre retning når et angrep ikke fungerer eller etterligne et angrep som lyktes.

Når det gjelder deepfakes, kan AI-agenter generere disse etterligningene i overlegen hastighet, noe som fører til massmanipulering. Dårlige aktører bruker også AI-agenter til å kommunisere med sanntidsvideo-opptak med liten eller ingen forsinkelse, og forbedre troverdigheten. De kan reagere på en måls reaksjon i sanntid og endre tilnærmingen hvis nødvendig. Disse forbedrede angrepene kan øke risikoen for insidertrusler fra uoppmerksomme ansatte som kan bli lurt til å eksponere sensitive data, godkjenne transaksjoner eller dele legitimasjon med trusselaktører.

Sikkerhetsteamets rolle i å håndtere agente AI-utfordringer

Sikkerhetsteamene må iverksette bestemte tiltak for å begrense blindsonene som skapes av AI-agenter. IT-avdelingene bør først og fremst begrense AI-agent-tilgangen til sensitive data gjennom datagovernance og sanntids-synlighetskontroller. Skritt for å oppnå dette inkluderer å klassifisere AI-agent-identiteter i IAM-systemer og overvåke deres aktivitet med samme rigor som privilegerte kontoer. Synlighetsdelen går videre ved å overvåke nettverksaktivitet for allerede implementerte atferdsbaseliner tilordnet AI-agenter. Med synlighet kan IT-teamene overvåke privilegert tilgangsbevegelse og anomalier, ikke bare for å støtte forebyggende tiltak, men også for å akselerere begrensning og gjenoppretting i tilfelle av en rogue-agent.

I tillegg kan organisasjonene, ved å identifisere nye mønster og taktikker brukt i AI-agent-angrep, oppdatere sine forsvarstrategier og trene sine sikkerhetssystemer til å gjenkjenne og avverge lignende trusler i fremtiden.

Å holde foran insidertrusler introdusert av AI-agenter

Realiteten er at AI-agenter introduserer en ny insidertrussel på grunn av deres autonomi og økende tilgang til sensitive systemer. Videre vil trusselaktører fortsette å bruke AI-agenter til å utnytte menneskelige sårbarheter mer effektivt gjennom deepfakes, phishing og sosiale ingeniørangrep.

Så lenge denne teknologien utvikles, må bedriftene forbedre sin synlighet inn i AI-agent-tilgang og atferd før de adopterer dem i sine arbeidsflyter. Dette inkluderer å investere i proaktive, 360-graders, sanntids-overvåking sammen med en AI-agent-arbeidsstyrke. Mens AI-agenter kan løse kritiske bedriftsflaskehalser og utfordringer, krever de en proaktiv tilnærming for å begrense fremtidige insidertrusler.

Med over to tiår med erfaring i design, ledelse og implementering av avanserte programvare- og elektroniske systemer, er Todd en erfaren teknolog som er lidenskapelig opptatt av å utnytte store språkmodeller for å transformere menneske-maskin-interaksjon. Todd er dedikert til å fremme naturlige språkteknologier, og søker kontinuerlig å utvikle innflytelsesrike, banebrytende applikasjoner som omdefinerer grensene for menneske-maskin-samarbeid.