Kieran Norton, Deloittes US Cyber AI & Automatiseringsleder – Intervju-serie

Kieran Norton er en principal (partner) i Deloitte & Touche LLP, og er US Cyber AI & Automatiseringsleder for Deloitte. Med over 25 års omfattende erfaring og en solid teknisk bakgrunn, utmerker Kieran seg i å håndtere nye risikoer, og gir kundene strategiske og pragmatiske innsikter i cybersikkerhet og teknisk risikostyring.

Innen Deloitte, leder Kieran AI-omstillingsarbeidet for US Cyber-praksisen. Han overvåker design, utvikling og markedsgjennomføring av AI- og automatiseringsløsninger, som hjelper kundene med å forbedre sine cybersikkerhetskapasiteter og tilpasse AI/Gen AI-teknologier samtidig som de effektivt håndterer de tilknyttede risikoene.

Eksternt hjelper Kieran kundene med å utvikle sine tradisjonelle sikkerhetsstrategier for å støtte digital transformasjon, modernisere forsyningskjeder, akselerere tid til marked, redusere kostnader og oppnå andre kritiske forretningsmål.

Hva nye kategorier av cybersikkerhetstrusler oppstår når AI-agenter blir mer og mer autonome, som bedrifter kanskje ikke ennå fullt ut forstår?

Risikoene forbundet med å bruke nye AI-relaterte teknologier til å designe, bygge, distribuere og håndtere agenter, kan være forstått – operasjonell er en annen sak.

AI-agents selvstendighet og autonomi – evnen til å oppfatte, beslutte, handle og operere uavhengig av mennesker – kan skape utfordringer med å opprettholde synlighet og kontroll over forhold og interaksjoner som modeller/agenter har med brukere, data og andre agenter. Ettersom agentene fortsetter å multiplisere innen bedriften, kobler flere plattformer og tjenester med økende autonomi og beslutningsrett, vil dette bli stadig vanskeligere. Truslene forbundet med dårlig beskyttede, overdrivne eller skygge AI-agenter/autonomi er tallrike. Dette kan inkludere datalekkasje, agentmanipulasjon (via promptinjeksjon osv.) og agent-til-agent-angrepskjeder. Ikke alle disse truslene er her-og-nå, men bedrifter bør vurdere hvordan de vil håndtere disse truslene når de tar i bruk og modner AI-drevne kapasiteter.

AI-identitetshåndtering er en annen risiko som bør vurdere nøye. Å identifisere, etablere og håndtere maskinidentiteter for AI-agenter, vil bli mer komplekst når flere agenter distribueres og brukes over bedrifter. Den efemere naturen til AI-modeller/modellkomponenter som spennes opp og rivs ned gjentakende under varierte omstendigheter, vil resultere i utfordringer med å opprettholde disse modell-ID-er. Modell-identiteter er nødvendige for å overvåke aktivitet og atferd hos agenter fra både et sikkerhets- og tillitsperspektiv. Hvis ikke implementert og overvåket på riktig måte, vil det være svært vanskelig å oppdage potensielle problemer (ytelse, sikkerhet osv.).

Hvor bekymret bør vi være for dataforgiftningangrep i AI-treningssystemer, og hva er de beste forebyggingsstrategiene?

Dataforgiftning representerer en av flere måter å påvirke/manipulere AI-modeller innen modellutviklingslivssyklusen. Forgifting skjer vanligvis når en dårlig aktør injiserer skadelig data i treningssettet. Imidlertid er det viktig å merke seg at, foruten eksplisitte motstandere, kan dataforgiftning også skje på grunn av feil eller systematiske problemer i data-generering. Ettersom organisasjoner blir mer og mer data-hungry og søker etter brukbar data på flere steder (f.eks. outsourced manuell annotering, kjøpte eller genererte syntetiske datasamlinger osv.), øker muligheten for å utilsiktet forgifte treningsdata, og dette kan ikke alltid være lett å diagnostisere.

Målretting av treningspipeliner er en primær angrepsvektor brukt av motstandere for både subtile og åpenbare påvirkning. Manipulering av AI-modeller kan føre til resultater som inkluderer feilpositive, feilnegative og andre mer sublime, skjulte påvirkninger som kan endre AI-forutsigelser.

Forebyggingsstrategier omfatter løsninger som er tekniske, prosedyrebaserte og arkitektoniske. Prosedyrestrategier inkluderer data-validering/sanitetskontroll og tillitsvurderinger; tekniske strategier inkluderer å bruke sikkerhetsforbedringer med AI-teknikker som f.eks. fordelt læring; arkitektoniske strategier inkluderer å implementere null-tillits-pipeliner og å implementere robust overvåking/varsel som kan fasilitere anomali-opptegnelse. Disse modellene er bare like gode som deres data, selv om en organisasjon bruker de nyeste og beste verktøyene, så kan dataforgiftning bli et akilleshæl for de uforberedte.

På hvilke måter kan motstandere manipulere AI-modeller etter distribusjon, og hvordan kan bedrifter oppdage manipulering tidlig?

Tilgang til AI-modeller etter distribusjon oppnås vanligvis gjennom å tilgå en programvaregrensesnitt (API), en applikasjon via en innbygd system, og/eller via en port-protokoll til en kant-enhet. Tidlig oppdagelse krever tidlig arbeid i programvareutviklingslivssyklusen (SDLC), å forstå relevante modell-manipulasjonsteknikker samt prioritere trusselvektorer for å utvikle metoder for oppdagelse og beskyttelse. Noen modell-manipulering inkluderer API-kapring, manipulering av minneområder (kjøretid), og langsom/gradvis forgiftning via modell-drift. Gitt disse metodene for manipulering, kan noen tidlige oppdagelsesstrategier inkludere å bruke endepunkts-telemetri/overvåking (via Endepunktsdeteksjon og Utvidet Deteksjon og Responstjenester), å implementere sikre inferens-pipeliner (f.eks. konfidensiell dataverking og Null-tillits-prinsipper), og å aktivere modell-vannmerking/modell-signering.

Promptinjeksjon er en familie av modellangrep som skjer etter distribusjon og kan brukes til ulike formål, inkludert å hente data på uventede måter, å avsløre systempromter som ikke er ment for vanlige brukere, og å indusere modell-responser som kan kaste en organisasjon i et negativt lys. Det finnes en rekke guardrail-verktøy på markedet for å hjelpe med å mildne risikoen for promptinjeksjon, men som med resten av cybersikkerheten, er dette en våpenkappløp hvor angreps-teknikker og defensive mottiltak konstant oppdateres.

Hvordan faller tradisjonelle cybersikkerhetsrammer kort i å håndtere de unike risikoene forbundet med AI-systemer?

Vi forbinder vanligvis ‘cybersikkerhetsramme’ med retningslinjer og standarder – f.eks. NIST, ISO, MITRE osv. Noen av organisasjonene bak disse har publisert oppdatert retningslinjer spesifikt for å beskytte AI-systemer, som kan være svært nyttige.

AI gjør ikke disse rammeveiledningene ineffektive – du må fortsatt håndtere alle de tradisjonelle domenene for cybersikkerhet — hva du kanskje må, er å oppdatere prosessene og programmene (f.eks. din SDLC) for å håndtere de nyanser forbundet med AI-arbeidsbyrder. Å innbygge og automatisere (der det er mulig) kontroller for å beskytte mot de nyanserte truslene beskrevet ovenfor, er den mest effektive veien fremover.

På et taktisk nivå er det verdt å nevne at det fulle spekteret av mulige inndata og utdata ofte er mye større enn ikke-AI-applikasjoner, noe som skaper et skalamessig problem for tradisjonell penetreringstesting og regelbasert deteksjon, derfor fokuserer vi på automatisering.

Hva er de viktigste elementene som bør inkluderes i en cybersikkerhetsstrategi spesifikt designet for organisasjoner som distribuerer generativ AI eller store språkmodeller?

Når du utvikler en cybersikkerhetsstrategi for å distribuere GenAI eller store språkmodeller (LLM), er det ingen en-size-fits-all-tilnærming. Mye avhenger av organisasjonens overordnede forretningsmål, IT-strategi, bransjefokus, regulatorisk fotavtrykk, risikotoleranse osv., samt de spesifikke AI-bruksfallene under vurdering. En intern bruk-bare chatbot har et helt annet risikoprofil enn en agent som kan påvirke helse-resultater for pasienter, for eksempel.

Det er imidlertid grunnleggende elementer som hver organisasjon bør håndtere:

• Utfør en beredskapsvurdering—dette etablerer en basis for nåværende kapasiteter samt identifiserer potensielle hull i forhold til prioritere AI-bruksfall. Organisasjoner bør identifisere hvor det finnes eksisterende kontroller som kan utvides for å håndtere de nyanserte risikoene forbundet med GenAI og behovet for å implementere nye teknologier eller forbedre eksisterende prosesser.
• Etablér en AI-styringsprosess—dette kan være nettsky eller en modifisering av eksisterende risikostyringsprogrammer. Dette bør inkludere å definere bedrifts-omfattende AI-aktiveringsfunksjoner og trekke inn interessenter fra hele bedriften, IT, produkt, risiko, cybersikkerhet osv. som en del av styringsstrukturen. I tillegg bør dette inkludere å definere/oppdaterer relevante politikker (akseptable brukspolitikker, sky-sikkerhetspolitikker, tredjeparts-teknologiriskstyring osv.) samt etablere L&D-krav for å støtte AI-litteratur og AI-sikkerhet/sikkerhet gjennom hele organisasjonen.
• Etablér en pålitelig AI-arkitektur—med oppføringen av AI/GenAI-plattformer og eksperiment-sandbokser, vil eksisterende teknologi samt nye løsninger (f.eks. AI-brannmurer/kjøretidssikkerhet, guardrails, modell-livssyklus-håndtering, forbedrede IAM-kapasiteter osv.) måtte integreres i utviklings- og distribusjonsmiljøer på en gjentakende og skalerbar måte.
• Forbedre SDLC-en—organisasjoner bør bygge tette integrasjoner mellom AI-utviklere og risikostyringsteamene som arbeider for å beskytte, sikre og bygge tillit til AI-løsninger. Dette inkluderer å etablere en enhetlig/standard sett av sikre programvareutviklingspraksiser og kontrollkrav i samarbeid med de bredere AI-utviklings- og adopsjonsteamene.

Kan du forklare konseptet “AI-brannmur” på en enkel måte? Hvor forskjellig er det fra tradisjonelle nettverksbrannmurer?

En AI-brannmur er en sikkerhetslag designet for å overvåke og kontrollere inndata og utdata fra AI-systemer—spesielt store språkmodeller—for å forhindre misbruk, beskytte sensitive data og sikre ansvarlig AI-atferd. I motsetning til tradisjonelle brannmurer som beskytter nettverk ved å filtrere trafikk basert på IP-adresser, porter og kjente trusler, fokuserer AI-brannmurer på å forstå og håndtere naturlige språk-interaksjoner. De blokkerer ting som toksisk innhold, datalekkasje, promptinjeksjon og uetisk bruk av AI ved å anvende politikker, kontekst-bevisste filtre og modell-spesifikke guardrails. I essensen, mens en tradisjonell brannmur beskytter ditt nettverk, beskytter en AI-brannmur dine AI-modeller og deres utdata.

Er det noen gjeldende bransjestandarder eller fremvoksende protokoller som styrer bruken av AI-spesifikke brannmurer eller guardrails?
Modell-kommunikasjonsprotokollen (MCP) er ikke en universell standard, men vinner fremgang over hele bransjen for å hjelpe med å håndtere den økende konfigurasjonsbyrden på bedrifter som har behov for å håndtere AI-GenAI-løsningsdiversitet. MCP styrer hvordan AI-modeller utveksler informasjon (inkludert læring) inkludert integritet og verifisering. Vi kan tenke på MCP som TCP/IP-staken for AI-modeller, som er spesielt nyttig i både sentraliserte, fordelt eller distribuerte bruksfall. MCP er for tiden en konseptuell ramme som realiseres gjennom ulike verktøy, forskning og prosjekter.

Rommet beveger seg raskt og vi kan forvente at det vil skifte ganske mye over de neste årene.

Hvordan transformerer AI feltet for trussel-opptegnelse og -respons i dag sammenlignet med for bare fem år siden?

Vi har sett at de kommersielle sikkerhetsoperasjons-sentre (SOC) plattformene moderniserer til ulike grader, ved å bruke store, høykvalitets datasamlinger sammen med avanserte AI/ML-modeller for å forbedre oppdagelse og klassifisering av trusler. I tillegg utnytter de automatisering, arbeidsflyt og auto-remediseringsevner for å redusere tiden fra oppdagelse til mitigasjon. Dessuten har noen introdusert copilot-kapasiteter for å støtte triage og respons.

I tillegg utvikles agenter for å fylle utvalgte roller innen SOC. Som et praktisk eksempel har vi bygget en ‘Digital Analyst’-agent for distribusjon i vårt eget managed services-tilbud. Agenten fungerer som en niveau-en-analytiker, som triagerer innkommende varsler, legger til kontekst fra trussel-intelligens og andre kilder, og anbefaler respons-steg (basert på omfattende sakshistorie) for våre menneskelige analytikere som deretter gjennomgår, modifiserer hvis nødvendig og tar handling.

Hvordan ser du på forholdet mellom AI og cybersikkerhet utvikle seg over de neste 3-5 årene—vil AI være mer en risiko eller en løsning?
Ettersom AI utvikler seg over de neste 3-5 årene, kan det hjelpe cybersikkerheten, men samtidig kan det også introdusere risikoer. AI vil utvide angrepsflaten og skape nye utfordringer fra et defensivt perspektiv. I tillegg vil motstander-AI øke muligheten, hastigheten og skalaen av angrep, noe som vil skape ytterligere utfordringer. På den andre siden, vil AI i cybersikkerhetsbransjen presenterer betydelige muligheter for å forbedre effektivitet, effisiens, smidighet og hastighet på cyber-operasjoner over de fleste domener—i sluttningen skaper det en ‘kamp ild med ild’-scenario.

Takk for det flotte intervjuet, lesere kan også ønske å besøke Deloitte.