Kieran Norton, Deloittes US Cyber AI & Automation-leder – Intervieuserie

Kieran Norton er en principal (partner) i Deloitte & Touche LLP og er US Cyber AI & Automation-leder for Deloitte. Med over 25 års omfattende erfaring og en solid teknologibaggrund, excellerer Kieran i at håndtere nye risici, og giver kunderne strategiske og pragmatiske indsigt i cybersikkerhed og teknologiriskstyring.

Inden for Deloitte, leder Kieran AI-transformationen for US Cyber-praksis. Han styrer design, udvikling og markedsudvikling af AI- og automatiseringsløsninger, der hjælper kunderne med at forbedre deres cybersikkerhedsfærdigheder og adoptere AI/Gen AI-teknologier, samtidig med at de effektivt håndterer de tilknyttede risici.

Eksternt hjælper Kieran kunderne med at udvikle deres traditionelle sikkerhedsstrategier til at støtte digital transformation, modernisere forsyningskæder, accelerere tid til marked, reducere omkostninger og opnå andre kritiske forretningsmål.

Hvad nye kategorier af cybersikkerhedstrusler opstår, da AI-agenter bliver mere selvstændige, og som virksomheder måske endnu ikke fuldt ud forstår?

Risiciene vedrørende brug af nye AI-relaterede teknologier til design, bygning, udrulning og drift af agenter kan være forstået – operationalisering er en anden sag.

AI-agent-agency og autonomi – evnen til, at agenter kan opfange, beslutte, handle og operere uafhængigt af mennesker – kan skabe udfordringer med at opretholde synlighed og kontrol over forhold og interaktioner, som modeller/agenter har med brugere, data og andre agenter. Da agenter fortsætter med at multiplicere inden for virksomheden, og forbinder multiple platforme og tjenester med øget autonomi og beslutningsrettigheder, vil dette blive mere og mere vanskeligt. Truslerne i forbindelse med dårligt beskyttede, overmål eller skygge AI-agency/autonomi er talrige. Dette kan inkludere dataleakage, agentmanipulation (via promptinjektion osv.) og agent-til-agent-angrebskæder. Ikke alle disse trusler er her-og-nu, men virksomheder bør overveje, hvordan de vil håndtere disse trusler, når de adopterer og modner AI-drevne færdigheder.

AI-identitetsstyring er en anden risiko, der bør være omhyggeligt overvejet. At identificere, etablere og styre maskinidentiteterne for AI-agenter vil blive mere komplekst, da flere agenter udrulles og bruges på tværs af virksomheder. Den efemere natur af AI-modeller/modellkomponenter, der spindes op og ned på forskellige måder, vil resultere i udfordringer i vedligeholdelsen af disse model-ID’er. Model-identiteter er nødvendige for at overvåge aktivitet og adfærd hos agenter fra både et sikkerheds- og tillidsperspektiv. Hvis ikke implementeret og overvåget korrekt, vil det være meget vanskeligt at opdage potentielle problemer (ydeevne, sikkerhed osv.).

Hvor bekymret bør vi være om dataforgiftningangreb i AI-træningspipeliner, og hvad er de bedste forebyggelsesstrategier?

Dataforgiftning repræsenterer en af flere måder at influere/manipulere AI-modeller inden for modellens udviklingslivscyklus. Forgiftning sker typisk, når en dårlig aktør indsprøjter skadelig data i træningsmængden. Det er dog vigtigt at bemærke, at ud over eksplicitte fjendtlige aktører kan dataforgiftning også opstå på grund af fejl eller systemiske problemer i data-generation. Da organisationer bliver mere data-sultne og søger efter brugbar data på flere steder (f.eks. outsourced manuel annotation, købte eller genererede syntetiske data-sæt osv.), øges muligheden for, at træningsdata kan blive forgiftet, og det kan ikke altid være let at diagnosticere.

At angribe træningspipeliner er en primær angrebsvektor, som fjendtlige aktører bruger til både subtile og åbenlyse påvirkninger. Manipulation af AI-modeller kan føre til resultater, der inkluderer falske positiver, falske negativer og andre mere subtile skjulte påvirkninger, der kan ændre AI-forudsigelser.

Forebyggelsesstrategier omfatter løsninger, der er tekniske, procedurmæssige og arkitektoniske. Procedurmæssige strategier inkluderer data-validering/sanering og tillidsvurderinger; tekniske strategier inkluderer brug af sikkerhedsforbedringer med AI-teknikker som f.eks. federeret læring; arkitektoniske strategier inkluderer implementering af zero-trust-pipeliner og robust overvågning/advarsel, der kan facilitere anomalidetektion. Disse modeller er kun så gode som deres data, selv om en organisation bruger de seneste og bedste værktøjer, så kan dataforgiftning blive et Achilles-hæl for de uforberedte.

På hvilke måder kan fjendtlige aktører manipulere AI-modeller efter udrulning, og hvordan kan virksomheder opdage manipulation tidligt?

Adgang til AI-modeller efter udrulning opnås typisk gennem adgang til en applikationsprogrammeringsgrænseflade (API), en applikation via en indbygget system, og/eller via en port-protokol til en edge-enhed. Tidlig opdaging kræver tidlig indsats i softwareudviklingslivscyklusen (SDLC), forståelse af relevante modelmanipulationsteknikker samt prioriterede trusselsvektorer for at udvikle metoder til opdaging og beskyttelse. Nogle modelmanipulationer indebærer API-hijacking, manipulation af hukommelsesrum (runtime) og langsom/gradvis forgiftning via modeldrift. Givet disse metoder til manipulation kan nogle tidlige opdagelsesstrategier inkludere brug af endpoint-telemetri/overvågning (via Endpoint Detection and Response og Extended Detection and Response), implementering af sikre inferens-pipeliner (f.eks. fortrolig beregning og Zero Trust-principper) og aktivering af modelvandmærkning/model-signering.

Promptinjektion er en familie af modelangreb, der sker efter udrulning, og kan bruges til forskellige formål, herunder at hente data på uventede måder, afsløre systemprompts, der ikke er tiltænkt normale brugere, og fremkalde modelrespons, der kan kaste en organisation i et negativt lys. Der er en række guardrail-værktøjer på markedet til at hjælpe med at mindske risikoen for promptinjektion, men som med resten af cybersikkerheden er dette en væbenede kapløb, hvor angrebsteknikker og defensive modforholdsregler konstant opdateres.

Hvordan falder traditionelle cybersikkerhedsrammer kort i at håndtere de unikke risici ved AI-systemer?

Vi associerer normalt ‘cybersikkerhedsramme’ med retningslinjer og standarder – f.eks. NIST, ISO, MITRE osv. Nogle af organisationerne bag disse har offentliggjort opdateret vejledning specifikt til beskyttelse af AI-systemer, hvilket kan være meget nyttigt.

AI gør ikke disse rammer ineffektive – du skal stadig håndtere alle de traditionelle domæner for cybersikkerhed – hvad du måske har brug for, er at opdatere dine processer og programmer (f.eks. din SDLC) for at håndtere de nuancer, der er forbundet med AI-arbejdsmængder. At indbygge og automatisere (hvor muligt) kontroller for at beskytte mod de nuancerede trusler, der er beskrevet ovenfor, er den mest effektive og effektive vej fremad.

På et taktisk niveau er det værd at nævne, at det fulde udvalg af mulige indgange og udgange ofte er langt større end ikke-AI-applikationer, hvilket skaber et problem af skala for traditionel penetrationstest og regelbaseret detektion, hvorfor fokus er på automatisering.

Hvad er de vigtigste elementer, der bør være inkluderet i en cybersikkerhedsstrategi specifikt designet til organisationer, der udruller generativ AI eller store sprogmodeller?

Når du udvikler en cybersikkerhedsstrategi for at udrulle GenAI eller store sprogmodeller (LLM’er), er der ingen en-size-fits-all-tilgang. Meget afhænger af organisationens overordnede forretningsmål, IT-strategi, industriel fokus, regulatorisk fodaftryk, risikotolerance osv. samt de specifikke AI-brugs Tilfælde, der overvejes. En intern brug kun chatbot har en meget anderledes risikoprofil end en agent, der kan påvirke sundhedsresultater for patienter, for eksempel.

Det er sagt, at der er grundlæggende elementer, som hver organisation bør håndtere:

• Udfør en beredskabsvurdering – dette etablerer en baseline for nuværende færdigheder samt identificerer potentielle huller i forhold til prioriterede AI-brugs Tilfælde. Organisationer bør identificere, hvor der er eksisterende kontroller, der kan udvides til at håndtere de nuancerede risici, der er forbundet med GenAI, og behovet for at implementere nye teknologier eller forbedre nuværende processer.
• Etabler en AI-styringsproces – dette kan være netop nyt inden for en organisation eller en ændring af nuværende risikostyringsprogrammer. Dette bør inkludere definition af virksomhedsomfattende AI-aktiveringsfunktioner og trække ind stakeholders fra hele forretningen, IT, produkt, risiko, cybersikkerhed osv. som en del af styringsstrukturen. Derudover bør definition/opdatering af relevante politikker (acceptabel brugspolitik, sky-sikkerheds politik, tredjeparts teknologiriskstyring osv.) samt etablering af L&D-krav til at støtte AI-litteratur og AI-sikkerhed/sikkerhed på tværs af organisationen være inkluderet.
• Etabler en tillidsfuld AI-arkitektur – med oprettelsen af AI/GenAI-platforme og eksperiment-sandkasser vil eksisterende teknologi samt nye løsninger (f.eks. AI-brandmure/runtime-sikkerhed, guardrails, model-livscyklusstyring, forbedret IAM-funktioner osv.) skulle integreres i udviklings- og udrulningsmiljøer på en gentagen og skalerbar måde.
• Forbedre SDLC’en – organisationer bør bygge tætte integrationer mellem AI-udviklere og risikostyringsteams, der arbejder med at beskytte, sikre og bygge tillid til AI-løsninger. Dette inkluderer etablering af en ensartet/standard-sæt af sikker softwareudviklingspraksis og kontrolkrav i partnerskab med den bredere AI-udviklings- og adoptionshold.

Kan du forklare begrebet “AI-brandmur” i simple termer? Hvordan adskiller det sig fra traditionelle netværksbrandmure?

En AI-brandmur er en sikkerhedslag, der er designet til at overvåge og kontrollere indgange og udgange af AI-systemer – især store sprogmodeller – for at forhindre misbrug, beskytte følsomme data og sikre ansvarlig AI-adfærd. I modsætning til traditionelle brandmure, der beskytter netværk ved at filtrere trafik baseret på IP-adresser, porte og kendte trusler, fokuserer AI-brandmure på at forstå og håndtere naturlige sproginteraktioner. De blokerer ting som toksisk indhold, dataleakage, promptinjektion og uetisk brug af AI ved at anvende politikker, kontekstbevidste filtre og model-specifikke guardrails. I virkeligheden, mens en traditionel brandmur beskytter dit netværk, beskytter en AI-brandmur dine AI-modeller og deres udgange.

Er der nogen nuværende branchestandarder eller opkommende protokoller, der regulerer brugen af AI-specifikke brandmure eller guardrails?

Modelkommunikationsprotokollen (MCP) er ikke en universel standard, men vinder fremme på tværs af branchen for at hjælpe med at håndtere den voksende konfigurationsbyrde på virksomheder, der har brug for at styre AI-GenAI-løsningsdiversitet. MCP regulerer, hvordan AI-modeller udveksler information (herunder læring) inklusive integritet og verificering. Vi kan betragte MCP som transmission control protocol (TCP)/internet protocol (IP)-stakken for AI-modeller, hvilket er særligt nyttigt i både centraliserede, federerede eller distribuerede brugs Tilfælde. MCP er i øjeblikket en konceptuel ramme, der realiseres gennem forskellige værktøjer, forskning og projekter.

Rummet bevæger sig hurtigt, og vi kan forvente, at det vil skifte ret meget over de næste få år.

Hvordan transformerer AI feltet for trusselsdetektion og respons i dag sammenlignet med for blot fem år siden?

Vi har set, at kommercielle sikkerhedsoperationscenter (SOC)-platforme moderniserer til forskellige grader, ved at bruge massive højkvalitetsdata-sæt samt avancerede AI/ML-modeller til at forbedre trusselsdetektion og klassificering. Derudover har de udnyttet automatisering, arbejdsgange og auto-remediering til at reducere tiden fra detektion til afværning. Endelig har nogle introduceret co-pilot-kapaciteter til yderligere at støtte triage og respons.

Dertil er agenter under udvikling til at opfylde udvalgte roller inden for SOC. Som et praktisk eksempel har vi bygget en “Digital Analyst”-agent til udrulning i vores egen managed services-tilbud. Agenten fungerer som en niveau-et-analytiker, der triagerer indgående alarmer, tilføjer kontekst fra trusselsintelligens og andre kilder, og anbefaler respons-skridt (baseret på omfattende sagshistorie) for vores menneskelige analytikere, der derefter gennemgår, ændrer hvis nødvendigt og tager handling.

Hvordan ser du forholdet mellem AI og cybersikkerhed udvikle sig over de næste 3-5 år – vil AI være mere en risiko eller en løsning?

Som AI udvikler sig over de næste 3-5 år, kan det hjælpe cybersikkerheden, men på samme tid kan det også introducere risici. AI vil udvide angrebsfladen og skabe nye udfordringer fra et defensivt perspektiv. Derudover vil fjendtlig AI øge muligheden, hastigheden og skalaen af angreb, hvilket vil skabe yderligere udfordringer. På den anden side, ved at udnytte AI i cybersikkerhedsforretningen, kan det præsentere betydelige muligheder for at forbedre effektivitet, efficiens, agility og hastighed af cybersikkerhedsoperationer på tværs af de fleste domæner – i sidste ende skabende en “kæmp med ild mod ild”-scenarie.

Tak for det gode interview, læsere kan også ønske at besøge Deloitte.