Kieran Norton, Deloittes US Cyber AI & Automation-leider – Interviewreeks

Kieran Norton is een principal (partner) bij Deloitte & Touche LLP en is de US Cyber AI & Automation Leader voor Deloitte. Met meer dan 25 jaar uitgebreide ervaring en een solide technische achtergrond, excelleert Kieran in het aanpakken van opkomende risico’s en biedt hij klanten strategische en pragmatische inzichten in cybersecurity en technisch risicobeheer.

Binnen Deloitte leidt Kieran de AI-transformatie-inspanningen voor de US Cyber-praktijk. Hij houdt toezicht op het ontwerp, de ontwikkeling en de marktintroductie van AI- en automatiseringsoplossingen, waardoor klanten hun cybercapaciteiten kunnen verbeteren en AI/Gen AI-technologieën kunnen adopteren, terwijl ze de daarmee samenhangende risico’s effectief beheren.

Extern helpt Kieran klanten bij het ontwikkelen van hun traditionele beveiligingsstrategieën om digitale transformatie te ondersteunen, supply chains te moderniseren, de tijd tot markt te versnellen, kosten te verlagen en andere kritieke bedrijfsdoelstellingen te bereiken.

Naarmate AI-agents steeds autonomer worden, welke nieuwe categorieën cybersecurity-bedreigingen ontstaan die bedrijven mogelijk nog niet volledig begrijpen?

De risico’s die samenhangen met het gebruik van nieuwe AI-gerelateerde technologieën voor het ontwerpen, bouwen, implementeren en beheren van agents, kunnen worden begrepen – geoperationaliseerd is een andere kwestie.

AI-agentautonomie en -onafhankelijkheid – de mogelijkheid voor agents om onafhankelijk van mensen te waarnemen, te beslissen, te handelen en te opereren – kan problemen creëren met het behouden van zichtbaarheid en controle over relaties en interacties die modellen/agents hebben met gebruikers, gegevens en andere agents. Naarmate agents zich binnen het bedrijf vermenigvuldigen, meerdere platforms en diensten verbinden met toenemende autonomie en beslissingsrechten, zal dit steeds moeilijker worden. De bedreigingen die samenhangen met slecht beschermd, overmatig of schaduw-AI-agentschap/-onafhankelijkheid zijn talrijk. Dit kan onder meer gegevenslekkage, agentmanipulatie (via promptinjectie, enz.) en agent-tot-agent-aanvalsketens omvatten. Niet al deze bedreigingen zijn hier en nu, maar bedrijven moeten overwegen hoe ze deze bedreigingen zullen beheren wanneer ze AI-gedreven capaciteiten adopteren en volwassen maken.

AI-identiteitsbeheer is een ander risico dat zorgvuldig moet worden overwogen. Het identificeren, instellen en beheren van de machine-identiteiten van AI-agents zal complexer worden naarmate meer agents worden geïmplementeerd en gebruikt binnen bedrijven. De efemere aard van AI-modellen/modelonderdelen die onder verschillende omstandigheden herhaaldelijk worden opgestart en afgebroken, zal leiden tot problemen bij het behouden van deze model-IDs. Model-identiteiten zijn nodig om de activiteit en het gedrag van agents te monitoren vanuit zowel een beveiligings- als vertrouwensperspectief. Als dit niet correct wordt geïmplementeerd en gemonitord, zal het detecteren van potentiële problemen (prestaties, beveiliging, enz.) zeer moeilijk zijn.

Hoe bezorgd moeten we zijn over datapoisoning-aanvallen in AI-trainingspijplijnen, en wat zijn de beste preventiestrategieën?

Datapoisoning vertegenwoordigt een van de manieren waarop AI-modellen binnen de modelontwikkelingscyclus kunnen worden beïnvloed/manipuleerd. Poisoning treedt meestal op wanneer een kwaadwillige actor schadelijke gegevens in de trainingsset injecteert. Het is echter belangrijk op te merken dat, los van expliciete vijandige actoren, datapoisoning kan optreden als gevolg van fouten of systemische problemen bij gegevensgeneratie. Naarmate organisaties hongeriger naar gegevens worden en naar bruikbare gegevens zoeken in meer plaatsen (bijv. uitbesteed aan handmatige annotatie, aangekochte of gegenereerde synthetische datasets, enz.), neemt de mogelijkheid van onopzettelijke datapoisoning toe en kan deze niet altijd gemakkelijk worden gediagnosticeerd.

Doelwit zijn van trainingspijplijnen is een primaire aanvalsvector die door tegenstanders wordt gebruikt voor zowel subtiele als overduidelijke invloed. Manipulatie van AI-modellen kan leiden tot resultaten die valse positieven, valse negatieven en andere meer subtiele covert invloeden omvatten die AI-voorspellingen kunnen veranderen.

Preventiestrategieën variëren van technische, procedurele en architecturale oplossingen. Procedurele strategieën omvatten gegevensvalidatie/sanitatie en vertrouwensbeoordelingen; technische strategieën omvatten het gebruik van beveiligingsverbeteringen met AI-technieken zoals gefedereerd leren; architecturale strategieën omvatten het implementeren van zero-trust-pijplijnen en het implementeren van robuuste monitoring/waarschuwingen die anomaliedetectie kunnen faciliteren. Deze modellen zijn alleen zo goed als hun gegevens, zelfs als een organisatie de laatste en beste tools gebruikt, dus datapoisoning kan een Achilleshiel worden voor de onvoorbereide.

Op welke manieren kunnen kwaadwillige actoren AI-modellen manipuleren na implementatie, en hoe kunnen bedrijven vroegtijdige manipulatie detecteren?

Toegang tot AI-modellen na implementatie wordt meestal verkregen via toegang tot een Application Programming Interface (API), een applicatie via een ingebed systeem en/of via een poort-protocol naar een edge-apparaat. Vroegtijdige detectie vereist vroeg werk in de Software Development Lifecycle (SDLC), het begrijpen van de relevante modelmanipulatietechnieken en prioritaire dreigingsvectoren om methoden voor detectie en bescherming te ontwikkelen. Sommige modelmanipulatie omvat API-hijacking, manipulatie van geheugengebieden (runtime) en langzame/graduele poisoning via modeldrift. Gezien deze methoden van manipulatie kunnen enkele vroegtijdige detectiestrategieën onder meer het gebruik van eindpunttelemetrie/monitoring (via Endpoint Detection and Response en Extended Detection and Response) omvatten, het implementeren van beveiligde inferentiepijplijnen (bijv. vertrouwelijke computing en Zero Trust-principes) en het inschakelen van modelwatermerking/modelondertekening.

Promptinjectie is een familie van modelaanvallen die na implementatie optreden en voor verschillende doeleinden kunnen worden gebruikt, waaronder het onbedoeld uitwisselen van gegevens, het onthullen van systeemprompts die niet voor normale gebruikers zijn bedoeld en het induceren van modelreacties die een organisatie in een negatief daglicht kunnen stellen. Er zijn verschillende guardrailtools op de markt om het risico van promptinjectie te mitigeren, maar zoals bij de rest van de cybersecurity, is dit een wapenwedloop waarin aanvals- en verdedigingstactieken constant worden bijgewerkt.

Hoe vallen traditionele cybersecurity-kaders tekort in het aanpakken van de unieke risico’s van AI-systemen?

We associëren meestal ‘cybersecurity-kader’ met richtlijnen en standaarden – bijv. NIST, ISO, MITRE, enz. Sommige van de organisaties achter deze hebben bijgewerkte richtlijnen specifiek voor het beschermen van AI-systemen gepubliceerd, die zeer behulpzaam kunnen zijn.

AI maakt deze kaders niet ineffectief – u moet nog steeds alle traditionele domeinen van cybersecurity aanpakken – wat u mogelijk nodig heeft, is het bijwerken van uw processen en programma’s (bijv. uw SDLC) om de nuances te adresseren die samenhangen met AI-werklasten. Het integreren en automatiseren (waar mogelijk) van controles om de genoemde subtiele bedreigingen te beschermen, is de meest efficiënte en effectieve manier om vooruit te komen.

Op tactisch niveau is het de moeite waard om te vermelden dat het volledige bereik van mogelijke invoer- en uitvoerwaarden vaak veel groter is dan niet-AI-toepassingen, wat een schaalprobleem voor traditionele penetratietests en regelgebaseerde detecties creëert, vandaar de focus op automatisering.

Welke sleutelonderdelen moeten worden opgenomen in een cybersecurity-strategie die specifiek is ontworpen voor organisaties die generatieve AI of grote taalmodellen implementeren?

Wanneer u een cybersecurity-strategie ontwikkelt voor het implementeren van GenAI of grote taalmodellen (LLM’s), is er geen universele aanpak. Veel hangt af van de algemene bedrijfsdoelstellingen van de organisatie, IT-strategie, industriefocus, regelgevend profiel, risicotolerantie, enz., evenals de specifieke AI-use cases die in overweging worden genomen. Een intern voor gebruik alleen chatbot heeft een heel ander risicoprofiel dan een agent die de gezondheidsresultaten van patiënten kan beïnvloeden, bijvoorbeeld.

Dat gezegd hebbende, zijn er fundamenten die elke organisatie moet aanpakken:

• Voer een gereedheidsbeoordeling uit – dit stelt een basislijn van de huidige capaciteiten vast, evenals potentiële lacunes in overweging nemende prioritaire AI-use cases. Organisaties moeten identificeren waar bestaande controles kunnen worden uitgebreid om de subtiele risico’s te adresseren die samenhangen met GenAI en de noodzaak om nieuwe technologieën te implementeren of bestaande processen te verbeteren.
• Stel een AI-governanceproces in – dit kan een geheel nieuw proces zijn binnen een organisatie of een wijziging van het huidige risicobeheerprogramma. Dit moet onder meer het definiëren van ondernemingsbrede AI-activatiefuncties en het betrekken van stakeholders uit de hele onderneming, IT, product, risico, cybersecurity, enz. als onderdeel van de governancestructuur omvatten. Bovendien moet het definiëren/bijwerken van relevante beleidsregels (geaccepteerde gebruikbeleid, cloudbeveiligingsbeleid, derdepartij-technisch risicobeheer, enz.) evenals het vaststellen van L&D-vereisten om AI-geletterdheid en AI-beveiliging/veiligheid in de hele organisatie te ondersteunen, worden opgenomen.
• Stel een vertrouwd AI-architectuur in – met de oprichting van AI/GenAI-platforms en experimenteerzandbakken, zal bestaande technologie evenals nieuwe oplossingen (bijv. AI-brandwalls/runtimebeveiliging, guardrails, modellevenscyclusbeheer, verbeterde IAM-mogelijkheden, enz.) moeten worden geïntegreerd in ontwikkel- en implementatieomgevingen op een herhaalbare, schaalbare manier.
• Verbeter de SDLC – organisaties moeten nauwe integraties opbouwen tussen AI-ontwikkelaars en risicobeheerteams die werken aan het beschermen, beveiligen en opbouwen van vertrouwen in AI-oplossingen. Dit omvat het vaststellen van een uniforme/standaardset van beveiligde software-ontwikkelpraktijken en controlemogelijkheden, in samenwerking met de bredere AI-ontwikkelings- en adoptieteams.

Kunt u het concept van een “AI-brandwall” in eenvoudige bewoordingen uitleggen? Hoe verschilt het van traditionele netwerkbrandwalls?

Een AI-brandwall is een beveiligingslaag die is ontworpen om de invoer en uitvoer van AI-systemen te monitoren en te controleren – met name grote taalmodellen – om misbruik te voorkomen, gevoelige gegevens te beschermen en verantwoordelijke AI-gedrag te garanderen. In tegenstelling tot traditionele brandwalls die netwerken beschermen door verkeer te filteren op basis van IP-adressen, poorten en bekende bedreigingen, richten AI-brandwalls zich op het begrijpen en beheren van natuurlijke taalinteracties. Ze blokkeren dingen zoals giftige inhoud, gegevenslekkage, promptinjectie en onethisch gebruik van AI door het toepassen van beleid, contextuele filters en modelspecifieke guardrails. In wezen, terwijl een traditionele brandwall uw netwerk beschermt, beschermt een AI-brandwall uw AI-modellen en hun uitvoer.

Zijn er momenteel industrienormen of opkomende protocollen die het gebruik van AI-specifieke brandwalls of guardrails reguleren?
Modelcommunicatieprotocol (MCP) is geen universele standaard, maar wint aan populariteit in de industrie om het groeiende configuratieprobleem voor ondernemingen aan te pakken die een behoefte hebben om AI-GenAI-oplossingendiversiteit te beheren. MCP reguleert hoe AI-modellen informatie uitwisselen (inclusief leren) met inbegrip van integriteit en verificatie. We kunnen MCP beschouwen als de transmissiecontroleprotocol (TCP)/internetprotocol (IP)-stack voor AI-modellen, wat bijzonder nuttig is in zowel gecentraliseerde, gefedereerde als gedistribueerde use cases. MCP is momenteel een conceptueel kader dat wordt gerealiseerd via verschillende tools, onderzoek en projecten.

De ruimte beweegt zich snel en we kunnen verwachten dat het de komende jaren aanzienlijk zal veranderen.

Hoe transformeert AI vandaag het veld van bedreigingsdetectie en -reactie in vergelijking met vijf jaar geleden?

We hebben gezien dat commerciële beveiligingsoperationscentrum (SOC)-platforms zijn gemoderniseerd tot verschillende gradaties, gebruikmakend van grote, hoogwaardige datasets en geavanceerde AI/ML-modellen om detectie en classificatie van bedreigingen te verbeteren. Bovendien gebruiken ze automatisering, workflow- en automatische herstelcapaciteiten om de tijd van detectie tot mitigatie te verminderen. Ten slotte hebben sommige copilootcapaciteiten geïntroduceerd om verdere triage en reactie te ondersteunen.

Daarnaast worden agents ontwikkeld om selecte rollen binnen de SOC te vervullen. Als praktisch voorbeeld hebben we een ‘Digitale analist’ agent gebouwd voor implementatie in onze eigen beheerde diensten. De agent fungeert als een niveau één analist, triageert inkomende waarschuwingen, voegt context toe vanuit threat intel en andere bronnen, en beveelt reactiestappen aan (op basis van uitgebreide casusgeschiedenis) voor onze menselijke analisten die vervolgens beoordelen, indien nodig wijzigen en actie ondernemen.

Hoe ziet u de relatie tussen AI en cybersecurity zich de komende 3-5 jaar ontwikkelen – zal AI meer een risico of een oplossing zijn?
Naarmate AI de komende 3-5 jaar evolueert, kan het cybersecurity helpen, maar het kan ook risico’s introduceren. AI zal het aanvalsoppervlak uitbreiden en nieuwe uitdagingen creëren vanuit een defensief perspectief. Bovendien zal adversarial AI de levensvatbaarheid, snelheid en schaal van aanvallen vergroten, waardoor verdere uitdagingen ontstaan. Aan de andere kant biedt het gebruik van AI in de cybersecurity-branche significante kansen om de effectiviteit, efficiëntie, wendbaarheid en snelheid van cyberoperaties in de meeste domeinen te verbeteren – uiteindelijk een ‘vuur met vuur bestrijden’-scenario creërend.

Bedankt voor het geweldige interview, lezers kunnen ook de website van Deloitte bezoeken.