Kieran Norton, Deloittes USA:s ledare för Cyber AI och Automation – Intervjuserie

Kieran Norton är en principal (partner) på Deloitte & Touche LLP och är USA:s ledare för Cyber AI och Automation på Deloitte. Med över 25 års omfattande erfarenhet och en solid teknisk bakgrund, utmärker sig Kieran i att hantera nya risker och ger kunderna strategiska och pragmatiska insikter i cybersäkerhet och teknisk riskhantering.

Inom Deloitte leder Kieran AI-omvandlingsinsatserna för den amerikanska cybersäkerhetspraktiken. Han ansvarar för design, utveckling och marknadsföring av AI- och automationslösningar, som hjälper kunderna att förbättra sina cybersäkerhetsförmågor och anta AI/Gen AI-teknik samtidigt som de effektivt hanterar de associerade riskerna.

Externt hjälper Kieran kunderna att utveckla sina traditionella säkerhetsstrategier för att stödja digital transformation, modernisera leverantörskedjor, påskynda tid till marknaden, minska kostnader och uppnå andra kritiska affärsmål.

När AI-agenter blir alltmer autonoma, vilka nya kategorier av cybersäkerhetshot är på väg att dyka upp som företag kanske inte helt förstår?

Riskerna som är förknippade med att använda nya AI-relaterade tekniker för att designa, bygga, distribuera och hantera agenter kan vara förstådda – men det är en annan sak att operationalisera dem.

AI-agenter och autonomi – förmågan för agenter att uppfatta, fatta beslut, agera och fungera oberoende av människor – kan skapa utmaningar när det gäller att upprätthålla synlighet och kontroll över relationer och interaktioner som modeller/agenter har med användare, data och andra agenter. När agenter fortsätter att föröka sig inom företaget, ansluter flera plattformar och tjänster med ökad autonomi och beslutsrättigheter, kommer detta att bli allt svårare. Hoten som är förknippade med dåligt skyddade, excessiva eller skugg-AI-agenter/autonomi är många. Detta kan inkludera data läckage, agentmanipulering (via promptinjektion etc.) och agent-till-agent-attackkedjor. Inte alla av dessa hot är aktuella just nu, men företag bör överväga hur de kommer att hantera dessa hot när de antar och mognar AI-drivna förmågor.

AI-identitetshantering är en annan risk som bör övervägas noggrant. Att identifiera, etablera och hantera maskinidentiteter för AI-agenter kommer att bli alltmer komplext när fler agenter distribueras och används inom företag. Den efemära naturen hos AI-modeller/modellkomponenter som skapas och tas bort upprepade gånger under varierande omständigheter kommer att resultera i utmaningar när det gäller att upprätthålla dessa modell-ID. Modellidentiteter behövs för att övervaka aktivitet och beteende hos agenter ur såväl säkerhets- som tillitsperspektiv. Om de inte implementeras och övervakas korrekt kommer det att vara mycket svårt att upptäcka potentiella problem (prestanda, säkerhet etc.).

Hur oroliga bör vi vara för dataförgiftsattacker i AI-träningspipeliner, och vad är de bästa förebyggande strategierna?

Dataförgiftning representerar en av flera sätt att påverka/manipulera AI-modeller inom modellutvecklingslivscykeln. Förgiftning sker vanligtvis när en illvillig aktör injicerar skadlig data i träningsuppsättningen. Det är dock viktigt att notera att utöver explicita fientliga aktörer kan dataförgiftning också ske på grund av misstag eller systematiska problem i datagenerering. När organisationer blir alltmer datahungriga och letar efter användbar data på fler ställen (t.ex. outsourcad manuell annotering, inköpt eller genererad syntetisk datauppsättning etc.), ökar möjligheten till oavsiktlig förgiftning av träningsdata, och detta kan inte alltid diagnostiseras lätt.

Att rikta in sig på träningspipeliner är en primär attackvektor som används av motståndare för både subtil och öppen påverkan. Manipulering av AI-modeller kan leda till resultat som inkluderar falska positiva, falska negativa och andra mer subtila dolda påverkningar som kan ändra AI-prediktioner.

Förebyggande strategier sträcker sig från att implementera lösningar som är tekniska, procedurella och arkitektoniska. Procedurella strategier inkluderar datavalidering/sanering och tillitsbedömningar; tekniska strategier inkluderar att använda säkerhetsförbättringar med AI-tekniker som federerat lärande; arkitektoniska strategier inkluderar att implementera nolltillitspipeliner och att införa robust övervakning/varning som kan underlätta anomaliupptäckt. Dessa modeller är bara så bra som deras data, även om en organisation använder de senaste och bästa verktygen, så kan dataförgiftning bli en akilleshäl för de oförberedda.

På vilka sätt kan illvilliga aktörer manipulera AI-modeller efter distribution, och hur kan företag upptäcka manipulation i tid?

Tillgång till AI-modeller efter distribution uppnås vanligtvis genom att komma åt en programvaruapplikationsgränssnitt (API), en applikation via en inbäddad system, och/eller via en port-protokoll till en edge-enhet. Tidig upptäckt kräver tidig arbete i programvaruutvecklingslivscykeln (SDLC), förståelse av relevanta modellmanipulationstekniker samt prioriterade hotvektor för att utveckla metoder för upptäckt och skydd. Viss modellmanipulering innefattar API-kapning, manipulation av minnesutrymmen (körning), och långsam/gradvis förgiftning via modellglidning. Med tanke på dessa metoder för manipulation kan vissa tidiga upptäcktsstrategier inkludera att använda slutpunktsövervakning/övervakning (via Endpoint Detection and Response och Extended Detection and Response), att implementera säkra inferenspipeliner (t.ex. konfidentiell datoranvändning och Nolltillitsprinciper), och att aktivera modellvattenstämpel/modellsignering.

Promptinjektion är en familj av modellattacker som sker efter distribution och kan användas för olika ändamål, inklusive att extrahera data på oavsiktliga sätt, avslöja systemprompt som inte är avsedda för normala användare, och framkalla modellsvar som kan kasta en organisation i en negativ dager. Det finns en mängd guardrail-verktyg på marknaden för att hjälpa till att mildra risken för promptinjektion, men som med resten av cybersäkerheten är detta en vapenkapplöpning där attacktekniker och försvarsåtgärder ständigt uppdateras.

Hur brister traditionella cybersäkerhetsramverk i att hantera de unika riskerna med AI-system?

Vi förknippar vanligtvis “cybersäkerhetsramverk” med vägledning och standarder – t.ex. NIST, ISO, MITRE etc. Vissa av organisationerna bakom dessa har publicerat uppdaterad vägledning som är specifik för att skydda AI-system, vilket kan vara mycket användbart.

AI gör inte dessa ramverk ineffektiva – du behöver fortfarande hantera alla traditionella områden inom cybersäkerhet – vad du kanske behöver är att uppdatera dina processer och program (t.ex. din SDLC) för att hantera de nyanser som är förknippade med AI-arbetsbelastningar. Att införliva och automatisera (där det är möjligt) kontroller för att skydda mot de nyanserade hoten som beskrivs ovan är den mest effektiva och effektiva vägen framåt.

På en taktisk nivå är det värt att nämna att det fulla utbudet av möjliga indata och utdata ofta är mycket större än icke-AI-applikationer, vilket skapar ett problem med skala för traditionell penetrationstestning och regelbaserad upptäckt, och därför fokuserar vi på automatisering.

Vilka nyckelelement bör ingå i en cybersäkerhetsstrategi som är specifikt utformad för organisationer som distribuerar generativ AI eller stora språkmodeller?

När du utvecklar en cybersäkerhetsstrategi för att distribuera GenAI eller stora språkmodeller (LLM) finns det ingen universell lösning. Mycket beror på organisationens övergripande affärsmål, IT-strategi, branschfokus, regulatoriskt fotavtryck, risktolerans etc., samt de specifika AI-användningsfall som övervägs. En intern användning av en chatbot har till exempel ett mycket annorlunda riskprofil än en agent som kan påverka hälsoutfall för patienter.

Sagt detta finns det grundläggande principer som varje organisation bör hantera:

• Genomför en beredskapsbedömning – detta etablerar en baslinje för nuvarande förmågor samt identifierar potentiella luckor med hänsyn till prioriterade AI-användningsfall. Organisationer bör identifiera var det finns befintliga kontroller som kan utökas för att hantera de nyanserade riskerna som är förknippade med GenAI och behovet av att implementera nya teknologier eller förbättra befintliga processer.
• Etablera en AI-styrningsprocess – detta kan vara en ny process inom organisationen eller en modifiering av befintliga riskhanteringsprogram. Detta bör inkludera att definiera företagsomfattande AI-aktiveringsfunktioner och dra in intressenter från hela verksamheten, IT, produkt, risk, cybersäkerhet etc. som en del av styrningsstrukturen. Dessutom bör definition/uppdatering av relevanta policys (acceptabel användningspolicy, molnsäkerhetspolicy, tredjepartsteknisk riskhantering etc.) samt etablering av L&D-krav för att stödja AI-litteracitet och AI-säkerhet/säkerhet inom hela organisationen ingå.
• Etablera en tillförlitlig AI-arkitektur – med etableringen av AI/GenAI-plattformar och experiment sandslott kommer befintlig teknik samt nya lösningar (t.ex. AI-brandväggar/körningssäkerhet, guardrails, modelllivscykelhantering, förbättrade IAM-funktioner etc.) att behöva integreras i utvecklings- och distributionsmiljöer på ett återanvändbart och skalbart sätt.
• Förbättra SDLC – organisationer bör bygga tätt integrerade samarbeten mellan AI-utvecklare och riskhanteringsteam som arbetar för att skydda, säkra och bygga tillit till AI-lösningar. Detta inkluderar att etablera en enhetlig/standardiserad uppsättning säkra programvaruutvecklingspraxis och kontrollkrav i samarbete med det bredare AI-utvecklings- och antagandeteamen.

Kan du förklara begreppet “AI-brandvägg” i enkla termer? Hur skiljer den sig från traditionella nätverksbrandväggar?

En AI-brandvägg är ett säkerhetslager som är utformat för att övervaka och kontrollera indata och utdata från AI-system – särskilt stora språkmodeller – för att förhindra missbruk, skydda känslig data och säkerställa ansvarsfull AI-beteende. Till skillnad från traditionella brandväggar som skyddar nätverk genom att filtrera trafik baserat på IP-adresser, portar och kända hot, fokuserar AI-brandväggar på att förstå och hantera naturliga språkinteraktioner. De blockerar saker som toxiskt innehåll, data läckage, promptinjektion och oetiskt användande av AI genom att tillämpa policys, kontextmedvetna filter och modellspecifika guardrails. I själva verket, medan en traditionell brandvägg skyddar ditt nätverk, skyddar en AI-brandvägg dina AI-modeller och deras utdata.

Finns det några aktuella branschstandarder eller framväxande protokoll som reglerar användningen av AI-specifika brandväggar eller guardrails?
Modellkommunikationsprotokoll (MCP) är inte en universell standard, men det får alltmer fäste inom branschen för att hantera den växande konfigurationsbördan på företag som har behov av att hantera AI-GenAI-lösningens mångfald. MCP reglerar hur AI-modeller utbyter information (inklusive lärande) inklusive integritet och verifiering. Vi kan tänka på MCP som TCP/IP-stacken för AI-modeller, som är särskilt användbar i både centraliserade, federerade eller distribuerade användningsfall. MCP är för närvarande ett konceptuellt ramverk som realiseras genom olika verktyg, forskning och projekt.

Utrymmet rör sig snabbt och vi kan förvänta oss att det kommer att förändras ganska mycket under de närmaste åren.

Hur förändrar AI fältet för hotupptäckt och respons idag jämfört med för bara fem år sedan?

Vi har sett att de kommersiella säkerhetsoperationscenter (SOC) plattformarna moderniserats till olika grader, använt stora högkvalitativa datamängder tillsammans med avancerade AI/ML-modeller för att förbättra upptäckt och klassificering av hot. Dessutom har de använt automatisering, arbetsflöde och auto-åtgärdskapacitet för att minska tiden från upptäckt till mildring. Slutligen har vissa introducerat copilot-funktioner för att ytterligare stödja triage och respons.

Dessutom utvecklas agenter för att uppfylla specifika roller inom SOC. Som ett praktiskt exempel har vi byggt en “Digital Analyst”-agent för distribution i vår egen hanterade tjänst. Agenten fungerar som en nivå ett analytiker, triagerar inkommande larm, lägger till kontext från hotinformation och andra källor, och rekommenderar åtgärdssteg (baserat på omfattande fallhistoria) för våra mänskliga analytiker som sedan granskar, modifierar om nödvändigt och vidtar åtgärder.

Hur ser du på förhållandet mellan AI och cybersäkerhet utvecklas under de närmaste 3-5 åren – kommer AI att vara mer av en risk eller en lösning?
När AI utvecklas under de närmaste 3-5 åren kan det hjälpa cybersäkerheten, men samtidigt kan det också introducera risker. AI kommer att expandera attackytan och skapa nya utmaningar ur ett defensivt perspektiv. Dessutom kommer adversarial AI att öka möjligheten, hastigheten och omfattningen av attacker, vilket kommer att skapa ytterligare utmaningar. På den andra sidan, genom att utnyttja AI i cybersäkerhetsbranschen, finns det betydande möjligheter att förbättra effektivitet, effektivitet, smidighet och hastighet i cybersäkerhetsoperationer inom de flesta områden – i slutändan skapar det en “slåss mot eld med eld”-situation.

Tack för den utmärkta intervjun, läsarna kan också vilja besöka Deloitte.