Tillit til AI SOC-agenter med kritiske SOC-aktiviteter

Store språkmodeller (LLM) og AI-agenter har en betydelig innvirkning på mange områder, inkludert sikkerhet. Himmelen er grensen når det gjelder deres potensiale. Likevel, på jorden hvor LLM er integrert i kjerneprosesser hvor forretningsbeslutninger tas, har mange problemer, spesielt rundt personvern og dataakkuratheit, oppstått. Vi er igjen tilbake ved å spørre: Er AI-agenter tilstrekkelig pålitelige for mitt firma?

Når det gjelder sikkerhet og Sikkerhetsoperasjons-sentre (SOC), er det raskt svar, som vi har hørt hele vår karriere: Ja, med riktige kontroller og mitigasjoner i SOC, kan AI-agenter bli suksessfullt og trygt deployert i produksjonsmiljøer hvor de legger til betydelig verdi ved å arbeide sammen med menneskelige SOC-analytikere.

AI-sikkerhetsutfordringer

Ferdige LLM som brukes som en selvstendig løsning har flere kjerneproblemer, som hallusinasjoner, dataforgiftning og promptinjeksjon. Disse problemene kan forårsake alvorlige problemer i en autonom SOC, inkludert:

Begrensede data som forårsaker uriktige dommer – AI-agenter trenger all relevant informasjon fra miljøet for å gjøre jobben sin godt – minst like mye data som menneskelige sikkerhetsanalytikere har, og helst mer. Utilstrekkelig data fører til at AI-agenter gjør feil antagelser som kan variere over etterforskningssammenheng. Hvis du begrenser dataadgang på grunn av sikkerhetsproblemer eller begrenser hvor mye AI kan gjøre på grunn av budsjettsårsaker, kan du forvente at nøyaktigheten blir rammet.

Ulike dommer – AI-agenter må fatte beslutninger og utføre oppgaver basert på data de har samlet inn. På grunn av den store mengden sikkerhetsdata i typiske miljøer, er det vanlig å bruke en stikprøve-tilnærming for å balansere nøyaktighet med budsjetter. Når etterforskninger utføres flere ganger, kan forskjeller dukke opp i dommen, dens bestemte alvorlighetsgrad og de anbefalte handlingene. Dette er normalt så lenge forskjellen er innenfor en toleranselimit, og det skjer selv når to forskjellige menneskelige analytikere ser på samme varsling.

Gjennomsiktig resonnering, eller “Black Box (BBOX.BO ) “-problemet – Noen AI-agenter opererer som u gjennomsiktige systemer. Disse AI-drevne SOC-resultatene kan se svært imponerende ut til å begynne med, men for viktige forretningsbeslutninger trenger du å forstå hva som ledet AI SOC til å foreta sine anbefalte handlinger. Dette er imidlertid ikke en innebygd begrensning av AI, da noen AI-agenter går langt for å være gjennomsiktige. Det anbefales at du validerer AI-agenter grundig i en Proof of Value før du committerer.

Hvordan AI i sikkerhet har forbedret seg

AI-drevne sikkerhetsløsninger har gjort betydelige fremskritt mot forbedring siden de først ble introdusert. Vurdér følgende:

Konsensus ved hjelp av stikprøver mitigerer inkonsistens – Inkonsistenser i beslutninger eller resultater kan effektivt bli avhjulpet ved å bruke flere AI-agenter med forskjellige konfigurasjoner (f.eks. forskjellige modeller på forskjellige temperaturer) for å tolke data samlet inn av tidligere agentoperasjoner.

Ved å bruke stikprøver kan organisasjoner forstå hvor de forskjellige AI-modellene er enige og hvor de avviker. Som resultat kan man stole på informasjonen hvor alle modellene er enige og diskontere informasjonen hvor de avviker, noe som kan betydelig mitigere inkonsistens.

Det er viktig å merke seg likevel at informasjon hvor stikprøveagenter er uenige også er verdifull, da den identifiserer usikkerhet og behov for bedre data eller innputt. Denne inkonsistente informasjonen kan hjelpe organisasjoner å prioritere tilgang til essensiell data for bedre beslutning.

Konsekvente prosedyrer med etterforskningshåndbøker – En av hovedårsakene til at flere kjøringer av en AI SOC-etterforskning resulterer i inkonsistente resultater er variasjonen i ikke bare data som er samlet inn, men også i hypoteser som er skapt eller modifisert under AI-agentens etterforskning. Å etablere en høy-nivå standard operasjonsprosedyre (SOP) etterforskningshåndbok for bestemte kategorier hjelper agenter å danne mer konsekvente hypoteser og forbedrer det totale resultatet. Dette er ikke en ny tilnærming – de fleste menneskelige SOC-analytikere avhenger allerede av SOP-er for å sikre effektive og konsekvente etterforskninger. AI-agenter kan bruke SOP-er på samme måte.

Sporbar bevis avklarer “Black Box”-problemet – Som en beste praksis bør en AI SOC være designet fra bunnen av med støttende bevis i mente. Hver beslutning og hypotese en agent tar, må være bakket opp av støttende informasjon, inkludert resoneringsspor og rå loggdata som understøtter den resonneringen.

AI for sikkerhet som er pålitelig

AI-agenter kan akselerere oppdaging, triage og trusselrespons i sikkerhet, men de introduserer også reelle risikoer – inkludert inkonsistente resultater, u gjennomsiktige beslutninger og følsomhet for datakvalitet. Tillit for bruk i kritiske miljøer krever bevis-basert resonnering inkludert spor og rå artefakter; strukturerte SOP-er for å redusere variasjon; multi-agent stikprøver for å skille konsensus fra usikkerhet; og guardrails for dataintegritet, promptinjeksjon og steg- og budsjettsbegrensninger.

Alle disse kritiske fikser kan bli adressert med avanserte LLM AI-tilnærminger designet for å håndtere kompleksiteten i moderne AI-drevne sikkerhetsoperasjoner. For eksempel bruker noen avanserte LLM-tilnærminger avansert multi-agent stikprøving for å la organisasjoner utnytte den kollektive intelligensen til diverse AI-modeller som samarbeider for å oppnå konsensus, minimere inkonsistenser og peke ut områder for usikkerhet. Deres strukturerte og klare etterforskningshåndbøker sikrer at analysesteg følger beste praksis og standardiserte prosedyrer, og driver konsekvens og pålitelighet i hver operasjon.

Ende-til-ende beslutningssporbarhet resulterer i at hver dom, anbefaling og automatisert handling blir audited og forstått for å gi full gjennomsiktighet til sikkerhetsteam, samtidig som tillit bygges opp hos stakeholdere. Ved å integrere disse nøkkel-elementene – og implementere robuste kontroller for prompt datakvalitet, sikkerhet og operasjonelle guardrails – avanserte LLM AI-tilnærminger muliggjør at SOC-er kan oppnå resultater som ikke bare er pålitelige og gjennomsiktige, men også produksjonsklare for virkelige miljøer og dine mest kritiske aktiviteter.