Er AI-agenter tilstrekkelig pålitelige for mitt firma?

Store språkmodeller (LLM) og AI-agenter har en betydelig innvirkning på mange områder, inkludert cybersikkerhet. Potensialet deres virker grenseløst. Men i praksis, når LLM integreres i sentrale arbeidsprosesser der forretningsbeslutninger tas, har mange problemer, spesielt rundt personvern og datanøyaktighet, oppstått. Vi sitter igjen med spørsmålet: Er AI-agenter tilstrekkelig pålitelige for mitt firma?

Når det gjelder cybersikkerhet og sikkerhetsoperasjonssentre (SOC), er det korte svaret, som vi har hørt hele vår karriere: Ja, med riktige kontroller og risikoreduserende tiltak i SOC, kan AI-agenter tas i bruk på en vellykket og trygg måte i produksjonsmiljøer hvor de legger til betydelig verdi ved å arbeide sammen med menneskelige SOC-analytikere.

Utfordringer med AI i cybersikkerhet

Ferdige LLM som brukes som en selvstendig løsning har flere kjerneproblemer, som hallusinasjoner, dataforgiftning og promptinjeksjon. Disse problemene kan forårsake alvorlige problemer i et autonomt SOC, inkludert:

Begrensede data som forårsaker unøyaktige vurderinger – AI-agenter trenger all relevant informasjon fra miljøet for å gjøre jobben sin godt – minst like mye data som menneskelige sikkerhetsanalytikere har, og helst mer. Utilstrekkelig data fører til at AI-agenter gjør feilaktige antakelser som kan variere mellom gjentatte undersøkelser. Hvis du begrenser datatilgang på grunn av sikkerhetsproblemer eller begrenser hvor mye AI kan gjøre på grunn av budsjetthensyn, kan du forvente at nøyaktigheten blir rammet.

Inkonsekvente vurderinger – AI-agenter må fatte beslutninger og utføre oppgaver basert på data de har samlet inn. På grunn av den store mengden sikkerhetsdata i typiske miljøer, er det vanlig å bruke en stikkprøvemetode for å balansere nøyaktighet med budsjetter. Når etterforskninger utføres flere ganger, kan forskjeller dukke opp i dommen, dens bestemte alvorlighetsgrad og de anbefalte handlingene. Dette er normalt så lenge forskjellen er innenfor en toleransegrense, og det skjer selv når to forskjellige menneskelige analytikere ser på samme varsling.

Ugjennomsiktig resonnering, eller “Black Box (BBOX.BO ) “-problemet – Noen AI-agenter opererer som ugjennomsiktige systemer. Disse AI-drevne SOC-resultatene kan se svært imponerende ut til å begynne med, men for viktige forretningsbeslutninger trenger du å forstå hva som fikk det AI-drevne SOC-et til å anbefale bestemte handlinger. Dette er imidlertid ikke en innebygd begrensning av AI, da noen AI-agenter går langt for å være gjennomsiktige. Det anbefales at du validerer AI-agenter grundig i en Proof of Value før du forplikter deg til å ta dem i bruk.

Hvordan AI i cybersikkerhet har blitt bedre

AI-drevne cybersikkerhetstilnærminger har gjort betydelige fremskritt mot forbedring siden de først ble introdusert. Vurdér følgende:

Konsensus ved hjelp av stikkprøver reduserer inkonsistens – Inkonsistenser i beslutninger eller resultater kan effektivt bli avhjulpet ved å bruke flere AI-agenter med forskjellige konfigurasjoner (f.eks. forskjellige modeller med forskjellige temperaturinnstillinger) for å tolke data samlet inn av tidligere agentoperasjoner.

Ved å bruke stikkprøver kan organisasjoner forstå hvor de forskjellige AI-modellene er enige og hvor de avviker. Som resultat kan man stole på informasjonen hvor alle modellene er enige og tillegge informasjonen der de er uenige mindre vekt, noe som kan redusere inkonsistens betydelig.

Det er viktig å merke seg likevel at informasjon hvor stikkprøveagenter er uenige også er verdifull, da den identifiserer usikkerhet og behov for bedre data eller inndata. Denne inkonsistente informasjonen kan hjelpe organisasjoner å prioritere tilgang til essensiell data for bedre beslutning.

Konsekvente prosedyrer med etterforskningshåndbøker – En av hovedårsakene til at flere kjøringer av en AI SOC-etterforskning resulterer i inkonsistente resultater er variasjonen i ikke bare data som er samlet inn, men også i hypoteser som er skapt eller modifisert under AI-agentens etterforskning. Å etablere en overordnet undersøkelsesveiledning basert på standardiserte driftsprosedyrer (SOP) for bestemte kategorier hjelper agenter å danne mer konsekvente hypoteser og forbedrer den samlede konsistensen i resultatene. Dette er ikke en ny tilnærming – de fleste menneskelige SOC-analytikere avhenger allerede av SOP-er for å sikre effektive og konsekvente etterforskninger. AI-agenter kan bruke SOP-er på samme måte.

Sporbare bevis avklarer “Black Box”-problemet – Som en beste praksis bør en AI SOC være designet fra bunnen av med støttende bevis i mente. Hver beslutning en agent tar og hver hypotese den formulerer, må være bakket opp av støttende informasjon, inkludert resonneringsspor og rå loggdata som understøtter den resonneringen.

Pålitelig AI for cybersikkerhet

AI-agenter kan akselerere oppdaging, triage og trusselrespons innen cybersikkerhet, men de introduserer også reelle risikoer – inkludert inkonsistente resultater, ugjennomsiktige beslutninger og følsomhet for datakvalitet. Tillit for bruk i kritiske miljøer krever bevis-basert resonnering inkludert spor og rå artefakter; strukturerte SOP-er for å redusere variasjon; multi-agent stikkprøver for å skille konsensus fra usikkerhet; og sikkerhetsmekanismer for dataintegritet, mot promptinjeksjon og for grenser for antall steg og budsjett.

Alle disse viktige forbedringene kan gjennomføres med avanserte metoder basert på LLM-AI-agenter designet for å håndtere kompleksiteten i moderne AI-drevne sikkerhetsoperasjoner. For eksempel bruker noen avanserte LLM-tilnærminger avansert multi-agent stikkprøving for å la organisasjoner utnytte den kollektive intelligensen til diverse AI-modeller som samarbeider for å oppnå konsensus, minimere inkonsistenser og peke ut områder for usikkerhet. Deres strukturerte og klare etterforskningshåndbøker sikrer at analysesteg følger beste praksis og standardiserte prosedyrer, og driver konsekvens og pålitelighet i hver operasjon.

Ende-til-ende beslutningssporbarhet resulterer i at hver dom, anbefaling og automatisert handling blir revidert og forstått for å gi full gjennomsiktighet til sikkerhetsteam, samtidig som tillit bygges opp hos interessenter. Ved å integrere disse nøkkel-elementene – og implementere robuste kontroller for kvaliteten på promptdata, sikkerhet og operasjonelle guardrails – gjør avanserte metoder basert på LLM-AI-agenter det mulig for SOC-er å oppnå resultater som ikke bare er pålitelige og gjennomsiktige, men også produksjonsklare for virkelige miljøer og dine mest kritiske aktiviteter.