Simbian Lanserar Cyber Defense-benchmark, Avslöjar Stor Klyfta i AI-säkerhetsförmåga

En ny benchmark som släppts av Simbian utmanar en av de mest vedertagna antagandena inom artificiell intelligens: att samma modeller som kan hitta sårbarheter också kan försvara mot dem.

Företagets nyligen introducerade Cyber Defense Benchmark, utvecklad av dess Simbian Research Lab, utvärderar hur väl ledande stora språkmodeller (LLM) presterar i realistiska cyberförsvarsscenarier. Resultaten är slående. Medan moderna AI-system blir alltmer effektiva för att upptäcka och utnyttja svagheter, kämpar de avsevärt när de får i uppdrag att identifiera och stoppa aktiva attacker.

Frontier-modeller Uppfyller Inte Minimikraven för Försvar

Benchmarken testade ledande modeller, inklusive Claude Opus 4.6, GPT-5, Gemini 3.1 Pro och andra i simulerade företagsmiljöer.

Ingen av modellerna uppnådde ett godkänt betyg.

Claude Opus 4.6, den starkaste prestationen i testet, upptäckte endast en del av angreppsevidens över MITRE ATT&CK-taktiker, medan många modeller misslyckades med att identifiera hela kategorier av skadlig aktivitet. Oberoende akademisk forskning stöder dessa fynd, vilket visar att även toppmodeller kämpar med öppen hotjakt, och upptäcker endast en liten del av skadliga händelser i realistiska scenarier.

Denna klyfta belyser en kritisk begränsning. Dagens AI-system kan utmärka sig i att besvara strukturerade frågor eller lösa inneslutna problem, men de sviktar när de krävs för att undersöka komplexa, utvecklande attackkedjor utan vägledning.

En Skiftning Mot Realistisk, Agentbaserad Utvärdering

Vad som skiljer denna benchmark från andra är dess design.

Till skillnad från tidigare cybersäkerhetstester som förlitar sig på flervalsfrågor eller statiska datamängder, använder Simbians tillvägagångssätt riktiga telemetridata och placerar modellerna i en agentbaserad utredningsslinga. Istället för att bli tillsagda vad de ska leta efter, måste AI utforska loggar, bilda hypoteser och identifiera hot oberoende.

Detta speglar hur mänskliga säkerhetsanalytiker arbetar i riktiga säkerhetsoperativa centra.

Benchmarken omfattar dussintals angreppstekniker över flera faser, vilket tvingar modellerna att koppla signaler över tid och system. Genom att mutera kontext och påtvinga deterministisk poängsättning, minskar den också risken för att modellerna enbart memoriserar mönster.

Denna skiftning mot realism är betydande. Inom AI-utveckling är skapandet av en benchmark som korrekt återspeglar den verkliga komplexiteten ofta det första steget mot att lösa problemet i sig.

Den Växande Klyftan Mellan Offensiv och Defensiv AI

Fynden förstärker en bredare trend som växer fram inom branschen.

AI förbättras snabbt när det gäller offensiva cybertuppgifter. Nya studier visar att frontier-modeller redan kan utföra multi-stegsattacker i simulerade miljöer och alltmer gör det med minimala verktyg. Samtidigt ligger de defensiva förmågorna efter.

Denna obalans skapar en växande asymmetri. Angripare kan utnyttja automatisering och skala, medan försvarare fortfarande förlitar sig tungt på mänsklig expertis och fragmenterade verktyg. Även när AI identifierar en sårbarhet, kan den missförstå dess allvar eller misslyckas med att agera lämpligt, vilket understryker klyftan mellan upptäckt och förståelse.

Varför “Out-of-the-Box” AI Inte Räcker Till

Simbians slutsats är inte att AI inte kan försvara system, utan att det inte kan göra det ensamt.

Benchmarken föreslår att LLM kräver vad företaget beskriver som en “avancerad harness” – en kombination av extern intelligens, strukturerade arbetsflöden och systemnivåintegration – för att fungera effektivt i säkerhetsmiljöer.

Detta stöds av bredare forskning som visar att tillägg av verktyg, minne och kontext avsevärt förbättrar AI-prestanda i cybersäkerhetsuppgifter.

I produktionsmiljöer hävdar Simbian att de har uppnått avsevärt högre upptäcktsnoggrannhet genom att kombinera modeller med dessa ytterligare lager. Implikationen är tydlig: rå modellförmåga är bara en del av pusslet.

En Ny Kategori av Benchmark för AI-säkerhet

Lanseringen av Cyber Defense Benchmark markerar ett viktigt steg i hur AI-system utvärderas för verklig distribution.

Genom att fokusera på bevisbaserad hotjakt snarare än frågesvar, omformulerar den problemet från intelligens till utförande. Den introducerar också kostnad som en mätbar faktor, vilket belyser avvägningar mellan prestanda och effektivitet mellan modeller.

Så länge AI fortsätter att omforma cybersäkerhet, kan benchmarkar som denna bli essentiella verktyg för att förstå inte bara vad modeller kan göra, utan var de misslyckas—and varför.

För tillfället är slutsatsen enkel. Trots snabb framsteg inom AI, förblir fullt autonomt cyberförsvar utom räckhåll. Nästa fas av innovation kommer sannolikt att bero mindre på att bygga större modeller och mer på att designa system som kombinerar AI med strukturerad intelligens, kontext och mänsklig tillsyn.