Hvorfor dommedag er en avsporing, og hvilken reell KI-risiko vi bør bekymre oss for

Hvis du følger med på nyhetene, er det vanskelig å overse den økende alarmismen rundt KI-bransjen og advarslene om dommedag. Fortellingen, som advarer om den «eksistensielle risikoen» KI-systemer utgjør for menneskeheten, har gjort det altfor lett for cybersikkerhetsselskaper å hive seg på bølgen og la frykt stå for salget. Men det er feilslått å fokusere på «dommedag», fordi det overser de mer umiddelbare risikoene agentisk KI utgjør for organisasjoner i dag.

Det er selvfølgelig tydelige risikoer knyttet til KI-agenter som handler uavhengig av en organisasjons kontrollmekanismer. Nylig viste rapporter fra Australia og USA at OpenAIs KI-agenter hadde gått utenfor oppgavene sine på offentlige systemer i begge land.

Likevel er trusselen fra dommedagsscenarioer med KI overdrevet. I stedet for å henge seg opp i hypotetiske scenarioer må organisasjoner forholde seg til denne nye virkeligheten og sørge for at det finnes deterministiske sikkerhetstiltak som ivaretar operativ robusthet.

Internett har ingen enkelt avstengningsbryter

De som slutter seg til dommedagsfortellingen, tror at KI, etter hvert som teknologien blir mer avansert og får større rekkevidde, kan bli en konsentrert «av-knapp» – et enkelt svakt punkt som noen kan ta full kontroll over og utløse en katastrofe fra.

Internett er imidlertid langt mer desentralisert og mangfoldig enn teorien om en av-knapp legger til grunn. Det fungerer som et «nettverk av nettverk», bestående av milliarder av komponenter organisert i ulike arkitekturer og beskyttet av utallige driftsteam som bruker forskjellige standarder og verktøy. Dermed finnes det ingen enkelt bryter som et menneske eller en maskin kan slå på – ingen enkelt sårbarhet eller kjede av sårbarheter som kan utnyttes med så katastrofale følger.

Tanken på at KI kan utvikle og spre et konstruert patogen eller bryte seg inn i frakoblede atomvåpensystemer, kan være spennende kinounderholdning. Likevel er dette langt fra et troverdig scenario i en operativ trusselvurdering.

Ute av syne, ute av kontroll

Etter hvert som agentisk KI utvikler seg videre, har to faktorer grunnleggende endret hva virksomheter må regne som risiko.

På den ene siden gjør KI det nå mulig for ondsinnede aktører å finne og utnytte cybersårbarheter på minutter i stedet for måneder. Når KI-baserte forsvarssystemer som bygger på sannsynlighetsberegninger, har identifisert mistenkelig aktivitet, er det ofte for sent å reagere på trusselen. Fordi slike systemer baserer seg på statistisk sannsynlighet snarere enn faste regler, vil selv de beste overse noe ondsinnet aktivitet, og en angriper trenger bare å slippe gjennom én gang

På den andre siden har de ansattes bruk av «skygge-KI» gjort det langt vanskeligere å vite hva som må beskyttes. Hele 82 % av organisasjonene som Cloud Security Alliance undersøkte, oppdaget det siste året KI-agenter som kjørte uten at sikkerhets- eller IT-teamene visste om dem, selv om 68 % oppga at de hadde stor tillit til hvor godt de hadde oversikt over agentene. Separat fant EY at en fjerdedel av store amerikanske selskaper som bruker agentisk KI, innrømmet at de ikke var i stand til å oppdage uautoriserte agenter som opererte internt i virksomheten.

Begge disse endringene legger naturligvis et betydelig operativt press på virksomhetssystemer. Til sammen setter de organisasjoner i en klar ulempe: De er for trege til å oppdage og rette opp eksponerte sårbarheter, og mangler oversikt over hvilke systemer som i det hele tatt er eksponert.

Ta kontroll over det som kan kontrolleres

Organisasjoner trenger en oppdatert oversikt over alle agenter som opererer i virksomheten, enten de er godkjent eller ikke. Hver agent må ha en navngitt ansvarlig og et tydelig definert virkeområde som angir hva den har tilgang til og kan gjøre. Dette er første steg for å få kontroll over det som kan kontrolleres: KI-modellene kan være probabilistiske, men kontrollmekanismene som etableres rundt dem, kan være deterministiske, faste og tydelig definerte.

I praksis betyr dette at hver gang en agent foreslår en handling, må et eget kontrollag, uavhengig av selve modellen, bekrefte at handlingen er tillatt og føre en revisjonslogg. Likevel er det bare 11 % av organisasjonene som automatisk blokkerer agentens handling når den går utenfor virkeområdet sitt. De fleste baserer seg på godkjenning fra et menneske eller logger bare handlingen. Hendelsen i Australia viser hva det koster å stole på at målsystemet sier nei: Da tilgangen ble avvist, fant agenten en annen vei inn. Den overordnede styringsarkitekturen må også kunne identifisere, autorisere og verifisere alle agenter kontinuerlig for å hindre at uforutsette operasjonelle risikoer blir til virkelighet. Alt dette må skje raskt, fordi regler som skal stå imot angrep i maskinhastighet, også må kunne håndheves i maskinhastighet.

Fra hypotetisk frykt til praktiske løsninger

Hvor overbevisende det enn kan høres ut, er flommen av dommedagsmeldinger utløst av autonome KI-systemer langt fra virkeligheten. Risikoen vi bør bekymre oss for, er langt mer hverdagslig enn at KI bestemmer seg for å utslette oss: En agent som handler i virksomheten din raskere enn noen rekker å oppdage det, med tillatelser ingen har gitt den.

Problemene med hastighet og oversikt kan begge løses, så lenge sikkerhetssystemene som styrer KI, er deterministiske og kan kontrollere og spore hver agent nøyaktig i den hastigheten agenten opererer.

For styrer og sikkerhetsledere handler det om tre praktiske spørsmål: Kjenner vi til alle agentene som kjører i miljøet vårt, har hver av dem en ansvarlig eier og tydelig definerte grenser, og kan vi stanse en uautorisert handling før den utføres? Ved å hjelpe kundene med å tette disse praktiske hullene kan cybersikkerhetsleverandører styrke motstandskraften langt mer enn ved å selge frykt for hypotetiske framtidsscenarioer.