AI-tilsyn har tre blinde flekker — og de fleste selskaper ser ingen av dem

Det meste av AI-sikkerhetsdiskusjonen i selskaper er rettet mot feil mål. Teamene bruker uker på å diskutere hvilket modell å bruke, og deretter kobler de modellen til e-posten, betalingene, kundebasen og koden uten å stoppe og spørre en mye enklere spørsmål: Når denne ting gjør noe, hvem ser på, og kan noen stoppe det?

Tallene sier at dette snart vil bli dyrt. Gartner mener at minst 15% av rutinemessige arbeidsbeslutninger vil bli tatt autonomt av AI i 2028, opp fra nærmest ingen i 2024. I samme undersøkelse advarer de også mot at over 40% av agensbaserte AI-prosjekter vil bli kansellert ved utgangen av 2027, og en av grunnene de gir er svake risikostyringskontroller. Les det igjen. Prosjektene dør ikke fordi modellene er dårlige. De dør fordi ingen bygget en måte å styre dem på.

Jeg bygger styringssystemer for AI til livs, så jeg ser de samme gapene gang på gang. Det er tre av dem. De fleste selskaper ser ingen av dem ordentlig, og mange ser ingen av dem i det hele tatt.

Agenter er den høye

Alle bekymrer seg for autonome agenter, og de har rett til å gjøre det. Men de fleste mennesker bekymrer seg for feil del. Det urolige med en agent er ikke at den resonerer. Det er at den handler. Den foreslår ikke refusjonen; den betaler den. Den skriver ikke e-posten; den sender den. Gi en modell en sett med verktøy, og du har gitt den evnen til å nå inn i virkelige systemer og endre ting.

Få det galt, og feilen er ikke en klumsete setning. Det er penger ut døren, eller en tabell som stille og rolig blir droppet fra en database. Og det er en skarpere kant til det. Prompt-injeksjon sitter rett på toppen av OWASP-listen over risikoer for LLM-applikasjoner, og det er av god grunn: gi en modell feil tekst, og den kan bli overtalt til å gjøre noe ingen ba om. Når modellen bare kan snakke, er det en plage. Når modellen kan ringe verktøy, er det en angriper som holder dine API-nøkler.

Det vanlige svaret er å logge alt agenten gjør og se på sporingsloggene. Greit. Men en sporingslogg er en beskrivelse av noe som allerede har skjedd. Det er overvåkingskameraet etter at kassen er tømt, nyttig for etterforskningen, men nytteløst for å stoppe tyveriet.

Den stille som ingen nevner

Den andre blinde flekken kommer aldri på en skjerm, fordi den er kjedelig. Det er den vanlige API-kallet. Ikke en agent, ikke en rammeverk, bare en del kode et sted i en tjeneste som setter sammen en prompt og skyter den mot en modell.

De fleste AI i produksjon ser faktisk ut som dette, og det er den minst styrte delen av hele stakken, nettopp fordi det er så ordinært. Det er et HTTP-forespørsel begravd tre lag dypt i en tjeneste, skrevet av en ingeniør som aldri har hørt om din AI-politikk og ikke ville vite hvor å finne den. Det ene kallet kan sende en kundes data til en tredjepartsmodell, eller utløse en handling nedstrøms, og ingenting sjekker om det skal, og ingenting uavhengig skriver ned at det gjorde det.

Den uordenlige er mennesker

Den tredje blinde flekken er mennesker, og det er derfor den er den verste. Din stab har for lengst funnet ut at å lime en oppgave inn i ChatGPT eller Claude får det gjort raskere, så de gjør det hele dagen, vanligvis fra personlige kontoer du ikke kan se. Dette er ikke hypotetisk. Cyberhavens blikk på virkelig arbeidsplassen fant at en virkelig andel av ansatte har limt inn konfidensielle selskapsdata i ChatGPT, mye av det gjennom kontoer selskapet ikke har noen vindu inn i.

Hvis du vil ha en advarselshistorie, er det Samsung. I 2023 forbudt generativ AI internt etter at ingeniører limte inn proprietær kildekode i ChatGPT, tre separate ganger på under en måned. Disse var ikke dårlige aktører. De var gode ingeniører som prøvde å feilsøke raskere. Det er hele fellen: lekkasjen ser ut som produktivitet. Og dine gamle data-tap-verktøy vil ikke fange det, fordi det er en kopier-og-lim-inn i en nettlesertab, ikke en fil som går ut av bygningen.

Hva som faktisk fungerer

Still opp de tre, og fikset blir ikke lenger om agenter spesifikt, men blir til en enkel idé: styre hva noen AI gjør før det gjør det, ikke etter. Noen ting som virkelig teller, lært mest på den harde måten.

Sitt foran handlingen, ikke bak den. Dette er hele spillet, og det er hvorfor jeg holder fast på at overvåkbarhet og styring ikke er samme ord. En dashboard som forteller deg at en agent flyttet 40 000 pund i går er en tap-rapport. Noe som kan holde den overføringen for en menneske å se på før den forlater, er en kontroll. Hvis din oppsett bare kan fortelle deg hva som skjedde, har du ikke oversikt. Du har bak-sikt.

Bruk én kontroll, ikke én per verktøy. Agenter, API-kall og ansatte som limer inn i en chatbot føles som tre separate problemer, så selskaper kjøper tre separate verktøy og ender med tre sett med hull mellom dem. De dårlige tingene bor i hullene. Alt en AI gjør, uansett hvor det kommer fra, skal måtte passere samme port.

Hold en logg som AI-en ikke kan skrive over. Hvis systemet som gjør ting også er det eneste som registrerer at det gjorde ting, har du ikke en registrering. Du har en dagbok det er tillatt å redigere. Dette er nettopp hvor reglene er på vei. EU sin AI-akt sin krav til loggføring, artikkel 12, eksisterer så at det en høyrisiko-system gjorde kan rekonstrueres av noen annen enn systemet. I praksis betyr det en logg holdt utenfor det som logges, en som ikke kan bli stille og endret etter faktum.

Legg en menneske på de store, uopprettelige kallene. Ikke alt, gjør det og du vil drukne mennesker i godkjenninger til de bare stemmer i med alt. Men kallene du ikke kan ta tilbake, flytte penger, eksportere data, slette poster, skal stoppe og vente. EU sin AI-akt gjør allerede menneskelig oversikt obligatorisk for høyrisiko-systemer, artikkel 14. Fellen verdt å huske er at oversikt bare teller hvis personen har tid og kontekst til å faktisk si nei. En godkjenning ingen leser er bare teater.

Den ærlige magi-sjekken

Ingen av disse tre er en hjørnefall. De er den vanlige måten de fleste selskaper kjører AI nå, stille og rolig, uten mye av en sikkerhetsnett. Teamene som kommer gjennom de neste årene uten en stygg hendelse vil ikke være de med de flotteste grafikkene. De vil være de som bestemte seg tidlig for at alt deres AI gjør, agenten, API-kallet, den limte inn paragrafen, går gjennom én port før det skjer, ikke etter.

Hvis du vil ha en rask test av din egen oppsett, besvar to spørsmål ærlig. Av de tre overflatene, hvor mange kan du faktisk se? Og av de du kan se, hvor mange kan du stoppe? For mange selskaper er det ærlige svaret på det siste spørsmålet null. Det er tallet du må fikse først.