AI-tillsyn har tre blinda fläckar — och de flesta företag tittar inte ens på någon av dem

Större delen av samtalet om AI-säkerhet inom företag riktar sig mot fel mål. Team tillbringar veckor med att diskutera vilken modell som ska användas, och sedan kopplar de modellen till sin e-post, betalningar, kunddatabas och kod, utan att stanna upp och ställa en mycket enklare fråga: när den här saken gör något, vem är det som ser till det, och kan någon stoppa det?

Siffrorna säger att detta kommer att bli dyrt. Gartner bedömer att minst 15% av de rutinmässiga besluten kommer att fattas autonomt av AI år 2028, jämfört med nästan ingenting år 2024. I samma undersökning varnar de för att mer än 40% av agenterade AI-projekt kommer att skrotas senast 2027, och en av anledningarna de anger är svaga riskkontroller. Läs det igen. Projekten dör inte för att modellerna är dåliga. De dör för att ingen byggt en möjlighet att styra dem.

Jag bygger styrsystem för AI till vardags, så jag ser samma luckor om och om igen. Det finns tre av dem. De flesta företag tittar inte ordentligt på någon av dem, och många tittar inte alls.

Agenter är den högljudda

Alla är oroliga för autonoma agenter, och de har rätt att vara det. Men de flesta är oroliga för fel del. Det som är obehagligt med en agent är inte att den resonerar. Det är att den agerar. Den föreslår inte återbetalning; den betalar den. Den utarbetar inte e-postmeddelandet; den skickar det. Ge en modell ett verktyg och du har gett den förmågan att nå in i riktiga system och förändra saker.

Om du får det fel är felet inte ett klumpigt mening. Det är pengar som försvinner, eller en tabell som tyst försvinner från en databas. Och det finns en skarpare kant till det. Promptinjektion ligger högst upp på OWASP:s lista över risker för LLM-applikationer, och det finns goda skäl till det: mata en modell med fel text och den kan övertalas att göra något som ingen har bett om. När modellen bara kan prata är det ett besvär. När modellen kan ringa verktyg är det en angripare som håller dina API-nycklar.

Det vanliga svaret är att logga allt som agenten gör och titta på spåren. Bra. Men ett spår är en beskrivning av något som redan har hänt. Det är övervakningsfilmen efter att kassan har tömts, användbart för utredningen, men värdelöst för att stoppa stölden.

Den tysta som ingen nämner

Den andra blinda fläcken hamnar aldrig på en bild, för den är tråkig. Det är den vanliga API-anropet. Inte en agent, inte en ram, bara en bit kod någonstans i en tjänst som sätter samman en prompt och skjuter den mot en modell.

Det mesta av AI i produktion ser ut så här, och det är den minst styrda delen av hela stacken, just för att det är så vanligt. Det är ett HTTP-anrop begravt tre lager djupt i någon tjänst, skriven av en ingenjör som aldrig har hört talas om din AI-policy och inte skulle veta var den ska hitta den. Det där anropet kan skicka en kunds data till en tredjepartsmodell, eller utlösa en åtgärd nedströms, och ingenting kontrollerar om det ska, och ingenting oberoende skriver ner att det gjorde.

Den röriga är människor

Den tredje blinda fläcken är människor, och det är därför den är den sämsta. Din personal har förstått för månader sedan att klistra in en uppgift i ChatGPT eller Claude får det gjort snabbare, så de gör det hela dagen, vanligtvis från personliga konton som du inte kan se. Detta är inte hypotetiskt. Cyberhavens titt på riktigt arbetsplatsanvändning fann att en verklig andel av anställda har klistrat in konfidentiella företagsdata i ChatGPT, mycket av det via konton som företaget inte har någon insyn i.

Om du vill ha en varnande berättelse är det Samsung. År 2023 förbjöd Samsung generativ AI internt efter att ingenjörer klistrat in proprietär källkod i ChatGPT, tre separata gånger på mindre än en månad. Det var inte dåliga aktörer. De var bra ingenjörer som försökte felsöka snabbare. Det är den här fällan: läckaget ser ut som produktivitet. Och dina gamla dataverktyg kommer inte att fånga det, för det är ett kopiera-klistra-in i en webbläsartabb, inte en fil som lämnar byggnaden.

Så vad fungerar egentligen

Rada upp de tre och lösningen slutar vara specifikt för agenter och förvandlas till en enda idé: styra vad AI gör innan det gör det, inte efter. Några saker som verkligen betyder något, lärt mest på det hårda sättet.

Sitt framför åtgärden, inte bakom den. Detta är hela spelet, och det är varför jag fortsätter att insistera på att observabilitet och styrning inte är samma ord. En instrumentpanel som berättar att en agent flyttade 40 000 pund igår är en förlustrapport. Något som kan hålla tillbaka överföringen för en människa att titta på innan den lämnar är en kontroll. Om din inställning bara kan berätta vad som hände, har du inte översikt. Du har bakåtblick.

Använd en kontrollpunkt, inte en per verktyg. Agenter, API-anrop och personal som klistrar in i en chatbot känns som tre separata problem, så företag köper tre separata verktyg och slutar med tre uppsättningar luckor mellan dem. De dåliga sakerna lever i luckorna. Allt som AI gör, var det än kommer ifrån, bör behöva passera samma grind.

Håll en logg som AI inte kan skriva om. Om systemet som gör saken också är det enda som registrerar att det gjorde saken, har du inte en post. Du har en dagbok som den får redigera. Det är exakt där reglerna är på väg. EU:s AI-lag krav på postregistrering, artikel 12, finns för att det som ett högrisksystem gjorde kan rekonstrueras av någon annan än systemet. I praktiken betyder det en logg som hålls utanför det som loggas, en som inte kan tyst ändras efteråt.

Sätt en människa på de stora, oåterkalleliga samtalen. Inte allt, gör det och du kommer att drunkna människor i godkännanden tills de stämplar allt. Men samtal som du inte kan ta tillbaka, flytta pengar, exportera data, ta bort poster, bör stoppa och vänta. EU:s AI-lag gör redan mänsklig tillsyn obligatorisk för högriskiga system, artikel 14. Fällan som är värd att komma ihåg är att tillsyn bara räknas om personen har tid och sammanhang att faktiskt säga nej. Ett godkännande som ingen läser är bara teater.

Den ärliga magkänslan

Ingen av de tre är en hörnfall. De är det vanliga sättet som de flesta företag kör AI just nu, tyst, utan mycket av en säkerhetsnät. Teamen som kommer igenom de närmaste åren utan en ful incident kommer inte att vara de med de vackraste diagrammen. De kommer att vara de som bestämde sig tidigt för att allt deras AI gör, agenten, API-anropet, den klistrade meningen, går genom en grind innan det händer, inte efter.

Om du vill ha en snabb test av din egen inställning, svara ärligt på två frågor. Av de tre ytor, hur många kan du faktiskt se? Och av de du kan se, hur många kan du stoppa? För många företag är det ärliga svaret på den andra frågan noll. Det är det numret du ska fixa först.