AI-toezicht heeft drie blinde vlekken — en de meeste bedrijven letten niet op een van hen

Het grootste deel van het AI-veiligheids gesprek binnen bedrijven is gericht op het verkeerde doel. Teams besteden weken aan het discussiëren over welk model ze moeten gebruiken, en vervolgens verbinden ze dat model met hun e-mail, betalingen, klantendatabase en code, zonder te stoppen om een veel eenvoudigere vraag te stellen: wanneer dit ding iets doet, wie kijkt ernaar en kan iemand het stoppen?

De cijfers zeggen dat dit binnenkort duur gaat worden. Gartner denkt dat minstens 15% van de routineuze beslissingen op het werk autonoom door AI zal worden gedaan in 2028, tegen bijna nul in 2024. In hetzelfde onderzoek waarschuwt het dat meer dan 40% van de agentic AI-projecten tegen het einde van 2027 zal worden geannuleerd, en een van de redenen die het geeft is zwakke risicobeheersing. Lees dat nog eens. De projecten sterven niet omdat de modellen slecht zijn. Ze sterven omdat niemand een manier heeft gebouwd om ze te beheersen.

Ik bouw beheerssystemen voor AI voor de kost, dus ik zie dezelfde gaten steeds weer. Er zijn drie van hen. De meeste bedrijven letten niet goed op een van hen, en veel letten niet op een van hen.

Agents zijn de luidruchtige

Iedereen maakt zich zorgen over autonome agenten, en ze hebben gelijk om dat te doen. Maar de meeste mensen maken zich zorgen over het verkeerde deel. Het verontrustende aan een agent is niet dat het redeneert. Het is dat het handelt. Het stelt de terugbetaling niet voor; het betaalt hem. Het stelt de e-mail niet op; het verstuurt hem. Geef een model een set gereedschappen en je hebt het de mogelijkheid gegeven om in echte systemen te komen en dingen te veranderen.

Ga dat verkeerd doen en het falen is geen onhandige zin. Het is geld dat de deur uitgaat, of een tabel die stil wordt verwijderd uit een database. En er is een scherper rand aan het. Prompt-injectie zit recht bovenaan de OWASP-lijst van risico’s voor LLM-toepassingen, en met goede reden: voer een model de verkeerde tekst en het kan worden overgehaald om iets te doen wat niemand heeft gevraagd. Wanneer het model alleen kan praten, is dat een hinder. Wanneer het model gereedschappen kan bellen, is dat een aanvaller die uw API-sleutels vasthoudt.

Het standaardantwoord is om alles te loggen wat de agent doet en naar de sporen te kijken. Prima. Maar een spoor is een beschrijving van iets dat al is gebeurd. Het is de CCTV-beelden na het tillen van de kassa, handig voor het onderzoek, nutteloos voor het stoppen van de diefstal.

De stille die niemand noemt

De tweede blinde vlek komt nooit op een dia, omdat het saai is. Het is de gewone API-aanroep. Geen agent, geen framework, gewoon een stuk code ergens in een service dat een prompt samenstelt en het naar een model stuurt.

De meeste AI in productie ziet er eigenlijk zo uit, en het is het minst beheerde deel van de hele stapel, precies omdat het zo gewoon is. Het is een HTTP-aanvraag die drie lagen diep in een service is begraven, geschreven door een ingenieur die nooit van uw AI-beleid heeft gehoord en zou niet weten waar hij het kon vinden. Die ene aanroep kan de gegevens van een klant naar een derde partij model sturen, of een actie downstream starten, en niets controleert of het zou moeten, en niets onafhankelijks schrijft op dat het deed.

De rommelige is mensen

De derde blinde vlek is mensen, en dat is waarom het de slechtste is. Uw personeel heeft maanden geleden uitgevonden dat het plakken van een taak in ChatGPT of Claude het sneller doet, dus doen ze het de hele dag, meestal vanaf persoonlijke accounts die u niet kunt zien. Dit is geen hypothetisch scenario. Cyberhaven’s kijk op echte werkplekgebruik vond dat een echt aandeel van werknemers vertrouwelijke bedrijfsgegevens in ChatGPT heeft geplakt, veel ervan via accounts waar het bedrijf geen raam in heeft.

Als u het waarschuwingsverhaal wilt, is het Samsung. In 2023 verbieden ze generatieve AI intern nadat ingenieurs propriëtaire broncode in ChatGPT hadden geplakt, drie keer in minder dan een maand. Dit waren geen slechte actoren. Ze waren goede ingenieurs die probeerden sneller te debuggen. Dat is de hele valkuil: de lek lijkt identiek aan productiviteit. En uw oude dataverlieshulpmiddelen zullen het niet vangen, omdat het een kopieer- en plakactie in een browsertab is, geen bestand dat het gebouw verlaat.

Wat werkt eigenlijk

Rijd de drie op en de oplossing stopt met het zijn over agenten in het bijzonder en verandert in één idee: beheers wat elke AI doet voordat het gebeurt, niet erna. Een paar dingen die echt belangrijk zijn, meestal geleerd op de harde manier.

Zit voor de actie, niet achter het. Dit is het hele spel, en dat is waarom ik blijf volhouden dat observabiliteit en beheer niet hetzelfde woord zijn. Een dashboard dat u vertelt dat een agent gisteren £40.000 heeft verplaatst, is een verliesrapport. Iets dat die overdracht kan tegenhouden voor een mens om ernaar te kijken voordat het vertrekt, is een controle. Als uw instelling alleen kan vertellen wat er is gebeurd, heeft u geen toezicht. U heeft een achteruitkijkspiegel.

Gebruik één controle, niet één per gereedschap. Agenten, API-aanroepen en personeel dat in een chatbot plakt, voelen als drie afzonderlijke problemen, dus bedrijven kopen drie afzonderlijke gereedschappen en eindigen met drie sets gaten tussen hen. De slechte dingen leven in de gaten. Alles wat een AI doet, waar het ook vandaan komt, moet door hetzelfde hek moeten gaan.

Houd een log bij die de AI niet kan herschrijven. Als het systeem dat de actie uitvoert ook het enige is dat opneemt dat het de actie heeft uitgevoerd, heeft u geen record. U heeft een dagboek dat het mag bewerken. Dit is precies waar de regels naartoe gaan. De record-vereiste van de EU AI-wet, artikel 12, bestaat zodat wat een hoogrisicosysteem heeft gedaan kan worden gereconstrueerd door iemand anders dan het systeem. In de praktijk betekent dit een log die buiten het ding dat wordt geregistreerd wordt bewaard, een die stil kan worden gewijzigd na de feiten.

Zet een mens op de grote, onomkeerbare oproepen. Niet alles, doe dat en u zult mensen verdrinken in goedkeuringen totdat ze de hele stapel rubberen stempels. Maar de oproepen die u niet terug kunt nemen, geld verplaatsen, gegevens exporteren, records verwijderen, moeten stoppen en wachten. De EU AI-wet maakt menselijk toezicht verplicht voor hoogrisicosystemen, artikel 14. De catch die het waard is om te onthouden is dat toezicht alleen telt als de persoon de tijd en de context heeft om echt nee te zeggen. Een goedkeuring die niemand leest is alleen maar toneel.

De eerlijke gut check

Geen van deze drie is een hoekgeval. Ze zijn de gewone manier waarop de meeste bedrijven AI op dit moment uitvoeren, stil, zonder veel van een net. De teams die de komende paar jaar zonder een lelijk incident doorkomen, zullen niet degenen zijn met de mooiste grafieken. Ze zullen degenen zijn die vroeg besloten dat alles wat hun AI doet, de agent, de API-aanroep, de geplakte alinea, door één hek gaat voordat het gebeurt, niet erna.

Als u een snelle test van uw eigen instelling wilt, beantwoord dan twee vragen eerlijk. Van die drie oppervlakken, hoeveel kunt u eigenlijk zien? En van degenen die u kunt zien, hoeveel kunt u stoppen? Voor veel bedrijven is het eerlijke antwoord op de tweede vraag nul. Dat is het nummer dat u eerst moet repareren.