Vin Sharma, medeoprichter en CEO van Vijil – interviewreeks

Vin Sharma is medeoprichter en CEO van Vijil en brengt meer dan 30 jaar ervaring mee op het gebied van cyberbeveiliging, opensourcesoftware, cloudcomputing en AI-infrastructuur. Voordat hij het bedrijf oprichtte, leidde hij bij AWS engineeringwerk op het gebied van deep learning voor Amazon SageMaker en Amazon Bedrock, ontwikkelde hij datacenterinfrastructuur bij Intel en vervulde hij product- en engineeringfuncties bij Hewlett-Packard. Zijn loopbaan begon met geautomatiseerde red-teamtests voor vertrouwde UNIX-systemen. Die achtergrond vormt de basis voor zijn streven om AI-agenten voor bedrijven betrouwbaar, beveiligd en veilig te maken.

Vijil biedt vertrouwensinfrastructuur voor AI-agenten voor bedrijven en helpt organisaties het gedrag van agenten gedurende hun hele levenscyclus te evalueren, controles af te dwingen en hun veerkracht te vergroten. De aanpak combineert testen, beveiliging en voortdurende feedback om het gedrag van agenten af te stemmen op het beoogde doel en het beleid van een organisatie. In dit interview bespreekt Sharma hoe vertrouwen kan worden gedefinieerd en gemeten, waarom het testen van agenten verschilt van traditionele softwarebeveiliging en welk toezicht bedrijven nodig hebben naarmate agenten autonomer worden.

U hebt meer dan 30 jaar gewerkt bij bedrijven als AWS, Intel en Hewlett-Packard voordat u Vijil oprichtte. Wat overtuigde u er uiteindelijk van dat vertrouwen in en beveiliging van AI een groot genoeg onopgelost probleem vormden om er een bedrijf omheen op te bouwen?

Voordat ik 30 jaar geleden bij een beveiligingsstartup aan de slag ging, studeerde ik aan de universiteit AI en machine learning. Sindsdien heb ik in productteams gewerkt aan beveiliging van militair niveau in op Unix en Linux gebaseerde besturingssystemen, beveiligde webservers voor internetbankieren, vertrouwde uitvoeringsomgevingen voor cloudcomputing en versleuteling in platforms voor data-analyse. En meest recentelijk ben ik weer uitgekomen bij het bouwen van AI- en ML-diensten voor bedrijven bij AWS. Die reis heeft me ervan overtuigd dat vertrouwen inbouwen in een intelligent systeem moeilijker is dan het intelligente systeem zelf bouwen. Hoewel de AI-sector zich over het algemeen lijkt toe te leggen op het vergroten van de mogelijkheden van agenten, denk ik dat we evenveel middelen moeten investeren in schaalbare mechanismen voor toezicht en controle in die agenten. Zonder meetmethoden en mechanismen die zijn toegesneden op de behoeften van specifieke organisaties, zal de aanvankelijke golf van ongeremde adoptie stranden op de zandbanken van risico en ROI. Bedrijven zullen namelijk niet kunnen aantonen dat hun agenten in hun belang handelen.

Vijil is gebaseerd op het idee dat veel AI-agenten nooit in productie worden genomen, omdat bedrijven hun betrouwbaarheid, beveiliging en veiligheid niet voldoende kunnen verifiëren. Waar ziet u de grootste vertrouwensproblemen ontstaan wanneer bedrijven de overstap maken van AI-prototypes naar implementaties in productie?

De grootste belemmering voor de inzet van steeds autonomere agenten is de vraag of organisaties het beoogde gedrag van hun agenten kunnen specificeren en kunnen controleren of die agenten zich gedragen zoals bedoeld. Bovendien moeten ze dat kunnen doen op de schaal en met de snelheid waarmee agenten werken. Het ligt voor de hand dat we een manier nodig hebben waarop agenten het gedrag van andere agenten kunnen meten en aanpassen. Twee van de grootste hiaten zijn weten wat je moet meten (wat goed gedrag van agenten inhoudt) en weten wat je moet aanpassen (welke onderdelen van het agentsysteem je moet afstellen om het gedrag op te roepen dat de opdrachtgever beoogt: het model en de parameters ervan, de systeemprompt, de gebruikersinstructies, het agentenkader of de graaf van multi-agentsystemen).

Hoe definieert en meet Vijil ‘vertrouwen’ in een AI-agent, en welke signalen of benchmarks zijn het belangrijkst om te bepalen of een agent klaar is om binnen een bedrijfsomgeving te werken?

Wij definiëren vertrouwen als het verwachte voordeel van het delegeren van taken aan een autonome agent, afgezet tegen het risico dat die agent onze bedoelingen verraadt. Dat betekent dat je een agent kunt vertrouwen als die zich correct gedraagt onder normale, onvoorspelbare en vijandige omstandigheden, en bij een fout de impact ervan zo klein mogelijk houdt. Vertrouwen kunnen we vervolgens meten aan de hand van drie pijlers: betrouwbaarheid, beveiliging en veiligheid. Agenten zijn betrouwbaar wanneer ze zich onder uiteenlopende omstandigheden gedragen zoals verwacht, beveiligd wanneer ze zich onder vijandige omstandigheden gedragen zoals verwacht, en veilig wanneer ze bedrijfs-, juridische en technische risico’s tot een minimum kunnen beperken.

AI-agenten kunnen zich onvoorspelbaar gedragen doordat ze modellen, tools, gegevensbronnen, geheugen en externe systemen combineren. In welk opzicht verschilt het testen van een agent van traditionele beveiligingstests voor applicaties of conventionele modelevaluatie?

Traditionele software vertoont inmiddels bekende soorten fouten. In grote lijnen gaat het om het niet kunnen verwerken van onjuist opgemaakte invoer, zwakke plekken in de logica en het systeemontwerp, implementatiefouten, verborgen kwetsbaarheden voor aanvallen en onbedoelde neveneffecten van de uitvoer. Het testen op deze fouten is dan ook goed voorspelbaar. Agenten vergroten het foutoppervlak aanzienlijk, zozeer zelfs dat modelevaluatie, unit-tests, integratietests, beveiligingstests voor applicaties, penetratietests en nalevingscontroles dat oppervlak principieel niet kunnen bestrijken. Om de nieuwe risico’s van agenten te testen, hebben we nieuwe meetmethoden en mechanismen nodig die het gedrag van een agent beoordelen in relatie tot het doel dat de opdrachtgever heeft vastgesteld, de persona’s van de gebruikers en het beleid van de organisatie, de sector en de regio waarin de agent actief is.

Je achtergrond omvat het leiden van deep-learning-engineeringprojecten voor Amazon SageMaker en Amazon Bedrock. Welke lessen uit de ontwikkeling van AI-infrastructuur bij AWS hebben de meeste invloed gehad op je aanpak van de beveiliging en betrouwbaarheid van agents bij Vijil?

Het belangrijkste inzicht was dat het veel effectiever en efficiënter is om problemen met de betrouwbaarheid, beveiliging en naleving van diensten vroeg in de ontwikkelingscyclus op te sporen dan op de vooravond van de lancering, zoals traditioneel gebeurde, of erger nog, nadat de dienst in productie was genomen. In dat laatste geval werd je wakker van telefoontjes over een dienst die niet werkte.

Vijil richt zich niet alleen op het testen van agents vóór hun implementatie, maar ook op het beschermen en voortdurend verbeteren ervan in productie. Welke soorten risico’s worden pas zichtbaar wanneer een agent begint te communiceren met echte gebruikers en te werken met echte gegevens en bedrijfssystemen?

De echte wereld kan ons oneindig vaak verrassen. En een agent die verrast wordt, maakt sneller fouten. Niemand ligt wakker van een agent die een fout maakt bij het genereren van een meme. Maar een agent die is ontworpen om een financieel adviseur, een juridisch medewerker, een advocaat, een verpleegkundige, een arts, een patiënt of een andere beroepsbeoefenaar te ondersteunen of te vervangen in een sector waarin aantoonbaar fiduciair handelen vereist is, kan niet functioneren tenzij de tolerantieniveaus nauwkeurig zijn afgebakend, zorgvuldig worden bewaakt en het gedrag van de agent snel wordt hersteld.

Nu bedrijven steeds autonomere agents inzetten die handelingen kunnen uitvoeren in plaats van alleen antwoorden te genereren, hoe moet het beveiligingsmodel zich dan ontwikkelen? Zijn traditionele concepten als machtigingen, identiteit en toegangsbeheer toereikend?

Nee. Naarmate agents actoren binnen een organisatie worden, moeten ze unieke, verifieerbare identiteiten krijgen en rollen toegewezen krijgen die zowel hun gedrag als hun functionele onderdelen (tools met toegangsrechten voor bronnen) vastleggen in beleid voor verplichte toegangscontrole. Ook moeten ze voortdurend worden bewaakt op afwijkingen van hun beoogde doel en worden bijgestuurd om onder aanvallen veerkrachtig te blijven.

Vijil is gegroeid van een seedronde van $6 miljoen naar een Series A van $17 miljoen, heeft een oprichtingsteam van ongeveer 20 mensen opgebouwd en heeft de eerste $1 miljoen aan jaarlijkse terugkerende omzet behaald. Welke beslissingen waren het belangrijkst om de stap te zetten van een vroeg technisch concept naar commerciële toepassing?

Al vroeg kozen we ervoor een vertrouwenslaag te bouwen die integreert met het platform van de klant, maar we verwachtten dat bedrijven steeds vaker meer maatwerk, fijnmaziger controle en lagere kosten zouden willen voor systemen met meerdere agents die open modellen gebruiken. De langetermijnstrategie om een platformlaag te bouwen in plaats van één afzonderlijk product levert ons concurrentievoordelen op, maar schept ook lastige omstandigheden: bedrijven vinden die klaar zijn om agents op grote schaal te beheren, is niet zo eenvoudig als een lift-and-shift-dienst verkopen.

Je begon je loopbaan in 1995 met de ontwikkeling van geautomatiseerde red-teamtests voor vertrouwde UNIX-systemen. Hoe zijn de principes van red-teaming in bijna drie decennia veranderd, nu het geteste systeem een AI-agent is die kan redeneren, zich aanpassen en externe tools gebruiken?

Van oudsher betekende red-teaming dat de verdediging van een organisatie tegen een gecoördineerde aanval werd getest. De algemene principes gelden nog steeds. We moeten aanvallen onder gecontroleerde omstandigheden blijven coördineren om de zwakke plekken van de organisatie die wordt getest op te sporen. De tussenliggende periode waarin red-team oefeningen volgens vaste scripts werden uitgevoerd om softwaresystemen te testen, volstaat echter niet meer: AI-agents zijn geen deterministische software. Ze zijn ontworpen om zich aan hun omgeving aan te passen, waardoor dezelfde aanval niet op voorspelbare wijze kan worden herhaald. Ik stel dat agents als bedrijven moeten worden behandeld. Red-teamtests van agents moeten zich daarom noodzakelijkerwijs aanpassen aan het doel van de agent, onderzoeken in hoeverre die afwijkt van de bedoelingen van de gebruikers en nagaan in hoeverre die bereid en in staat is het beleid van zijn omgeving te omzeilen.

Verwacht je dat onafhankelijke tests en meetbare vertrouwensnormen voor AI-agents op termijn een voorwaarde worden voor implementatie binnen bedrijven? En wat moet er in de sector gebeuren om een dergelijk niveau van zekerheid tot de standaardpraktijk te maken?

Momenteel beoordelen ontwikkelaars agents op hun capaciteiten, testen red-teams hoe goed ze bestand zijn tegen promptinjecties en jailbreaks, en beginnen GRC-teams ze te toetsen op naleving van regelgeving. Slechts weinig organisaties voeren een regime voor gedragsverificatie in dat gedurende de hele levenscyclus van de agent voortdurend op de achtergrond draait, terwijl modellen, tools, bronnen, workflows en de doelomgeving veranderen. Nog belangrijker is dat Vijil bedrijven op unieke wijze helpt door het daadwerkelijke gedrag van een agent in productie terug te koppelen aan de specificatie ervan, in een feedbacklus die de agent voortdurend verbetert. Agents die aanvallen overleven, zijn agents die zich aanpassen om veerkrachtig te blijven.

Bedankt voor het fijne interview. Lezers die meer willen weten over het testen, beschermen en voortdurend verbeteren van AI-agents voor bedrijven, kunnen terecht bij Vijil.