Vin Sharma, medstifter og administrerende direktør for Vijil – interviewserie

Vin Sharma er medstifter og administrerende direktør for Vijil og har mere end 30 års erfaring inden for cybersikkerhed, open source, cloudcomputing og AI-infrastruktur. Før han grundlagde virksomheden, ledede han arbejdet med deep learning-teknik hos AWS for Amazon SageMaker og Amazon Bedrock, udviklede datacenterinfrastruktur hos Intel og havde produkt- og ingeniørstillinger hos Hewlett-Packard. Hans karriere begyndte med automatiseret red team-test af betroede UNIX-systemer, og det har dannet grundlag for hans fokus på at gøre AI-agenter til virksomheder pålidelige, sikre og trygge.

Vijil leverer tillidsinfrastruktur til AI-agenter i virksomheder og hjælper organisationer med at evaluere adfærd, håndhæve kontroller og styrke robustheden gennem hele agenternes livscyklus. Tilgangen kombinerer test, sikkerhed og løbende feedback for at bringe agenternes adfærd på linje med organisationens tilsigtede formål og politikker. I dette interview taler Sharma om, hvordan man definerer og måler tillid, hvorfor test af agenter adskiller sig fra traditionel softwaresikkerhed, og hvilket tilsyn virksomheder har brug for, efterhånden som agenterne får større autonomi.

Du arbejdede i mere end 30 år på tværs af virksomheder som AWS, Intel og Hewlett-Packard, før du grundlagde Vijil. Hvad overbeviste dig i sidste ende om, at tillid til og sikkerhed for AI var et tilstrækkeligt stort uløst problem at bygge en virksomhed op omkring?

Før jeg for 30 år siden begyndte hos en sikkerhedsstartup, gik jeg på en videregående uddannelse, hvor jeg studerede AI og maskinlæring. Siden har jeg arbejdet i produktteams, der indbyggede sikkerhed på militært niveau i operativsystemer baseret på Unix og Linux, udviklede sikre webservere til netbank, skabte betroede eksekveringsmiljøer til cloudcomputing og indarbejdede kryptering i dataanalyseplatforme. Senest er jeg vendt tilbage til udgangspunktet og har arbejdet med at bygge virksomhedsklare AI/ML-tjenester hos AWS. Forløbet har overbevist mig om, at det er mere udfordrende at indbygge tillid i et intelligent system end at bygge selve det intelligente system. AI-branchen synes generelt at være opsat på at øge agenternes kapacitet, men jeg mener, at vi bør investere lige så mange ressourcer i at indbygge skalerbare mekanismer til tilsyn og kontrol i agenterne. Uden målinger og mekanismer, der er skræddersyet til de enkelte organisationers behov, vil den første bølge af begejstret udbredelse strande på risiko og afkast, fordi virksomhederne ikke vil kunne bevise, at deres agenter arbejder i deres bedste interesse.

Vijil bygger på idéen om, at mange AI-agenter aldrig sættes i produktion, fordi virksomheder ikke i tilstrækkelig grad kan verificere deres pålidelighed, sikkerhed og tryghed. Hvor ser du de største mangler på tillidsområdet, når virksomheder går fra AI-prototyper til produktionsimplementeringer?

Flaskehalsen for at udrulle flere agenter med stadig større autonomi er, om organisationerne kan beskrive den tilsigtede adfærd for deres agenter og verificere, at agenterne opfører sig som ønsket. Og det er ikke nok: De skal kunne gøre det i det tempo og omfang, som agenterne arbejder med. Det er derfor rimeligt at antage, at vi har brug for en måde, hvorpå agenter kan måle og ændre andre agenters adfærd. To af de største mangler er at vide, hvad der skal måles (hvad det vil sige, at agenter fungerer godt), og hvad der skal ændres (hvilke komponenter i agentsystemet der skal justeres for at fremkalde den adfærd, som agentens opdragsgiver ønsker: modellen og dens parametre, systemprompten, brugerens instruktioner, agentens rammeværk eller grafen over multiagentsystemer).

Hvordan definerer og måler Vijil »tillid« til en AI-agent, og hvilke signaler eller benchmarks er vigtigst, når man skal afgøre, om en agent er klar til at fungere i en virksomhed?

Vi definerer tillid som den forventede fordel ved at uddelegere opgaver til en autonom agent, fratrukket risikoen for, at den svigter vores hensigt. Det betyder, at man kan have tillid til en agent, hvis den opfører sig korrekt under normale, støjfyldte og fjendtlige forhold, og hvis den begrænser skadeomfanget, når den fejler. Tillid kan derefter måles ud fra tre søjler: pålidelighed, sikkerhed og tryghed. Agenter er pålidelige, når de fungerer som forventet under forskellige forhold; de er sikre, når de fungerer som forventet under fjendtlige forhold; og de er trygge, når de kan begrænse forretningsmæssige, juridiske og tekniske risici.

AI-agenter kan opføre sig uforudsigeligt, fordi de kombinerer modeller, værktøjer, datakilder, hukommelse og eksterne systemer. Hvordan adskiller test af en agent sig fra traditionel test af applikationssikkerhed eller konventionel modelevaluering?

Traditionel software fejler på måder, vi efterhånden forstår godt. I brede træk omfatter det manglende evne til at håndtere fejlformaterede input, svagheder i logik og systemdesign, implementeringsfejl, skjulte sårbarheder over for angreb og utilsigtede bivirkninger af outputtet. Test for disse fejl er derfor til at forudsige. Agenter udvider fejlfladen voldsomt, så den i praksis bliver principielt utilgængelig for modelevaluering, enhedstest, integrationstest, test af applikationssikkerhed, penetrationstest og compliancekontrol. For at teste den nye risikoflade, som agenter udgør, har vi brug for nye målinger og mekanismer, der evaluerer agentens adfærd i forhold til dens formål, som opdragsgiveren har fastlagt, dens brugeres personaer og politikkerne i den organisation, branche og region, hvor den fungerer.

Du har blandt andet ledet udviklingsarbejde inden for deep learning for Amazon SageMaker og Amazon Bedrock. Hvilke erfaringer fra arbejdet med at opbygge AI-infrastruktur hos AWS har haft størst indflydelse på din tilgang til sikkerhed og pålidelighed for agenter hos Vijil?

Den mest formative indsigt var, at det var langt mere effektivt at finde fejl i tjenesternes pålidelighed, sikkerhed og overholdelse af regler tidligt i udviklingsforløbet end på tærsklen til lanceringen, som det traditionelt skete, eller endnu værre efter at tjenesten var sat i drift, hvor man vågnede op til telefonopkald om en tjeneste, der ikke fungerede.

Vijil fokuserer ikke kun på at teste agenter før ibrugtagning, men også på at beskytte og løbende forbedre dem i drift. Hvilke typer risici bliver først synlige, når en agent begynder at interagere med rigtige brugere, data og virksomhedssystemer?

Den virkelige verden kan overraske os i det uendelige. Og en agent, der bliver overrasket, er tilbøjelig til at begå fejl. Det bekymrer ingen, hvis en agent laver en fejl, når den genererer et meme. Men en agent, der er udviklet til at hjælpe eller erstatte en finansiel rådgiver, en juridisk assistent, en advokat, en sygeplejerske, en læge, en patient eller en hvilken som helst fagperson i en branche, hvor man skal kunne dokumentere, at man handler i andres bedste interesse, kan ikke fungere, medmindre toleranceniveauerne er klart afgrænsede og nøje overvågede, og agentens adfærd hurtigt bringes tilbage på rette spor.

Efterhånden som virksomheder tager stadig mere autonome agenter i brug, der kan udføre handlinger i stedet for blot at generere svar, hvordan skal sikkerhedsmodellen så udvikle sig? Er traditionelle begreber som tilladelser, identitet og adgangskontrol tilstrækkelige?

Nej. Når agenter bliver aktører i en organisation, skal de tildeles unikke identiteter, der kan verificeres. De skal have roller, der styrer både deres adfærd og deres funktionelle komponenter (værktøjer med adgangstilladelser til ressourcer) gennem obligatoriske adgangskontrolpolitikker. De skal overvåges løbende for afvigelser fra det tilsigtede formål, og deres adfærd skal styres, så de forbliver modstandsdygtige under angreb.

Vijil er gået fra en seed-runde på 6 mio. dollars til en serie A-runde på 17 mio. dollars, samtidig med at I har opbygget et stifterteam på omkring 20 personer og nået jeres første 1 mio. dollars i årlig tilbagevendende omsætning. Hvilke beslutninger var vigtigst for, at I kunne gå fra et tidligt teknisk koncept til kommerciel udbredelse?

Vi besluttede tidligt at bygge et lag af tillid, der kan integreres med den platform, kunden foretrækker. Samtidig forudså vi, at virksomheder i stigende grad ville efterspørge større tilpasningsmuligheder, mere detaljeret kontrol og lavere omkostninger ved at bruge flere agenter med åbne modeller. Den langsigtede satsning på at bygge et platformslag frem for et enkeltstående produkt giver os konkurrencemæssige fordele, men skaber også udfordrende vilkår: Det er ikke så let at finde virksomheder, der er klar til at styre agenter i stor skala, som det er at sælge en tjeneste, der kan indføres uden større ændringer.

Du begyndte din karriere med at udvikle automatiserede red-team-tests til betroede UNIX-systemer i 1995. Næsten tre årtier senere, hvordan har principperne for red teaming så ændret sig, når det system, der testes, er en AI-agent, som kan ræsonnere, tilpasse sig og bruge eksterne værktøjer?

Historisk set betød red teaming, at man testede en organisations forsvar mod et koordineret angreb. De grundlæggende principper gælder stadig. Vi har fortsat brug for koordinerede angreb under kontrollerede forhold for at undersøge svaghederne i den organisation, der testes. Men den mellemliggende periode, hvor red-team-øvelser blev skrevet som faste tests af softwaresystemer, er ikke længere tilstrækkelig, fordi AI-agenter ikke er deterministisk software – de er udviklet til at tilpasse sig deres omgivelser, så det samme angreb ikke kan gentages på en forudsigelig måde. Jeg mener, at agenter bør behandles som virksomheder. Derfor må red-team-test af agenter nødvendigvis tilpasses agentens formål og undersøge, om den afviger fra brugernes hensigt, samt om den er villig og i stand til at omgå de politikker, der gælder i dens omgivelser.

Ser du fremad, forventer du så, at uafhængig testning og målbare standarder for tillid til AI-agenter bliver en forudsætning for, at virksomheder tager dem i brug? Og hvad skal der ske i branchen, for at den grad af sikkerhed bliver standard?

I dag vurderer udviklerne agenternes funktionsevne, red teams tester deres modstandsdygtighed over for prompt-injektioner og jailbreak-angreb, og GRC-teams er først lige begyndt at teste, om agenterne overholder reglerne. Meget få organisationer indfører en ordning med løbende adfærdsverifikation, der kører i baggrunden gennem hele agentens livscyklus, mens modeller, værktøjer, ressourcer, arbejdsgange og målmiljø ændrer sig. Endnu vigtigere er det, at Vijil hjælper virksomheder på en unik måde ved at spore agentens faktiske adfærd i drift tilbage til dens specifikation i en feedbacksløjfe, som løbende forbedrer agenten. De agenter, der overlever angreb, er dem, der tilpasser sig for at bevare deres modstandsdygtighed.

Tak for et godt interview. Læsere, der gerne vil vide mere om test, beskyttelse og løbende forbedring af AI-agenter til virksomheder, kan besøge Vijil.