Vin Sharma, medgrundare och vd för Vijil – intervjuserie

Vin Sharma är medgrundare och vd för Vijil och har mer än 30 års erfarenhet av cybersäkerhet, öppen källkod, molntjänster och AI-infrastruktur. Innan han grundade företaget ledde han utvecklingsarbete inom djupinlärning på AWS för Amazon SageMaker och Amazon Bedrock, utvecklade datacenterinfrastruktur på Intel och hade produkt- och ingenjörsroller på Hewlett-Packard. Hans karriär började med automatiserade red team-tester av betrodda UNIX-system, en erfarenhet som ligger till grund för hans fokus på att göra AI-agenter för företag tillförlitliga, säkra och trygga.

Vijil tillhandahåller förtroendeinfrastruktur för AI-agenter i företag och hjälper organisationer att utvärdera deras beteende, införa kontroller och stärka motståndskraften genom hela agenternas livscykel. Företagets metod kombinerar testning, säkerhet och kontinuerlig återkoppling för att anpassa agenternas beteende till organisationens avsedda syfte och policyer. I den här intervjun diskuterar Sharma hur förtroende kan definieras och mätas, varför testning av agenter skiljer sig från traditionell programvarusäkerhet och vilken tillsyn företag behöver när agenterna får större självständighet.

Du arbetade i mer än 30 år på företag som AWS, Intel och Hewlett-Packard innan du grundade Vijil. Vad övertygade dig till slut om att förtroende för och säkerhet kring AI var ett tillräckligt stort olöst problem att bygga ett företag kring?

Innan jag började på ett säkerhetsstartupföretag för 30 år sedan gick jag på forskarutbildningen och studerade AI och maskininlärning. Sedan dess har jag arbetat i produktteam som byggde in säkerhet av militär klass i operativsystem baserade på Unix och Linux, utvecklade säkra webbservrar för internetbanker, skapade betrodda exekveringsmiljöer för molntjänster och integrerade kryptering i plattformar för dataanalys. På senare tid har jag slutit cirkeln och återvänt till att utveckla företagsanpassade AI/ML-tjänster på AWS. Resan har övertygat mig om att det är svårare att bygga in förtroende i ett intelligent system än att bygga själva det intelligenta systemet. AI-branschen verkar i stort sett vara inriktad på att öka agenternas förmåga, men jag anser att vi behöver investera lika mycket resurser i att bygga skalbara mekanismer för tillsyn och kontroll i agenterna. Utan mätetal och mekanismer som är anpassade efter enskilda organisationers behov kommer den första vågen av entusiastiskt införande att ebba ut på riskernas och avkastningens sandbankar, eftersom företagen inte kommer att kunna bevisa att agenterna arbetar för deras bästa.

Vijil bygger på tanken att många AI-agenter aldrig tas i drift eftersom företag inte kan verifiera deras tillförlitlighet, säkerhet och trygghet tillräckligt väl. Var ser du de största bristerna i förtroendet när företag går från AI-prototyper till driftsatta lösningar?

Flaskhalsen för att driftsätta fler agenter med allt större självständighet är om organisationer kan specificera agenternas avsedda beteende och verifiera att de faktiskt beter sig som avsett. Dessutom måste de kunna göra det i den skala och med den hastighet som agenterna arbetar i. Det är rimligt att vi behöver ett sätt för agenter att mäta och ändra andra agenters beteende. Två av de största bristerna handlar om att veta vad som ska mätas (vad ett bra resultat innebär för agenter) och vad som ska ändras (vilka delar av agentsystemet som ska justeras för att framkalla det beteende som agentens uppdragsgivare avser): modellen och dess parametrar, systemprompten, användarinstruktionerna, agentramverket eller grafen över multiagentsystem.

Hur definierar och mäter Vijil ”förtroende” för en AI-agent, och vilka signaler eller riktmärken är viktigast när man avgör om en agent är redo att användas i en företagsmiljö?

Vi definierar förtroende som den förväntade nyttan av att delegera uppgifter till en autonom agent, minskad med risken för att den sviker våra avsikter. Det innebär att man kan lita på en agent om den beter sig korrekt under normala, störningsfyllda och fientliga förhållanden och, om den misslyckas, begränsar skadeverkningarna. Förtroende kan sedan mätas utifrån tre grundpelare: tillförlitlighet, säkerhet och trygghet. Agenterna är tillförlitliga när de presterar som förväntat under varierande förhållanden, säkra när de presterar som förväntat under fientliga förhållanden och trygga när de kan minimera verksamhetsmässiga, juridiska och tekniska risker.

AI-agenter kan bete sig oförutsägbart eftersom de kombinerar modeller, verktyg, datakällor, minne och externa system. Hur skiljer sig testning av en agent från traditionell testning av applikationssäkerhet eller konventionell modellevaluering?

Traditionell programvara fallerar på sätt som numera är väl förstådda. I breda drag handlar det om oförmåga att hantera felaktigt formaterade indata, svagheter i logik och systemdesign, implementeringsfel, dolda sårbarheter för attacker och oavsiktliga bieffekter av utdata. Det är därför relativt förutsägbart att testa för sådana fel. Agenter utökar felens angreppsyta avsevärt. Den blir så omfattande att den i grunden inte går att täcka med modellevaluering, enhetstester, integrationstester, applikationssäkerhetstester, penetrationstester och efterlevnadskontroller. För att testa den nya riskytan som agenter innebär behöver vi nya mätetal och mekanismer som utvärderar agentens beteende i förhållande till dess syfte, sådant det specificerats av uppdragsgivaren, användarnas personor och policyerna hos organisationen, branschen och regionen där agenten används.

Du har lett utvecklingsarbete inom djupinlärning för Amazon SageMaker och Amazon Bedrock. Vilka lärdomar från arbetet med att bygga AI-infrastruktur på AWS har påverkat mest hur du arbetar med agenters säkerhet och tillförlitlighet på Vijil?

Den mest avgörande insikten var att det var betydligt effektivare att upptäcka brister i tjänsternas tillförlitlighet, säkerhet och regelefterlevnad tidigt i utvecklingscykeln än på lanseringsdagen, vilket var det traditionella tillvägagångssättet, eller ännu värre, efter att tjänsten satts i produktion – då kunde man vakna av telefonsamtal om att en tjänst inte fungerade.

Vijil fokuserar inte bara på att testa agenter före driftsättning, utan också på att skydda dem och kontinuerligt förbättra dem i produktion. Vilka typer av risker blir synliga först när en agent börjar interagera med verkliga användare, data och företagssystem?

Verkligheten har oändlig förmåga att överraska oss. Och en överraskad agent är en agent som lätt gör fel. Ingen bryr sig om en agent gör ett misstag när den skapar ett meme. Men en agent som är utformad för att bistå eller ersätta en finansiell rådgivare, en juridisk assistent, en advokat, en sjuksköterska, en läkare, en patient eller någon annan yrkesperson inom en bransch där man måste kunna visa att man agerar i enlighet med sitt förtroendeuppdrag kan inte fungera om toleransnivåerna inte är tydligt avgränsade och noggrant övervakade och agentens beteende snabbt återställs.

När företag tar i bruk alltmer autonoma agenter som kan vidta åtgärder i stället för att bara generera svar, hur behöver säkerhetsmodellen utvecklas? Räcker traditionella begrepp som behörigheter, identitet och åtkomstkontroll?

Nej. När agenter blir aktörer i en organisation behöver de tilldelas unika identiteter som går att verifiera. De behöver få roller som styr både deras beteende och deras funktionella komponenter (verktyg med åtkomstbehörigheter till resurser) genom obligatoriska åtkomstkontrollprinciper. De behöver övervakas kontinuerligt för att upptäcka avvikelser från det avsedda syftet, och styras så att de förblir motståndskraftiga vid angrepp.

Vijil har gått från en såddfinansieringsrunda på 6 miljoner dollar till en A-runda på 17 miljoner dollar, samtidigt som ni byggt ett grundarteam på omkring 20 personer och nått era första 1 miljon dollar i årliga återkommande intäkter. Vilka beslut var viktigast för att gå från ett tidigt tekniskt koncept till kommersiell användning?

Vi valde tidigt att bygga ett förtroendelager som integreras med den plattform kunden föredrar, men räknade med att företag i allt högre grad skulle efterfråga större anpassningsmöjligheter, mer detaljerad kontroll och lägre kostnader för multiagentsystem med öppna modeller. Den långsiktiga satsningen på att bygga ett plattformslager i stället för en punktprodukt ger oss konkurrensfördelar, men skapar också utmanande förutsättningar: det är inte lika enkelt att hitta företag som är redo att införa styrning av agenter i stor skala som att sälja en tjänst för att flytta system oförändrade till en ny miljö.

Du inledde din karriär med att utveckla automatiserade red team-tester för betrodda UNIX-system 1995. Nästan tre decennier senare, hur har principerna för red teaming förändrats när systemet som testas är en AI-agent som kan resonera, anpassa sig och använda externa verktyg?

Historiskt sett innebar red teaming att testa en organisations försvar mot ett samordnat angrepp. De grundläggande principerna gäller fortfarande. Vi behöver fortfarande samordna angrepp under kontrollerade förhållanden för att undersöka svagheterna hos organisationen som testas. Den historiska mellanperiod då red team-övningar utformades som skriptade tester av programvarusystem är dock inte längre tillräcklig, eftersom AI-agenter inte är deterministisk programvara – de är utformade för att anpassa sig till sin omgivning, så samma angrepp kan inte upprepas på ett förutsägbart sätt. Jag menar att agenter bör behandlas som företag. Därför måste red team-tester av agenter anpassas efter agentens syfte och undersöka om den avviker från användarnas avsikter samt om den är villig och kapabel att kringgå omgivningens policyer.

Framöver, tror du att oberoende tester och mätbara tillitsstandarder för AI-agenter blir en förutsättning för att företag ska ta dem i bruk? Och vad behöver hända i branschen för att en sådan tillförlitlighetsnivå ska bli standard?

I dag utvärderar utvecklarna agenternas förmåga, red team-grupper testar deras motståndskraft mot promptinjektioner och jailbreak-attacker, och GRC-team har just börjat testa deras efterlevnad av regelverk. Mycket få organisationer inför ett system för beteendeverifiering som körs kontinuerligt i bakgrunden under agentens hela livscykel, medan modeller, verktyg, resurser, arbetsflöden och målmiljö förändras. Ännu viktigare är att Vijil hjälper företag på ett unikt sätt genom att spåra agentens faktiska beteende i produktion tillbaka till dess specifikation i en återkopplingsslinga som kontinuerligt förbättrar agenten. De agenter som står emot angrepp är de som anpassar sig för att förbli motståndskraftiga.

Tack för en givande intervju. Läsare som vill veta mer om hur man testar, skyddar och kontinuerligt förbättrar AI-agenter för företag kan besöka Vijil.