Vin Sharma, medgründer og administrerende direktør i Vijil – intervjuserie

Vin Sharma er medgründer og administrerende direktør i Vijil, og har mer enn 30 års erfaring innen cybersikkerhet, åpen kildekode, nettsky og KI-infrastruktur. Før han grunnla selskapet, ledet han ingeniørarbeid innen dyp læring hos AWS for Amazon SageMaker og Amazon Bedrock, utviklet datasenterinfrastruktur hos Intel og hadde produkt- og ingeniørroller hos Hewlett-Packard. Karrieren begynte med automatisert red-team-testing av betrodde UNIX-systemer, og dette grunnlaget preger arbeidet hans med å gjøre KI-agenter for bedrifter pålitelige, sikre og trygge.

Vijil leverer tillitsinfrastruktur for KI-agenter i bedrifter, slik at organisasjoner kan evaluere atferd, håndheve kontrolltiltak og styrke robustheten gjennom hele agentens livssyklus. Tilnærmingen kombinerer testing, sikkerhet og kontinuerlige tilbakemeldinger for å tilpasse agentenes atferd til organisasjonens formål og retningslinjer. I dette intervjuet snakker Sharma om hvordan tillit kan defineres og måles, hvorfor testing av agenter skiller seg fra tradisjonell programvaresikkerhet, og hvilket tilsyn bedrifter trenger etter hvert som agentene får større selvstendighet.

Du jobbet i mer enn 30 år i selskaper som AWS, Intel og Hewlett-Packard før du grunnla Vijil. Hva overbeviste deg til slutt om at tillit til og sikkerhet for KI var et stort nok uløst problem til å bygge et selskap rundt?

Før jeg begynte i en sikkerhetsoppstartsbedrift for 30 år siden, gikk jeg på forskerskole og studerte KI og maskinlæring. Siden har jeg jobbet i produktteam som bygget sikkerhet på militærnivå inn i operativsystemer basert på Unix og Linux, sikre webservere for nettbank, betrodde kjøremiljøer for nettskyen og kryptering inn i plattformer for dataanalyse. Senest har jeg kommet tilbake til utgangspunktet og jobbet med å bygge bedriftsklare KI/ML-tjenester hos AWS. Denne reisen har overbevist meg om at det er mer krevende å bygge tillit inn i et intelligenssystem enn å bygge selve det intelligente systemet. KI-bransjen virker i stor grad opptatt av å øke agentenes kapasitet, men jeg mener vi må investere like mye i å bygge skalerbare mekanismer for tilsyn og kontroll inn i agentene. Uten målemetoder og mekanismer som er tilpasset behovene til bestemte organisasjoner, vil den første bølgen av overstrømmende bruk ebbe ut på grunnene av risiko og avkastning på investeringer, fordi virksomhetene ikke vil kunne bevise at agentene ivaretar interessene deres.

Vijil bygger på ideen om at mange KI-agenter aldri tas i bruk i produksjon fordi bedrifter ikke kan verifisere påliteligheten, sikkerheten og tryggheten deres godt nok. Hvor ser du de største tillitsbristene når selskaper går fra KI-prototyper til produksjonsløsninger?

Flaskehalsen for å ta i bruk flere agenter med stadig større selvstendighet er om organisasjonene kan spesifisere hvilken atferd de ønsker fra agentene, og kontrollere at agentene faktisk oppfører seg slik. De må dessuten kunne gjøre dette i samme omfang og tempo som agentene opererer i. Det er rimelig å anta at vi trenger en måte for agenter å måle og endre atferden til andre agenter på. To av de største manglene er å vite hva som skal måles (hva det vil si at agenter gjør det bra), og å vite hva som skal endres (hvilke komponenter i agentsystemet som må justeres for å fremkalle atferden agentens oppdragsgiver ønsker: modellen og parameterne dens, systeminstruksen, brukerinstruksjonene, agentrammeverket eller grafen over multiagentsystemer).

Hvordan definerer og måler Vijil «tillit» til en KI-agent, og hvilke signaler eller referansetester er viktigst når man skal avgjøre om en agent er klar til å brukes i en bedriftskontekst?

Vi definerer tillit som den forventede gevinsten ved å delegere oppgaver til en autonom agent, justert for risikoen for at den svikter hensikten vår. Det betyr at vi kan stole på en agent hvis den oppfører seg riktig under normale, støyfylte og fiendtlige forhold, og begrenser skadeomfanget når den svikter. Deretter kan vi måle tillit langs tre hovedområder: pålitelighet, sikkerhet og trygghet. Agentene er pålitelige når de fungerer som forventet under ulike forhold, sikre når de fungerer som forventet under fiendtlige forhold, og trygge når de kan begrense forretningsmessig, juridisk og teknisk risiko.

KI-agenter kan oppføre seg uforutsigbart fordi de kombinerer modeller, verktøy, datakilder, minne og eksterne systemer. Hvordan skiller testing av en agent seg fra tradisjonell sikkerhetstesting av applikasjoner eller vanlig modelevaluering?

Tradisjonell programvare svikter på måter vi nå forstår godt. Grovt sett omfatter dette manglende evne til å håndtere feilformaterte inndata, svakheter i logikk og systemdesign, implementeringsfeil, skjulte sårbarheter for angrep og utilsiktede bivirkninger av utdataene. Det er derfor ganske forutsigbart å teste for slike feil. Agenter utvider feilflaten betraktelig. Så mye at denne feilflaten i sin helhet ikke lar seg dekke av modelevaluering, enhetstester, integrasjonstester, sikkerhetstester av applikasjoner, penetrasjonstester og samsvarskontroller. For å teste den nye risikoflaten knyttet til agenter trenger vi nye målemetoder og mekanismer som vurderer agentens atferd opp mot formålet oppdragsgiveren har angitt, brukernes personaer og retningslinjene til organisasjonen, bransjen og regionen agenten opererer i.

Bakgrunnen din omfatter ledelse av utviklingsarbeid innen dyp læring for Amazon SageMaker og Amazon Bedrock. Hvilke erfaringer fra arbeidet med å bygge AI-infrastruktur hos AWS har hatt størst innvirkning på hvordan du jobber med sikkerheten og påliteligheten til agenter hos Vijil?

Den mest formative innsikten var at det var langt mer effektivt å avdekke svakheter ved tjenestenes pålitelighet, sikkerhet og etterlevelse tidlig i utviklingsløpet enn rett før lansering, slik man tradisjonelt gjorde, eller enda verre, etter at tjenesten var satt i produksjon. Da kunne man bli vekket av telefoner om en tjeneste som ikke fungerte.

Vijil konsentrerer seg ikke bare om å teste agenter før utrulling, men også om å beskytte dem og forbedre dem kontinuerlig i produksjon. Hvilke typer risiko blir først synlige når en agent begynner å samhandle med virkelige brukere, data og virksomhetssystemer?

Virkeligheten har uendelig kapasitet til å overraske oss. Og en agent som blir overrasket, er en agent som lett gjør feil. Det er ingen som bekymrer seg om en agent gjør en feil når den lager et meme. En agent som skal bistå eller erstatte en finansiell rådgiver, en advokatfullmektig, en advokat, en sykepleier, en lege, en pasient eller en hvilken som helst fagperson i en bransje der man må kunne dokumentere at man opptrer i tråd med sitt betrodde ansvar, kan ikke fungere med mindre toleransegrensene er nøye avgrenset, overvåkes grundig og agentens atferd raskt bringes tilbake på rett spor.

Etter hvert som virksomheter tar i bruk stadig mer autonome agenter som kan utføre handlinger, ikke bare generere svar, hvordan må sikkerhetsmodellen utvikle seg? Er tradisjonelle konsepter som tillatelser, identitet og tilgangskontroll tilstrekkelige?

Nei. Etter hvert som agenter blir aktører i en organisasjon, må de få unike identiteter som kan verifiseres. De må tildeles roller som begrenser både atferden deres og de funksjonelle komponentene deres (verktøy med tilgangstillatelser til ressurser) gjennom obligatoriske tilgangskontrollregler. De må overvåkes kontinuerlig for avvik fra det tiltenkte formålet, og styres slik at de forblir motstandsdyktige under angrep.

Vijil har gått fra en såkornfinansieringsrunde på 6 millioner dollar til en serie A-runde på 17 millioner dollar, samtidig som selskapet har bygget et grunnleggerteam på rundt 20 personer og nådd sine første 1 million dollar i årlige gjentakende inntekter. Hvilke beslutninger var viktigst for at dere skulle gå fra et tidlig teknisk konsept til kommersiell bruk?

Vi valgte tidlig å bygge et tillitslag som integreres med plattformen kunden foretrekker, men forventet at virksomheter i økende grad ville ønske større tilpasningsmuligheter, mer detaljert kontroll og lavere kostnader for fleragentsystemer som bruker åpne modeller. Den langsiktige satsingen på å bygge et plattformlag i stedet for et enkeltstående produkt gir oss konkurransefortrinn, men skaper også krevende forhold. Det er ikke like enkelt å finne virksomheter som er klare til å styre agenter i stor skala, som det er å selge en tjeneste som kan tas i bruk uten større endringer.

Du begynte karrieren med å utvikle automatiserte red-team-tester for pålitelige UNIX-systemer i 1995. Nesten tre tiår senere, hvordan har prinsippene for red teaming endret seg når systemet som testes, er en AI-agent som kan resonnere, tilpasse seg og bruke eksterne verktøy?

Historisk sett innebar red teaming å teste en organisasjons forsvar mot et koordinert angrep. De grunnleggende prinsippene gjelder fortsatt. Vi må fremdeles koordinere angrep under kontrollerte forhold for å undersøke svakhetene til organisasjonen som testes. Perioden i midten, da red-team-øvelser ble skriptet for å teste programvaresystemer, er imidlertid ikke lenger tilstrekkelig, fordi AI-agenter ikke er deterministisk programvare – de er laget for å tilpasse seg omgivelsene, slik at det samme angrepet ikke kan gjentas på en forutsigbar måte. Jeg mener at agenter bør behandles som selskaper. Red-team-testing av agenter må derfor nødvendigvis tilpasses agentens formål, undersøke om den avviker fra brukernes intensjoner, og kartlegge dens vilje og evne til å omgå retningslinjene i omgivelsene sine.

Ser du framover for deg at uavhengig testing og målbare tillitsstandarder for AI-agenter blir en forutsetning for bruk i virksomheter, og hva må skje i bransjen for at en slik grad av trygghet skal bli standard praksis?

I dag vurderer utviklerne agentenes kapasitet, red teams tester hvor motstandsdyktige de er mot prompt-injeksjoner og jailbreaks, og GRC-team har så vidt begynt å teste om de overholder regelverket. Svært få organisasjoner innfører en ordning for atferdsverifisering som kjører kontinuerlig i bakgrunnen gjennom hele agentens livssyklus, mens modeller, verktøy, ressurser, arbeidsflyter og målmiljøet endres. Enda viktigere er det at Vijil hjelper virksomheter på en unik måte ved å spore agentens faktiske atferd i produksjon tilbake til spesifikasjonen, i en tilbakekoblingssløyfe som stadig forbedrer agenten. Agenter som overlever angrep, er de som tilpasser seg for å forbli motstandsdyktige.

Takk for et flott intervju. Lesere som vil vite mer om testing, beskyttelse og kontinuerlig forbedring av AI-agenter for virksomheter, bør besøke Vijil.