Bo Li, CEO, Virtue AI – Intervju-serie

Bo Li, CEO i Virtue AI, er en fremtredende forsker og entrepreneur som spesialiserer seg på sikkerheten og sikkerheten til kunstig intelligens-systemer. Hun leder Virtue AI samtidig som hun også er professor ved University of Illinois Urbana-Champaign, der hennes forskning fokuserer på maskinlæringssikkerhet, pålitelig AI og motstandsdyktighet. Hennes karriere spenner over både akademia og industri, noe som gjør det mulig for henne å oversette avansert AI-forskning til praktiske anvendelser som hjelper organisasjoner å bygge sikrere og mer robuste AI-teknologier.

Virtue AI er et selskap som fokuserer på å beskytte og styre AI-systemer som brukes i bedriftsmiljøer. Deres plattform tilbyr funksjoner som automatisert red teaming, sanntidsbeskyttelse og kontinuerlig overvåking for å identifisere sårbarheter som promptinjeksjon, hallucinasjoner og datalækasje. Ved å integrere direkte i AI-utviklings- og deployeringsprosesser hjelper selskapet organisasjoner å sikre en trygg skaleringsprosess for store språkmodeller og AI-drevne applikasjoner samtidig som de opprettholder høye sikkerhets- og styringsstandarder.

Hva motiverte deg til å gå fra en ren akademisk karriere til å grunnlegge og lede Virtue AI, og hvilket problem følte du at industrien ikke løste på en tilfredsstillende måte?

Tradisjonelle sikkerhetsteknologier var utviklet for forutsigbare applikasjoner med faste baner. De var aldri designet for systemer som resonerer, tilpasser seg og handler autonomt. Mine medgrunnleggere og jeg så et gap mellom hva grunnleggende AI-sikkerhetsforskning hadde produsert og hva bedrifter faktisk hadde tilgjengelig for seg. Forskningen eksisterte. Produksjonsrealiteten ikke. Det var det vi satte oss fore å endre.

Virtue AI fokuserer på sikkerhet, sikkerhet og overholdelse for store språkmodeller og autonome agenter. Hvilket av disse områdene tror du at bedrifter undervurderer mest i dag?

Bedrifter forstår alle disse områdene til en viss grad, spesielt sikkerhet, men det er fortsatt et stort gap.

Bedrifter har begynt å ta modell sikkerhet alvorlig, åtminstone på overflaten. Men agenter er et annet problem. De får tilgang til de mest sensitive delene av bedriftens infrastruktur: kjøre kode, ringe API-er, bla på nettet og ta kjedeavgjørelser som berører data, finansielle transaksjoner og drift. De fleste sikkerhetsteamene er ikke utstyrt til å resonnere om slike systemer. Verktøyene de har, var ikke bygget for det.

Risikoen er ikke teoretisk. Uten sikkerhet bygget spesielt for agenter, kan små feil akselerere raskt. En uventet verktøykall, en tvetydig instruksjon, en prompt som glipper forbi beskyttelsesforanstaltninger – noen av disse kan eskalere til uautoriserte handlinger eller datalækasje før noen merker at noe gikk galt.

Kontinuerlig red teaming er sentral i Virtue AI’s tilnærming. Hvilke typer feil eller risiko tenderer å dukke opp først når systemer er live i produksjon?

De fleste alvorlige.

I en kontrollert miljø, tester du modellen og agentene. I produksjon, tester du systemet – og det er to forskjellige ting. Når en modell er koblet til verktøy, hentingssystemer, brukerinput og andre agenter, utvides adferdsrommet på måter som forhånds-testning ikke fanger. En “sikker konfigurert” agent kan oppføre seg svært annerledes når den er koblet til ekte databaser, nye MCP-servere eller andre agenter. Systemet blir ikke-deterministisk. Det begynner å ta beslutninger basert på kontekst som ikke eksisterte under evaluering.

Det er da du finner feilene som faktisk teller.

Hvordan tenker du om å måle “AI-sikkerhet” i praksis, spesielt når systemer utvikler seg gjennom finjustering, henting og verktøyanvendelse?

I praksis kan AI-sikkerhet ikke måles gjennom en enkelt statisk benchmark fordi moderne AI-systemer kontinuerlig utvikler seg gjennom finjustering, henting og verktøyanvendelse. I stedet må sikkerhet vurderes som en system-egenskap på tvers av hele livssyklusen til en AI-applikasjon. Dette inkluderer stress-test av modeller og agenter med diverse red team-angrep, overvåking av sanntidsatferd som prompter, verktøyanvendelse og handlinger, og vurdering av resultater mot definerte risikopolitikker (f.eks. misbruk, hallucinasjoner, datalækasje eller uautoriserte handlinger).

For eksempel har vårt prisvinnende papir (Best Paper at the National Security Agency and NeurIPS), DecodingTrust, levert omfattende sikkerhets- og sikkerhetstesting for grunnmodeller. Vårt DecodingTrust-Agent-plattform har bygget en realistisk agentsimulator som inkluderer diverse miljøer med native red team-agenter for å utføre dynamisk, adaptiv og kontinuerlig red team-testing.

Viktigst er at sikkerhetsmåling må være kontinuerlig og adaptiv, ettersom oppdateringer av prompter, hentingskilder eller verktøy kan introdusere nye sårbarheter. I praksis betyr dette å kombinere automatisert red teaming, sanntidsbeskyttelse og overvåkning for å måle ikke bare modellresponser, men også sikkerheten til hele AI-systemet som opererer i den virkelige verden.

Din forskningsbakgrunn spenner over robusthet, personvern og motstandsangrep. Hvilket av disse områdene har vist seg å være hardest å oversette til reelle verdens forsvar?

Å oversette forskning i robusthet, personvern og motstandsangrep til reelle verdens forsvar er faktisk svært mulig. Mange av forskningsretningene i min gruppe er direkte inspirert av praktiske sikkerhetsutfordringer observert i deployede AI-systemer. Den virkelige vanskeligheten ligger ikke i å bygge forsvar, men i å gi pålitelige sikkerhetsgarantier i dynamiske, virkelige verdensmiljøer.

I akademisk forskning har vår gruppe gjort sterke fremskritt som sertifisert robusthet og personvernsgarantier, men disse resultater avhenger vanligvis av antagelser som kanskje ikke fullt ut holder i komplekse produksjonssystemer. Moderne AI-applikasjoner utvikler seg kontinuerlig gjennom ny data, finjustering, hentingspipeline og verktøysintegrering, noe som kan introdusere nye sårbarheter over tid.

Som et resultat kan effektiv AI-sikkerhet ikke avhenge av en-gangsbeskyttelse – den krever kontinuerlig red teaming, risikoppsporing og adaptive beskyttelsesforanstaltninger som utvikler seg sammen med systemet. Dette er nettopp filosofien bak Virtue AI: å kombinere vår langvarige forskning i AI-sikkerhet med automatisert stor-skala red teaming og sanntidsbeskyttelse for å kontinuerlig identifisere nye risikoer og oppdatere forsvar, og muliggjøre praktisk og skalerbar sikkerhet for virkelige AI-systemer.

Hva gjør sikring av autonome AI-agenter fundamentalt forskjellig fra sikring av tradisjonell programvare eller selv chatboter?

Agenter er ikke statiske programmer. De følger ikke forutsigbare baner, og de holder seg ikke innenfor perimetret du tegnet for dem ved deployering.

Tradisjonell sikkerhet antar faste kjørebanelinjer, stabile API-er og deterministisk atferd. Autonome agenter bryter alle disse antagelsene. De resonerer om hva de skal gjøre neste, velger verktøy basert på kontekst og produserer effekter over flere systemer i en enkelt kjøring.

Du kan ikke scanne en prompt, hardne en modell eller overvåke en enkelt API-kall og regne jobben som ferdig. Du må sikre agenten som et fullstendig system – dens resonnement, dens verktøyanvendelse, dens miljø og hva som skjer nedstrøms.

Det er det grunnleggende problemet punkt kontroller ikke kan løse. De var aldri designet for det.

Hvor faller eksisterende sikkerhetsteknologier kort når agenter kan handle over mange systemer, verktøy og datasources samtidig?

De lar deg bli blind for hvordan agenten faktisk opererte fra ende til ende.

De fleste verktøyene var bygget for applikasjoner med klare perimetre og stabil atferd. De kan fortelle deg hvordan en enkelt API-kall så ut. De kan ikke fortelle deg hvordan en agent resonnerte seg gjennom fem verktøyanvendelser for å produsere en utfall som ingen hadde tenkt.

Synsgapet er problemet. Hvis du ikke kan se hele kjeden av handlinger og beslutninger, kan du ikke styre det, og du kan ikke gjennomføre det etterpå.

Hvordan reduserer sanntidsbeskyttelse risiko sammenlignet med overvåking eller logging alene?

Logging forteller deg hva gikk galt etter at skaden er gjort. Det er nyttig for rettsmedisin og overholdelse, men det stopper ikke noe.

Med autonome agenter kan forsinkelsen mellom handling og oppdaging være genuint kostbar. En agent som allerede har kjørt en dårlig API-kall eller eksfiltrert data, ventet ikke på at logging-pipeline ditt fikk ferdig.

Sanntidsbeskyttelse griper inn i handlingen før den kjøres. Hvis en agent prøver å gjøre noe utenfor policy, blir den blokkert eller markert før den kjøres, ikke etter.

Kombinasjonen teller også. Sanntidsforebygging pluss en enkelt konsistent gjennomføringspunkt over alle agent-til-verktøy-interaksjoner er et annet risikoprofil enn passiv overvåking av enkeltkomponenter.

Virtue AI ble grunnlagt av dypt tekniske forskere. Hvordan former dette produktbeslutninger sammenlignet med mer kommersielt drevne AI-startups?

AI-sikkerhet og styring er fundamentalt et dypt teknisk problem. Systemene vi beskytter – som store språkmodeller, multimodale modeller og agenter – er bygget på avansert forskning. Uten sterk grunnleggende AI-ekspertise er det nesten umulig å designe effektive sikkerhetsløsninger for dem.

I mange tilfeller er den største utfordringen i AI-sikkerhet når en avansert red team-algoritme identifiserer sårbarheter i AI-agenter i en forskningsartikkel – hvordan oversette denne innsikten til en produksjonsklar forsvar som kan pålitelig beskytte virkelige systemer i skala? Hos Virtue AI er å lukke dette gapet mellom forskning og deployering kjerne til hvordan vi opererer og hva vi er erfaren med.

Fordi Virtue AI ble grunnlagt av forskere som har tilbragt årevis på å arbeide med AI-robusthet, motstandsangrep og pålitelig AI, arbeider våre forsknings- og ingeniørteam med de samme problemene samtidig. Våre forskere studerer kontinuerlig nye modellarkitekturer, nye agenter-arbeidsflyter og utviklende angrepsmetoder, mens våre ingeniørteam integrerer disse innsiktene direkte i produksjonssystemer.

Når vi identifiserer en ny sårbarhet – som en ny promptinjeksjonsmønster eller agentmanipulasjonsstrategi – kan den raskt oversettes til nye detekteringsmodeller, beskyttelsesforanstaltninger eller red team-strategier. Dette skjer kontinuerlig, ikke bare på en kvartalsvis produktvei.

Som et resultat er våre produkter både skjerpe og bedriftsklare, og hjelper organisasjoner å sikre sine AI-systemer mens de bygger og deployer dem. Mange av våre kunder forteller oss at denne forskningsdrevne tilnærmingen er nettopp det som lar dem flytte raskere samtidig som de opprettholder sikkerhet og overholdelse.

I motsetning til dette er ren kommersielt drevne team ofte optimert for hva kundene ber om i dag, noe som kan føre til inkrementelle funksjoner, men kan ligge etter den raskt utviklende trussel-landskapet for AI-systemer. I AI-sikkerhet utvikler truslene seg like raskt som teknologien selv. En forskningsbasert grunnlag tillater oss å forutse nye risikoer tidligere og bygge forsvar før de blir vidt utbredte problemer.

Hva er den vanligste misforståelsen bedrifter har om AI-sikkerhet når de først kommer til Virtue AI?

En av de vanligste misforståelsene bedrifter har når de først kommer til Virtue AI er at AI-sikkerhet kan håndteres bare ved å bruke tradisjonelle sikkerhetsteknologier eller grunnleggende innholdsfiltre.

I virkeligheten introduserer AI-systemer helt nye trusseloverflater, som promptinjeksjon, fengselsbrudd, hallucinasjonsdrevet misbruk, datalækasje gjennom hentingsystemer og agentmanipulasjon gjennom verktøy eller eksterne API-er. Disse risikoene oppstår fra atferden og resonnementet til modellen selv, ikke bare fra den omgivende infrastrukturen.

Som et resultat krever beskyttelse av AI-systemer sikkerhetsmekanismer som forstår AI-modellens og agentenes inndata, utdata og beslutningsprosesser over hele livssyklusen til en AI-applikasjon, noe som krever grunnleggende AI-forskningskapasiteter.

Dette er hvorfor vi betoner AI-nativ sikkerhet: å kombinere automatisert red teaming for å oppdage sårbarheter, sanntidsbeskyttelse for å håndheve politikker og systemnivå-overvåkning for å overvåke prompter, verktøyanvendelse og agenthandling.

Når bedrifter ser hvordan forskjellige AI-risikoer er fra tradisjonelle programvare-risikoer, innser de raskt at å sikre AI krever en fundamentalt ny sikkerhetsstak.

Til slutt, hva betyr “ansvarlig AI-deployering” for deg i praksis – ikke i teori, men innen en bedrift som sender produkter i dag?

Raskere og sikrere er ikke motsetninger, selv om de fleste bedrifter behandler dem som det. Antagelsen er at alvorlig sikkerhet sakte ned – flere gjennomgangssykluser, flere porter, mer friksjon før noe sendes.

I praksis er det bedriftene som deployer agenter med tillit som bygger sikkerhet inn i prosessen i stedet for å bolt det på slutten: automatisert red teaming før deployering, sanntidskontroll når agenten er live, og sentralisert synlighet over hele agent-livssyklusen.

Det er ikke en overholdelsesøvelse. Det er det som lar deg flytte raskt, fordi du ikke oppdager i produksjon hva du burde ha fanget tidligere.

Ansvarlig deployering, i konkrete termer, betyr at du vet hva dine agenter kan gjøre, du kan se hva de gjør, og du kan stoppe dem når noe går galt.

Ansvarlig AI-utvikling muliggjør kontinuerlig, stor-skala AI-system-deployering med tillit, i stedet for å bremse AI-innovasjon.

Takk for det flotte intervjuet, lesere som ønsker å lære mer kan besøke Virtue AI.