Bo Li, CEO, Virtue AI – Interviewserie

Bo Li, CEO af Virtue AI, er en fremtrædende forsker og iværksætter, der specialiserer sig i sikkerheden og sikkerheden af kunstig intelligenssystemer. Hun leder Virtue AI og fungerer samtidig som professor ved University of Illinois Urbana-Champaign, hvor hendes forskning fokuserer på maskinlæringsikkerhed, troværdig AI og modstandsdygtighed. Hendes karriere spænder over både akademiske og erhvervsmæssige områder, hvilket giver hende mulighed for at omsætte avanceret AI-forskning i praktiske anvendelser, der hjælper organisationer med at opbygge sikrere og mere robuste AI-teknologier.

Virtue AI er et selskab, der fokuserer på at beskytte og styre AI-systemer, der anvendes i virksomhedsomgivelser. Dets platform tilbyder funktioner som automatiseret red teaming, realtids-vagter og kontinuerlig overvågning for at identificere sårbarheder som prompt-injektion, hallucinationer og dataleakage. Ved at integrere direkte i AI-udviklings- og implementeringsworkflows hjælper selskabet organisationer med at sikre en sikker skala af brugen af store sprogmodeller og AI-drevne applikationer samtidig med, at de opretholder høje sikkerheds- og styrestandarder.

Hvad motiverede dig til at skifte fra en ren akademisk karriere til at grundlægge og lede Virtue AI, og hvilket problem følte du, at industrien ikke løste på en tilstrækkelig måde?

Traditionelle sikkerhedsværktøjer var designedet til forudsigelige applikationer med faste baner. De var aldrig designet til systemer, der kan resonere, tilpasse sig og handle selvstændigt. Mine medstiftere og jeg så en åbning mellem, hvad grundlæggende AI-sikkerhedsforskning havde produceret, og hvad virksomheder faktisk havde til rådighed. Forskningen fandtes. Produktionsrealiteten gjorde ikke.

Virtue AI fokuserer på sikkerhed, sikkerhed og overholdelse for store sprogmodeller og autonome agenter. Hvad af disse områder tror du, at virksomheder undervurderer mest i dag?

Virksomheder forstår alle disse områder til en vis grad, især sikkerhed, men der er stadig en stor åbning.

Kontinuerlig red teaming er central i Virtue AI’s tilgang. Hvad slags fejl eller risici tenderer til at dukke op først, når systemer er live i produktion?

De fleste alvorlige fejl.

I en kontrolleret omgang testes modellen og agenten. I produktion testes systemet – og det er to forskellige ting. Når en model er forbundet med værktøjer, hentningsrørledninger, brugerinput og andre agenter, udvides adfærdsrummet på måder, som forud for udviklingstest ikke kan fanges. En “sikker konfigureret” agent kan opføre sig meget forskelligt, når den er forbundet med rigtige databaser, nye MCP-servere eller andre agenter. Systemet bliver ikke-deterministisk. Det begynder at træffe beslutninger baseret på kontekst, der ikke eksisterede under evaluering.

Hvordan tænker du om at måle “AI-sikkerhed” i praksis, især når systemer udvikler sig gennem finjustering, hentning og værktøjsanvendelse?

I praksis kan AI-sikkerhed ikke måles gennem en enkelt statisk benchmark, fordi moderne AI-systemer kontinuerligt udvikler sig gennem finjustering, hentningsforstærkning og værktøjs- eller agentinteraktioner. I stedet skal sikkerhed vurderes som en systemegenskab på tværs af hele livscyklussen for en AI-applikation. Dette inkluderer stress-test af modeller og agenter med diverse red team-angreb, overvågning af realtidsadfærd som prompts, værktøjskald og handlinger og vurdering af resultater i forhold til definerede risikopolitikker (f.eks. misbrug, hallucination, privatlivsleakage eller uautoriserede handlinger).

For eksempel har vores prisvindende artikel (Bedst artikel på National Security Agency og NeurIPS), DecodingTrust, leveret omfattende sikkerheds- og sikkerhedstest for grundlæggende modeller. Vores DecodingTrust-Agent-platform har opbygget en realistisk agentsimulator, der værter diverse miljøer med native red team-agenter til at udføre dynamisk, adaptiv og kontinuerlig red team-test.

Din forskningsbaggrund spænder over robusthed, privatliv og modstandsangreb. Hvad af disse områder har vist sig at være sværest at oversætte til virkelige forsvar?

At oversætte forskning i robusthed, privatliv og modstandsangreb til virkelige forsvar er faktisk meget gennemførligt. I virkeligheden er mange af forskningsretningerne i min gruppe direkte inspireret af praktiske sikkerhedsudfordringer observeret i implementerede AI-systemer. Den virkelige vanskelighed ligger ikke i at bygge forsvar, men i at give pålidelige sikkerheds garantier i dynamiske, virkelige miljøer.

I akademisk forskning har vores gruppe gjort stærke fremskridt som certificeret robusthed og privatlivsgarantier, men disse resultater afhænger typisk af antagelser, der måske ikke fuldt ud holder i komplekse produktions systemer. Moderne AI-applikationer udvikler sig kontinuerligt gennem ny data, finjustering, hentningsrørledninger og værktøjsintegrationer, hvilket kan introducere nye sårbarheder over tid.

Hvad gør sikring af autonome AI-agenter fundamentalt forskelligt fra sikring af traditionel software eller selv chatbots?

Agenter er ikke statiske programmer. De følger ikke forudsigelige baner, og de forbliver ikke inden for perimetret, du tegnede for dem ved installation.

Traditionel sikkerhed antager faste eksekveringsbaner, stabile API’er og deterministisk adfærd. Autonome agenter krænker alle disse antagelser. De resonerer om, hvad de skal gøre herefter, vælger værktøjer baseret på kontekst og producerer effekter på tværs af multiple systemer i en enkelt kørsel.

Du kan ikke scannen af en prompt, hårdne en model eller overvåge en enkelt API-kald og betragte jobbet som færdigt. Du må sikre agenten som et komplet system – dets resonement, dets værktøjsanvendelse, dets miljø og hvad der sker nedstrøms.

Det er det centrale problem, punkt kontroller ikke kan løse. De var aldrig designet til det.

Hvor falder eksisterende sikkerhedsværktøjer kort, når agenter kan handle på tværs af mange systemer, værktøjer og datakilder på én gang?

De efterlader dig blind for, hvordan agenten faktisk opererede slut til slut.

De fleste værktøjer var bygget til applikationer med klare perimetre og stabil adfærd. De kan fortælle dig, hvordan en enkelt API-kald så ud. De kan ikke fortælle dig, hvordan en agent resonerede sig igennem fem værktøjskald for at producere en udfald, som ingen havde intentioner om.

Synlighedsåbningen er problemet. Hvis du ikke kan se den fulde kæde af handlinger og beslutninger, kan du ikke styre det, og du kan ikke auditere det efterfølgende.

Hvordan reducerer realtids-vagter risikoen i forhold til overvågning eller logging alene?

Logging fortæller dig, hvad der gik galt efter skaden er sket. Det er nyttigt til forensik og overholdelse, men det stopper ikke noget.

Med autonome agenter kan forsinkelsen mellem handling og opdækning være virkelig kostbar. En agent, der allerede har udført et dårligt API-kald eller eksfiltreret data, ventede ikke på, at din logging-pipeline fik fat i det.

Realtids-vagter griber ind i handlingen før udførelse. Hvis en agent forsøger noget, der er uden for politik, bliver det blokeret eller markeret før det kører, ikke efter.

Kombinationen betyder også noget. Realtidsforebyggelse plus et enkelt konsistent gennemførelsespunkt på tværs af alle agent-værktøjsinteraktioner er en anden risikoprofil end passiv overvågning af enkeltkomponenter.

Virtue AI blev grundlagt af dybt tekniske forskere. Hvordan former det produktbeslutninger i forhold til mere kommercielt drevne AI-startups?

AI-sikkerhed og -styring er fundamentalt et dybt teknisk problem. De systemer, vi beskytter – som store sprogmodeller, multimodale modeller og agenter – er selv bygget på avanceret forskning. Uden stærk grundlæggende AI-ekspertise er det næsten umuligt at designe effektive sikkerheds løsninger til dem.

I mange tilfælde er den største udfordring i AI-sikkerhed, når en avanceret red team-algoritme identificerer sårbarheder af AI-agenter i en forskningsartikel – hvordan man oversætter den indsigt til en produktionsklar forsvar, der kan pålideligt beskytte rigtige systemer i skala? Hos Virtue AI er det at lukke denne åbning mellem forskning og implementering kerne til, hvordan vi opererer og hvad vi er oplevet med.

Fordi Virtue AI blev grundlagt af forskere, der har tilbragt årtier med at arbejde med AI-robusthed, modstandsdygtighed og troværdig AI, arbejder vores forsknings- og ingeniørhold på de samme problemer samtidig. Vores forskere studerer kontinuerligt nye modelarkitekturer, nye agenter-arbejdsgange og udviklende angrebsteknikker, mens vores ingeniørhold integrerer disse indsighter direkte i produktions systemer.

Når vi identificerer en ny sårbarhed – som en ny prompt-injektionsmønster eller agent-manipulationstrategi – kan det hurtigt oversættes til nye detectionsmodeller, vagter eller red team-strategier. Dette sker kontinuerligt, ikke kun på en kvartalsvis produktvej.

Som resultat forbliver vores produkter både cutting-edge og virksomhedsklare, hvilket hjælper organisationer med at sikre deres AI-systemer, mens de bygger og implementerer dem. Mange af vores kunder fortæller os, at denne forskningsdrevne tilgang er præcis, hvad der giver dem mulighed for at flytte hurtigere samtidig med, at de opretholder sikkerhed og overholdelse.

I modsætning hertil optimiserer rent kommercielt drevne hold ofte, hvad kunderne beder om i dag, hvilket kan føre til inkrementelle funktioner, men kan være langsomme til at følge den hurtigt udviklende trusselslandsby for AI-systemer. I AI-sikkerhed udvikler truslerne sig lige så hurtigt som teknologien selv. En forskningsbaseret grundlag giver os mulighed for at forudse nye risici tidligere og bygge forsvar, før de bliver udbredte problemer.

Hvad er den mest almindelige misforståelse, virksomheder har om AI-sikkerhed, når de først kommer til Virtue AI?

En af de mest almindelige misforståelser, virksomheder har, når de først kommer til Virtue AI, er, at AI-sikkerhed kan løses ved blot at anvende traditionelle sikkerheds værktøjer eller grundlæggende indholdsfilters.

I virkeligheden introducerer AI-systemer helt nye trusselsflader, såsom prompt-injektion, fængselsoprør, hallucinationsdrevet misbrug, dataleakage gennem hentningssystemer og agent-manipulation gennem værktøjer eller eksterne API’er. Disse risici opstår fra modellens og agenternes adfærd og resonement, ikke kun fra den omgivende infrastruktur.

Derfor understreger vi AI-naturlig sikkerhed: kombination af automatiseret red teaming for at opdage sårbarheder, realtids-vagter for at gennemtvinge politikker og systemniveau-overvågning for at overvåge prompts, værktøjskald og agent-handlinger.

Når virksomheder ser, hvor forskellige AI-risici er fra traditionelle software-risici, forstår de hurtigt, at sikring af AI kræver en fundamentalt ny sikkerhedsstak.

Til sidst, hvad betyder “ansvarlig AI-udvikling” for dig i praksis – ikke i teori, men inden for en virksomhed, der sender produkter i dag?

Hurtigere og sikrere er ikke modsætninger, selvom de fleste virksomheder behandler dem således. Antagelsen er, at seriøs sikkerhed langsomer dig – flere gennemgangscykler, flere porte, mere friktion før noget sendes.

I praksis er de virksomheder, der implementerer agenter med tillid, dem, der bygger sikkerhed ind i processen i stedet for at tilføje det til sidst: automatiseret red teaming før implementering, realtids-kontroller, når agenten er live, og central synlighed på tværs af hele agent-livscyklussen.

Det er ikke en overholdelsesøvelse. Det er, hvad der faktisk giver dig mulighed for at flytte hurtigt, fordi du ikke opdager i produktion, hvad du burde have fanget tidligere.

Ansvarlig udvikling betyder i konkrete vendinger, at du ved, hvad dine agenter kan gøre, du kan se, hvad de gør, og du kan stoppe dem, når noget går galt.

Ansvarlig AI-udvikling giver mulighed for kontinuerlig, storstile AI-systemimplementering med tillid, snarere end at langsomme AI-innovation.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Virtue AI.