MIT-forskere udvikler nysgerrighedsdrevet AI-model til at forbedre chatbot-sikkerhedstest

Begrænsninger i nuværende chatbot-sikkerhedstestmetoder

For tiden er den primære metode for at teste sikkerheden af AI-chatbots en proces kaldet red-teaming. Dette indebærer, at menneskelige testere udvikler prompts, der er designet til at fremkalde usikre eller toksiske svar fra chatboten. Ved at udsætte modellen for en bred vifte af potentielt problematiske indgange, sigter udviklerne på at identificere og løse eventuelle svagheder eller uønskede adfærd. Men denne menneskedrevne tilgang har sine begrænsninger.

Givet de utallige muligheder for brugerindgange, er det næsten umuligt for menneskelige testere at dække alle potentielle scenarier. Selv med omfattende testning, kan der være huller i prompterne, der bruges, hvilket efterlader chatboten sårbær over for at generere usikre svar, når den konfronteres med nye eller uventede indgange. Desuden gør den manuelle natur af red-teaming det til en tidskrævende og ressourceintensiv proces, især da sprogmodellerne fortsætter med at vokse i størrelse og kompleksitet.

For at løse disse begrænsninger, har forskere vendt sig til automatisering og maskinlærings-teknikker for at forbedre effektiviteten og effekten af chatbot-sikkerhedstest. Ved at udnytte kraften af AI selv, sigter de på at udvikle mere omfattende og skalerbare metoder til at identificere og afhjælpe potentielle risici forbundet med store sprogmodeller.

Nysgerrighedsdrevet maskinlærings-tilgang til red-teaming

Forskere fra Improbable AI Lab på MIT og MIT-IBM Watson AI Lab udviklede en innovativ tilgang til at forbedre red-teaming-processen ved hjælp af maskinlæring. Deres metode indebærer træning af en separat red-team stor sprogmodel til automatisk at generere diverse prompts, der kan udløse en bredere vifte af uønskede svar fra chatboten, der testes.

Nøglen til denne tilgang ligger i at indynde en følelse af nysgerrighed i red-team-modellen. Ved at opmuntre modellen til at udforske nye prompts og fokusere på at generere indgange, der udløser toksiske svar, sigter forskerne på at afsløre en bredere spektrum af potentielle svagheder. Denne nysgerrighedsdrevne udforskning opnås gennem en kombination af forstærkningsteknikker og modificerede belønnings-signaler.

Den nysgerrighedsdrevne model inkorporerer en entropi-bonus, der opmuntre red-team-modellen til at generere mere tilfældige og diverse prompts. Desuden introduceres nyskabelse-belønninger for at incentivere modellen til at skabe prompts, der er semantisk og leksikalsk forskellige fra tidligere genererede. Ved at prioritere nyskabelse og diversitet, skydes modellen til at udforske ukendte territorier og afsløre skjulte risici.

For at sikre, at de genererede prompts forbliver sammenhængende og naturalistiske, inkluderer forskerne også en sprog-bonus i træningsobjektivet. Denne bonus hjælper med at forhindre, at red-team-modellen genererer nonsens eller irrelevant tekst, der kunne trickere toksicitets-klassificatoren til at tildele høje score.

Den nysgerrighedsdrevne tilgang har demonstreret bemærkelsesværdig succes i at overgå både menneskelige testere og andre automatiserede metoder. Den genererer en større variation af distinkte prompts og udløser stadig mere toksiske svar fra chatbotterne, der testes. Bemærkelsesværdigt har denne metode endda kunnet afsløre svagheder i chatbots, der havde undergået omfattende menneskeskabte sikkerhedsforanstaltninger, hvilket understreger dens effektivitet i at afsløre potentielle risici.