MIT-forskere utvikler nysgjerrighetsdrevet AI-modell for å forbedre sikkerhetstesting av chatbott

Begrensninger i nåværende chatbot-sikkerhetstestmetoder

For tiden er den primære metoden for å teste sikkerheten til AI-chatbott en prosess kalt red-teaming. Dette innebærer at menneskelige testere lager innledninger som er designet for å fremkalle usikre eller toksiske svar fra chatbotten. Ved å eksponere modellen for en bred rekke potensielt problematiske innledninger, forsøker utviklerne å identifisere og håndtere eventuelle svakheter eller uønskede atferd. Men denne menneskedrevne tilnærmingen har sine begrensninger.

Gitt de enorme mulighetene for brukerinnledninger, er det nesten umulig for menneskelige testere å dekke alle potensielle scenarier. Selv med omfattende testing, kan det være hull i innledningene som brukes, og etterlate chatbotten sårbær for å generere usikre svar når den møter nye eller uventede innledninger. I tillegg gjør den manuelle naturen til red-teaming det til en tidskrevende og ressurskrevende prosess, spesielt når språkmodellene fortsetter å vokse i størrelse og kompleksitet.

For å håndtere disse begrensningene, har forskerne vendt seg til automatisering og maskinlæringsteknikker for å forbedre effektiviteten og effekten av chatbot-sikkerhetstesting. Ved å utnytte kraften til AI selv, forsøker de å utvikle mer omfattende og skalerbare metoder for å identifisere og mildne potensielle risikoer forbundet med store språkmodeller.

Nysgjerrighetsdrevet maskinlæringstilnærming til red-teaming

Forskere fra Improbable AI Lab ved MIT og MIT-IBM Watson AI Lab har utviklet en innovativ tilnærming for å forbedre red-teaming-prosessen ved hjelp av maskinlæring. Deres metode innebærer å trene en separat red-team stor språkmodell for å automatisk generere diverse innledninger som kan utløse en bredere rekke uønskede svar fra chatbotten som testes.

Nøkkelen til denne tilnærmingen ligger i å innføre en følelse av nysgjerrighet i red-team-modellen. Ved å oppmuntre modellen til å utforske nye innledninger og fokusere på å generere innledninger som utløser toksiske svar, forsøker forskerne å avdekke en bredere rekke potensielle svakheter. Denne nysgjerrighetsdrevne utforskningen oppnås gjennom en kombinasjon av forsterkingslæringsteknikker og modifiserte belønningssignaler.

Den nysgjerrighetsdrevne modellen inkorporerer en entropibonus, som oppmuntret red-team-modellen til å generere mer tilfeldige og diverse innledninger. I tillegg introduseres nyhetsbelønninger for å oppmuntre modellen til å skape innledninger som er semantisk og leksikalsk distinkte fra tidligere genererte innledninger. Ved å prioritere nyhet og diversitet, presses modellen til å utforske uutforskede områder og avdekke skjulte risikoer.

For å sikre at de genererte innledningene forblir koherente og naturalistiske, inkluderer forskerne også en språkbonus i treningsobjektivet. Denne bonusen hjelper til å forhindre at red-team-modellen genererer meningsløs eller irrelevant tekst som kunne lure toksisitetsklassifikatoren til å tildele høye poeng.

Den nysgjerrighetsdrevne tilnærmingen har demonstrert bemerkelsesverdig suksess i å overgå både menneskelige testere og andre automatiserte metoder. Den genererer en større variasjon av distinkte innledninger og utløser økende toksiske svar fra chatbottene som testes. Merkverdig er at denne metoden har også kunnet avdekke svakheter i chatbott som hadde gjennomgått omfattende menneskedesignet sikkerhetstiltak, og understreker dens effektivitet i å avdekke potensielle risikoer.