MIT-forskare utvecklar nyfikenhetsdriven AI-modell för att förbättra chatbotsäkerhetstestning

Begränsningar för nuvarande Chatbot-säkerhetstestmetoder

För närvarande är den primära metoden för att testa säkerheten hos AI-chatbots en process som kallas red-teaming. Detta involverar mänskliga testare som skapar uppmaningar utformade för att framkalla osäkra eller giftiga svar från chatboten. Genom att exponera modellen för ett brett utbud av potentiellt problematiska indata, strävar utvecklare efter att identifiera och åtgärda eventuella sårbarheter eller oönskat beteende. Men detta människodrivna tillvägagångssätt har sina begränsningar.

Med tanke på de stora möjligheterna med användarinmatningar är det nästan omöjligt för mänskliga testare att täcka alla potentiella scenarier. Även med omfattande tester kan det finnas luckor i de uppmaningar som används, vilket gör chatboten sårbar för att generera osäkra svar när den ställs inför nya eller oväntade input. Dessutom gör den manuella karaktären av red-teaming det till en tidskrävande och resurskrävande process, särskilt när språkmodeller fortsätter att växa i storlek och komplexitet.

För att komma till rätta med dessa begränsningar har forskare vänt sig till automations- och maskininlärningstekniker för att förbättra effektiviteten och effektiviteten av chatbotsäkerhetstestning. Genom att utnyttja kraften i AI i sig strävar de efter att utveckla mer omfattande och skalbara metoder för att identifiera och mildra potentiella risker förknippade med stora språkmodeller.

Nyfikenhetsdriven maskininlärningsmetod för Red-Teaming

Forskare från Improbable AI Lab vid MIT och MIT-IBM Watson AI Lab utvecklade en innovativ strategi att förbättra red-teaming-processen med hjälp av maskininlärning. Deras metod innebär att man tränar en separat röd-team-stor språkmodell för att automatiskt generera olika uppmaningar som kan utlösa ett bredare utbud av oönskade svar från chatboten som testas.

Nyckeln till detta tillvägagångssätt ligger i att skapa en känsla av nyfikenhet i den röda teammodellen. Genom att uppmuntra modellen att utforska nya uppmaningar och fokusera på att generera indata som framkallar giftiga reaktioner, strävar forskarna efter att avslöja ett bredare spektrum av potentiella sårbarheter. Denna nyfikenhetsdrivna utforskning uppnås genom en kombination av förstärkningstekniker och modifierade belöningssignaler.

Den nyfikenhetsdrivna modellen innehåller en entropibonus, som uppmuntrar den röda teammodellen att generera fler slumpmässiga och olika uppmaningar. Dessutom introduceras nya belöningar för att uppmuntra modellen att skapa uppmaningar som skiljer sig semantiskt och lexikalt från tidigare genererade. Genom att prioritera nyhet och mångfald drivs modellen för att utforska okända territorier och avslöja dolda risker.

För att säkerställa att de genererade uppmaningarna förblir sammanhängande och naturalistiska inkluderar forskarna också en språkbonus i utbildningsmålet. Denna bonus hjälper till att förhindra att den röda teammodellen genererar meningslös eller irrelevant text som kan lura toxicitetsklassificeraren att tilldela höga poäng.

Det nyfikenhetsdrivna tillvägagångssättet har visat en anmärkningsvärd framgång i att överträffa både mänskliga testare och andra automatiserade metoder. Det genererar ett större utbud av distinkta uppmaningar och framkallar allt mer giftiga svar från chatbotarna som testas. Noterbart har den här metoden till och med kunnat avslöja sårbarheter i chatbots som hade genomgått omfattande mänskligt utformade skyddsåtgärder, vilket lyfter fram dess effektivitet när det gäller att avslöja potentiella risker.