Facebook använder botar och simuleringar för att försöka motverka dåligt beteende hos användare

Facebook har designat en ny AI som syftar till att bättre upptäcka skadligt, skadande och olagligt beteende. Som The Verge rapporterar, har forskarna på Facebooks London-baserade AI-avdelning skapat en AI-driven Facebook-simulator kallad “WW”, som används för att simulera beteendet hos bedragare, olagliga varuhandlare, spammare och andra dåliga aktörer på en simulerad version av Facebook själva.

Facebook-simulatoren “WW”, som fått sitt namn från en förkortning av “WWW”, avslöjades av Facebook i en rapport som publicerades i april i år. WW är en klonad och innesluten version av Facebook som är tänkt att hjälpa till med testning av olika Facebook-verktyg och algoritmer.

Företaget har nyligen avslöjat mer information om några av dess användningsområden för WW, varav ett är simulering av dåliga aktörer genom AI. Genom att använda ett antal botar för att simulera beteende som bedrägeri, spam, trakasserier och mer, hoppas forskarna att de ska kunna bättre upptäcka och motverka skadligt beteende hos användare.

Enligt Facebook-ingenjören Mark Harman, som citeras av The Verge, förväntas WW vara ett värdefullt verktyg för att begränsa olika skadliga beteenden på Facebook. Till exempel tror Harman att simuleringarna kan användas för att utveckla bättre metoder för att upptäcka bedragare.

Facebook-ingenjörer imiterade beteendet hos riktiga Facebook-bedragare genom att skapa två grupper av botar: en grupp mål och en grupp bedragare. Bedragare letar ofta igenom nätverk av vänner, undersöker vänners vänner, för att hitta en potentiell måltavla. Detta beteende imiterades av bedragar-botarna när ingenjörerna experimenterade med olika metoder för att förhindra att den oskyldiga boten blev bedragen. De taktiker de experimenterade med inkluderade flera begränsningar, som att begränsa hur många privata meddelanden en bot kunde skicka per minut.

Det finns några sätt som den simulerade Facebook skiljer sig från den riktiga. För det första innehåller simuleringen av Facebook inga visuella element, så data som hämtas från simuleringen är alla i form av numeriska data och statistik på interaktioner mellan botar. För det andra är alla aktörer i simuleringen botar, som inte kan interagera med riktiga användare. WW-simuleringen kan inte heller ta hänsyn till saker som användaravsikt eller innehållet i en given konversation, eftersom endast åtgärder som att skicka meddelanden, göra kommentarer etc. simuleras.

Enligt Harman är denna process av att experimentera med begränsningar liknande hur stadsplanerare försöker minska hastigheten på vissa vägar genom att lägga ut “fartsgropar”. Liksom en stadsplanerare skulle experimentera med att skapa fartsgropar och sedan samla in data om deras användbarhet, analyserade ingenjörerna hur meddelanden och interaktioner mellan botar varierade i sin simulator när de varierade parametrar och begränsningar. Harman förklarar att målet är att få en idé om vilka förändringar som kan göras på Facebooks plattform för att hindra skadligt beteende utan att allvarligt begränsa normalt beteende eller den fria flödet av trafik.

Harman förklarar också att fördelen med att använda WW för deras simuleringar är att de åtgärder de studerar sker på riktiga Facebook-infrastruktur, vilket ger dem en mycket bättre idé om hur deras föreslagna förändringar kan påverka riktiga Facebook-användare. Alla tillämpningar av dessa resultat måste vänta en tid, eftersom WW och dess simulering just nu är i forskningsstadiet. Harman och andra Facebook-forskare kommer inte att tillämpa sina resultat på den live-versionen av Facebook ännu, eftersom det fortfarande finns mycket arbete kvar att göra. Forskningsgruppen måste fastställa att de simuleringar de skapar tillräckligt matchar riktigt mänskligt beteende.

Den främsta fördelen med WW, enligt Harman, är dess förmåga att fungera på en massiv skala, vilket låter Facebook-forskare kontrollera de potentiella konsekvenserna av tusentals olika mindre justeringar, allt genom simuleringarna det producerar.

I framtiden kan forskarna låta botarna bara leka runt och experimentera en stund, för att se vilka typer av interaktioner de kommer på själva, vilket ofta kan vara något som forskarna inte ens förväntar sig.

“För tillfället ligger fokus på att träna botarna att imitera saker vi vet händer på plattformen. Men i teorin och i praktiken kan botarna göra saker vi inte har sett tidigare”, sade Harman. “Det är faktiskt något vi vill ha, eftersom vi slutligen vill komma före det dåliga beteendet snarare än att ständigt jaga ifatt.”

Om allt går bra kan Facebook börja göra ändringar baserat på WW:s simuleringar senast i slutet av 2020.