Un nou studiu încearcă să îmbunătățească algoritmii de detectare a discursului urât

Companiile de social media, în special Twitter, au fost criticate de mult timp pentru modul în care marchează discursul și decid care conturi să blocheze. Problema de bază are de obicei legătură cu algoritmii pe care îi utilizează pentru a monitoriza postările online. Sistemele de inteligență artificială sunt departe de a fi perfecte în acest sens, dar există lucrări continue pentru a le îmbunătăți.

În această lucrare se include un nou studiu realizat de Universitatea din California de Sud, care încearcă să reducă anumite erori care ar putea duce la prejudecăți rasiale.

Eșecul de a recunoaște contextul

Una dintre problemele care nu primește atenția cuvenită are legătură cu algoritmii care ar trebui să prevină răspândirea discursului urât, dar care în realitate amplifică prejudecățile rasiale. Acest lucru se întâmplă atunci când algoritmii nu reușesc să recunoască contextul și să blocheze sau să marcheze postările din grupurile minoritare.

Cea mai mare problemă cu algoritmii în ceea ce privește contextul este că sunt prea sensibili la anumite termeni care identifică grupuri, cum ar fi “negru”, “gay” și “transgender”. Algoritmii consideră acești termeni ca fiind clasificatori de discurs urât, dar aceștia sunt adesea utilizați de membrii acelor grupuri și contextul este important.

În încercarea de a rezolva această problemă a orbirii contextuale, cercetătorii au creat un clasificator de discurs urât mai sensibil la context. Noul algoritm este mai puțin probabil să eticheteze greșit o postare ca discurs urât.

Algoritmul

Cercetătorii au dezvoltat noii algoritmi având în vedere două noi factori: contextul în ceea ce privește identificatorii de grup și dacă există și alte caracteristici ale discursului urât prezente în postare, cum ar fi limbajul dehumanizant.

Brendan Kennedy este student doctorand în informatică și coautor al studiului, care a fost publicat pe 6 iulie la ACL 2020.

“Vrem să aducem detectarea discursului urât mai aproape de a fi gata pentru aplicații reale”, a spus Kennedy.

“Modelele de detectare a discursului urât adesea “se strică” sau generează predicții proaste atunci când sunt introduse în date reale din lume, cum ar fi social media sau alte texte online, pentru că sunt influențate de datele pe care au fost antrenate să asocieze apariția termenilor de identificare socială cu discursul urât.”

Motivul pentru care algoritmii sunt adesea inexacti este că sunt antrenați pe seturi de date dezechilibrate cu rate extrem de ridicate de discurs urât. Din cauza acestui fapt, algoritmii nu reușesc să învețe cum să gestioneze ceea ce social media arată în realitate.

Profesorul Xiang este expert în procesare a limbajului natural.

“Este cheie ca modelele să nu ignore identificatorii, ci să îi asocieze cu contextul corect”, a spus Ren.

“Dacă înveți un model dintr-un set de date dezechilibrate, modelul începe să identifice tipare ciudate și să blocheze utilizatori în mod inadecvat.”

Pentru a testa algoritmul, cercetătorii au utilizat un eșantion aleatoriu de texte de pe două site-uri de social media care au o rată ridicată de discurs urât. Textele au fost mai întâi marcate manual de către oameni ca fiind prejudiciate sau dehumanizante. Modelul de ultimă generație a fost apoi măsurat împotriva modelului cercetătorilor pentru a marca incorect discursul non-urât, prin utilizarea a 12.500 de articole din New York Times care nu conțin discurs urât. În timp ce modelele de ultimă generație au reușit să atingă o acuratețe de 77% în identificarea discursului urât față de non-urât, modelul cercetătorilor a avut o acuratețe mai mare, de 90%.

“Această lucrare în sine nu face detectarea discursului urât perfectă, acesta este un proiect uriaș la care lucrează mulți, dar face progrese incrementale”, a spus Kennedy.

“În plus față de prevenirea postărilor de social media ale membrilor grupurilor protejate de a fi cenzurate în mod inadecvat, sperăm că lucrarea noastră va ajuta la asigurarea faptului că detectarea discursului urât nu face rău inutil prin consolidarea asocierilor spurii de prejudecată și dehumanizare cu grupurile sociale.”