Startups care creează unelte AI pentru detectarea hărțuirii prin e-mail

De la apariția mișcării Me Too în 2017, s-a acordat o atenție tot mai mare incidentelor de hărțuire sexuală, inclusiv hărțuirea la locul de muncă și hărțuirea prin e-mail sau mesaje instantanee.

Conform unui raport din The Guardian, cercetători și ingineri AI au creat unelte pentru detectarea hărțuirii prin comunicări text, denumite MeTooBots. MeTooBots sunt implementate de companii din întreaga lume pentru a semnala comunicații potențial dăunătoare și hărțuitoare. Un exemplu este un bot creat de compania Nex AI, care este utilizat în prezent de aproximativ 50 de companii diferite. Botul utilizează un algoritm care examinează documente ale companiei, chat și e-mailuri și le compară cu datele de antrenament pentru mesaje de bullying sau hărțuire. Mesajele considerate potențial hărțuitoare sau dăunătoare pot fi trimise unui manager de resurse umane pentru revizuire, deși Nex AI nu a dezvăluit termenii specifici pe care botul îi caută în comunicațiile pe care le analizează.

Alte startup-uri au creat, de asemenea, unelte de detectare a hărțuirii bazate pe AI. Startup-ul Spot deține un chatbot care permite angajaților să raporteze anonim alegații de hărțuire sexuală. Botul va pune întrebări și va oferi sfaturi pentru a colecta mai multe detalii și a continua o anchetă cu privire la incident. Spot dorește să ajute echipele de resurse umane să abordeze problemele de hărțuire într-un mod sensibil, păstrând în același timp anonimitatea.

Conform The Guardian, prof. Brian Subirana, profesor de AI la MIT și Harvard, a explicat că încercările de a utiliza AI pentru detectarea hărțuirii au limite. Hărțuirea poate fi foarte subtilă și dificil de detectat, manifestându-se adesea doar ca un model care se revelează atunci când se examinează săptămâni de date. Boturile nu pot, încă, să meargă dincolo de detectarea anumitor cuvinte declanșatoare și să analizeze dinamica interpersonală sau culturală mai largă care ar putea fi în joc. În ciuda complexității detectării hărțuirii, Subirana crede că boturile ar putea juca un rol în combaterea hărțuirii online. Subirana consideră că boturile ar putea fi utilizate pentru a antrena oamenii să detecteze hărțuirea atunci când o văd, creând o bază de date cu mesaje potențial problematice. Subirana a declarat, de asemenea, că ar putea exista un efect placebo care face ca oamenii să fie mai puțin înclinați să hărțuiască colegii lor, chiar dacă suspectează că mesajele lor ar putea fi examinate, chiar dacă nu sunt.

Deși Subirana crede că boturile au utilizări potențiale în combaterea hărțuirii, Subirana a argumentat, de asemenea, că confidențialitatea datelor și a vieții private este o preocupare majoră. Subirana afirmă că o astfel de tehnologie ar putea crea, în mod potențial, o atmosferă de neîncredere și suspiciune, dacă este utilizată în mod necorespunzător. Sam Smethers, directorul general al organizației pentru drepturile femeilor Fawcett Society, a exprimat, de asemenea, îngrijorări cu privire la modul în care boturile ar putea fi utilizate în mod necorespunzător. Smethers a declarat:

„Am dori să examinăm cu atenție modul în care tehnologia este dezvoltată, cine se află în spatele ei și dacă abordarea adoptată este informată de o cultură a locului de muncă care își propune să prevină hărțuirea și să promoveze egalitatea, sau dacă este, de fapt, doar o altă modalitate de a controla angajații.”

Metodele de utilizare a boturilor pentru detectarea hărțuirii și protejarea, în același timp, a anonimității și a vieții private vor trebui să fie stabilite între dezvoltatorii de boturi, companii și reglementatori. Unele metode posibile de utilizare a puterii predictive a boturilor și a AI, în timp ce se protejează, în același timp, viața privată, includ menținerea anonimității comunicațiilor. De exemplu, rapoartele generate de bot ar putea include doar prezența unui limbaj potențial dăunător și numărul de ori când apare un limbaj posibil hărțuitor. Departamentul de resurse umane ar putea obține, astfel, o idee dacă utilizarea unui limbaj toxic scade după seminarii de conștientizare, sau, dimpotrivă, ar putea determina dacă ar trebui să fie atenți la o creștere a hărțuirii.

În ciuda dezacordului cu privire la utilizarea adecvată a algoritmilor de învățare automată și a boturilor în detectarea hărțuirii, ambele părți par să fie de acord că decizia finală de a interveni în cazurile de hărțuire ar trebui să fie luată de un om, și că boturile ar trebui să alerteze oamenii doar cu privire la modelele corespunzătoare, și nu să declare în mod definitiv că ceva a fost un caz de hărțuire.