Startupy vytvářející nástroje AI pro detekci harašmentu e-mailem

Od doby, kdy se hnutí Me Too stalo prominentním na konci roku 2017, je věnována stále větší pozornost případům sexuálního harašmentu, včetně harašmentu na pracovišti a harašmentu prostřednictvím e-mailu nebo instant messagingu.

Jak uvádí The Guardian, výzkumníci a inženýři z oblasti umělé inteligence vytvářejí nástroje pro detekci harašmentu prostřednictvím textové komunikace, nazývané MeTooBots. MeTooBots jsou implementovány společnostmi po celém světě za účelem označení potenciálně škodlivých a harašmentních komunikací. Jedním z příkladů je bot vytvořený společností Nex AI, který je aktuálně používán asi 50 různými společnostmi. Bot využívá algoritmus, který zkoumá firemní dokumenty, chat a e-maily a porovnává je se svými trénovacími daty o šikanování nebo harašmentních zprávách. Zprávy, které jsou považovány za potenciálně harašmentní nebo škodlivé, mohou být poté odeslány manažerovi HR k přezkumu, ačkoli Nex AI nezveřejnil konkrétní podmínky, které bot vyhledává v komunikacích, které analyzuje.

Další startupy také vytvořily nástroje pro detekci harašmentu pomocí umělé inteligence. Startup Spot vlastní chatbota, který umožňuje zaměstnancům anonymně hlásit podezření na sexuální harašment. Bot bude klást otázky a poskytovat rady, aby získal více informací a prohloubil vyšetřování incidentu. Spot chce pomoci týmům HR řešit problémy s harašmentem citlivým způsobem, zatímco zachovává anonymitu.

Podle The Guardian vysvětluje prof. Brian Subirana, profesor AI na MIT a Harvardu, že pokusy použít AI pro detekci harašmentu mají své omezení. Harašment může být velmi jemný a obtížně zjistitelný, často se projevuje pouze jako vzorec, který se objeví při zkoumání týdnů dat. Boti také nemohou, alespoň prozatím, jít za hranice detekce určitých spouštěcích slov a analyzovat širší mezilidské nebo kulturní dynamiky, které by mohly být potenciálně ve hře. Přes složitosti detekce harašmentu Subirana věří, že boti mohou hrát roli v boji proti online harašmentu. Subirana si dokáže představit, že boti budou využíváni k výcviku lidí, aby detekovali harašment, když ho uvidí, a vytvářeli databázi potenciálně problémových zpráv. Subirana také uvedl, že by mohlo existovat placebo efekt, který by lidi méně pravděpodobně harašoval, i když podezřívají, že jejich zprávy mohou být sledovány, i když nejsou.

Zatímco Subirana věří, že boti mají své potenciální použití v boji proti harašmentu, Subirana také argumentoval, že důvěrnost dat a ochrana soukromí jsou velkou obavou. Subirana uvádí, že taková technologie by mohla potenciálně vytvořit atmosféru nedůvěry a podezření, pokud by byla zneužita. Sam Smethers, generální ředitel organizace Fawcett Society pro práva žen, také vyjádřil obavy o tom, jak by boti mohli být zneužiti. Smethers uvedl:

„Chtěli bychom pečlivě prozkoumat, jak je technologie vyvíjena, kdo je za ní, a zda je přístup založen na firemní kultuře, která se snaží předcházet harašmentu a podporovat rovnost, nebo zda je to pouze další způsob, jak ovládat zaměstnance.“

Metody použití botů pro detekci harašmentu a ochranu anonymity a soukromí budou muset být vypracovány mezi vývojáři botů, společnostmi a regulátory. Některé možné metody využití prediktivní síly botů a AI, zatímco vẫn chrání soukromí, zahrnují uchování anonymních komunikací. Například zprávy vygenerované botem by mohly obsahovat pouze přítomnost potenciálně škodlivého jazyka a počet, kolikrát se možná harašmentní jazyk objeví. HR by poté mohlo získat představu, zda se používání toxického jazyka snižuje po osvětových seminářích, nebo zda by mělo být na pozoru před zvýšeným harašmentem.

Přes nesouhlas ohledně vhodného použití algoritmů strojového učení a botů v detekci harašmentu se obě strany zdají souhlasit s tím, že konečná rozhodnutí o zásahu v případech harašmentu by měla být vždy učiněna člověkem, a že boti by měli pouze upozorňovat lidi na shodné vzorce, spíše než tvrdit definitivně, že něco bylo instancí harašmentu.