Startupy vytvářející nástroje AI pro detekci obtěžování e-mailem

Od doby, kdy se hnutí Me Too dostalo do popředí na konci roku 2017, je věnována stále větší pozornost případům sexuálního obtěžování, včetně obtěžování na pracovišti a obtěžování prostřednictvím e-mailu nebo instant messagingu.

Jak uvádí The Guardian, výzkumníci a inženýři v oblasti AI vytvářejí nástroje pro detekci obtěžování prostřednictvím textové komunikace, nazývané MeTooBots. MeTooBots jsou implementovány společnostmi po celém světě za účelem označení potenciálně škodlivých a obtěžujících komunikací. Jedním z příkladů je bot vytvořený společností Nex AI, který je目前 používán asi 50 různými společnostmi. Bot využívá algoritmus, který prohlíží dokumenty společnosti, chat a e-maily a porovnává je se svými trénovacími daty týkajícími se šikanování nebo obtěžujících zpráv. Zprávy, které jsou považovány za potenciálně obtěžující nebo škodlivé, mohou být poté zaslány manažerovi HR k přezkumu, ačkoli Nex AI nezveřejnil konkrétní termíny, které bot hledá v komunikacích, které analyzuje.

Další startupy také vytvořily nástroje pro detekci obtěžování s využitím AI. Startup Spot vlastní chatbota, který umožňuje zaměstnancům anonymně hlásit případy sexuálního obtěžování. Bot bude klást otázky a poskytovat rady za účelem shromáždění více informací a prohloubení vyšetřování incidentu. Spot chce pomoci týmům HR řešit problémy s obtěžováním citlivým způsobem, zatímco vẫn zajišťuje zachování anonymity.

Podle The Guardian profesor Brian Subirana, profesor AI na MIT a Harvardu, vysvětlil, že pokusy použít AI pro detekci obtěžování mají své limity. Obtěžování může být velmi subtilní a obtížně zjistitelné, často se projevuje pouze jako vzorec, který se projeví při prohlížení týdnů dat. Boti také zatím nemohou jít za hranice detekce určitých trigger slov a analyzovat širší mezilidské nebo kulturní dynamiky, které by mohly být v sázce. Přes složitosti detekce obtěžování Subirana věří, že boti mohou hrát roli v boji proti online obtěžování. Subirana může vidět boty používané k výcviku lidí, aby rozpoznali obtěžování, když je uvidí, a vytvářet databázi potenciálně problémových zpráv. Subirana také uvedl, že by mohlo existovat placebo efekt, který činí lidi méně pravděpodobně, že budou obtěžovat své kolegy, i když se domnívají, že jejich zprávy mohou být prohlíženy, i když nejsou.

Zatímco Subirana věří, že boti mají svůj potenciál v boji proti obtěžování, Subirana také argumentoval, že důvěrnost dat a ochrana soukromí jsou velkou obavou. Subirana uvádí, že taková technologie by mohla potenciálně vytvořit atmosféru nedůvěry a podezření, pokud je zneužita. Sam Smethers, generální ředitel neziskové organizace pro práva žen Fawcett Society, také vyjádřil obavy o tom, jak by boti mohli být zneužiti. Smethers uvedl:

„Chceme se podívat pečlivě na to, jak je technologie vyvíjena, kdo je za ní, a zda je přístup informován kulturou pracoviště, která se snaží předcházet obtěžování a podporovat rovnost, nebo zda je to jen další způsob, jak kontrolovat své zaměstnance.“

Metody použití botů pro detekci obtěžování a zachování anonymity a ochrany soukromí budou muset být vypracovány mezi vývojáři botů, společnostmi a regulátory. Některé možné metody využití prediktivní síly botů a AI, zatímco vẫn zajišťují ochranu soukromí, zahrnují zachování anonymity komunikací. Například zprávy vygenerované botem by mohly obsahovat pouze přítomnost potenciálně škodlivého jazyka a počet, kolikrát se jazyk objevuje. HR by pak mohlo získat představu, zda se používání toxického jazyka snižuje po seminářích o vědomí, nebo zda by mělo být na pozoru před zvýšeným obtěžováním.

Přes nesouhlas nad vhodným použitím algoritmů strojového učení a botů v detekci obtěžování se obě strany zdají souhlasit s tím, že konečná rozhodnutí o zásahu do případů obtěžování by měla být provedena člověkem, a že boti by měli pouze upozorňovat lidi na shodné vzorce, spíše než říkat definitivně, že něco bylo případem obtěžování.