Startupy tworzące narzędzia AI do wykrywania molestowania za pośrednictwem poczty elektronicznej

Od czasu, gdy ruch Me Too zyskał na popularności pod koniec 2017 roku, coraz więcej uwagi poświęca się przypadkom molestowania, w tym molestowania w miejscu pracy i za pośrednictwem poczty elektronicznej lub komunikatorów internetowych.

Jak donosi The Guardian, badacze i inżynierowie AI tworzą narzędzia do wykrywania molestowania za pośrednictwem komunikacji tekstowej, określane jako MeTooBots. MeTooBots są wdrażane przez firmy na całym świecie w celu oznaczenia potencjalnie szkodliwych i molestujących komunikatów. Przykładem jest bot stworzony przez firmę Nex AI, który jest obecnie używany przez około 50 różnych firm. Bot wykorzystuje algorytm, który analizuje dokumenty firmowe, czaty i e-maile oraz porównuje je z danymi szkoleniowymi dotyczącymi przekazu lub wiadomości molestujących. Wiadomości uznane za potencjalnie molestujące lub szkodliwe mogą być następnie wysłane do menedżera ds. zasobów ludzkich do przeglądu, chociaż Nex AI nie ujawnił konkretnych warunków, które bot sprawdza w komunikatach, które analizuje.

Inne startupy również stworzyły narzędzia do wykrywania molestowania za pomocą AI. Startup AI Spot posiada chatbota, który umożliwia pracownikom anonimowe zgłaszanie zarzutów molestowania seksualnego. Bot zadaje pytania i udziela porad w celu zebrania więcej informacji i przeprowadzenia dalszego śledztwa w sprawie incydentu. Spot chce pomóc zespołom ds. zasobów ludzkich w radzeniu sobie z problemami molestowania w sposób wrażliwy, jednocześnie zachowując anonimowość.

Zdaniem The Guardian, prof. Brian Subirana, profesor AI na MIT i Harvardzie, wyjaśnił, że próby wykorzystania AI do wykrywania molestowania mają swoje ograniczenia. Molestowanie może być bardzo subtelne i trudne do wykrycia, często manifestując się tylko jako wzorzec, który ujawnia się podczas analizy tygodni danych. Boty nie mogą również, na razie, wykraczać poza wykrywanie pewnych słów wyzwalających i analizować szersze dynamiki międzyludzkie lub kulturowe, które mogą potencjalnie wystąpić. Pomimo złożoności wykrywania molestowania, Subirana uważa, że boty mogą odegrać rolę w zwalczaniu molestowania w internecie. Subirana widzi możliwość wykorzystania botów do szkolenia ludzi w wykrywaniu molestowania, tworząc bazę danych potencjalnie problematycznych wiadomości. Subirana stwierdził również, że może wystąpić efekt placebo, który sprawia, że ludzie są mniej skłonni do molestowania swoich kolegów, nawet jeśli podejrzewają, że ich wiadomości mogą być sprawdzane, nawet jeśli tak nie jest.

Chociaż Subirana uważa, że boty mają swoje potencjalne zastosowania w zwalczaniu molestowania, Subirana argumentuje również, że poufność danych i prywatność są głównym problemem. Subirana twierdzi, że takie technologie mogą potencjalnie stworzyć atmosferę nieufności i podejrzliwości, jeśli zostaną nadużyte. Sam Smethers, dyrektor generalny organizacji praw kobiet Fawcett Society, również wyraził obawy co do możliwości nadużycia botów. Smethers stwierdził:

„Chcielibyśmy dokładnie przyjrzeć się, jak technologia jest rozwijana, kto jest za nią odpowiedzialny i czy podejście jest podyktowane kulturą miejsca pracy, która stara się zapobiegać molestowaniu i promować równość, czy jest to po prostu kolejny sposób kontrolowania pracowników.”

Sposoby wykorzystania botów do wykrywania molestowania i jednoczesnej ochrony anonimowości i prywatności będą musiały być ustalone przez deweloperów botów, firmy i organy regulacyjne. Możliwe sposoby wykorzystania predykcyjnej mocy botów i AI przy jednoczesnym zabezpieczaniu prywatności obejmują utrzymanie anonimowości komunikacji. Na przykład, raporty mogą być generowane przez bota, które zawierają tylko informację o obecności potencjalnie szkodliwego języka i liczbę przypadków, w których mogą wystąpić przypadki molestowania. Dział HR może wtedy uzyskać wgląd, czy przypadki użycia toksycznego języka maleją po seminariach świadomościowych, czy też powinny być bardziej czujne w przypadku zwiększonego molestowania.

Pomimo niezgodności co do odpowiedniego zastosowania algorytmów uczenia maszynowego i botów w wykrywaniu molestowania, obie strony zdają się zgadzać, że ostateczna decyzja o interwencji w przypadku molestowania powinna należeć do człowieka, a boty powinny tylko alarmować ludzi o dopasowanych wzorcach, a nie stwierdzać ostatecznie, czy coś było przypadkiem molestowania.