Де модерація контенту на основі ШІ й досі потребує людського судження

У спільноті з мільйонами користувачів шкідлива поведінка може поширюватися швидше, ніж модератори встигнуть її виявити й відреагувати на неї. Невелика спільнота може значною мірою покладатися на безпосереднє спостереження. Модератори знають постійних учасників, розуміють культуру спільноти й зазвичай можуть швидко виявити деструктивну поведінку. Коли спільнота налічує сотні тисяч або мільйони користувачів, вручну оцінювати її активність стає набагато складніше. Формуються підгрупи, змінюється мова, а шкідлива поведінка може поширюватися в багатьох акаунтах і розмовах, перш ніж хтось помітить закономірність.

Залучення додаткових модераторів збільшує можливості команди, але час і увага будь-якої команди модераторів обмежені. Великим спільнотам потрібна інфраструктура, здатна безперервно обробляти повсякденну активність, завчасно виявляти незвичну поведінку й надавати модераторам достатньо контексту, щоб вони могли зосередитися на ситуаціях, які потребують людського судження.

Тож модерація дедалі більше стає завданням системної інженерії. Виявлення, ескалація, порогові значення, спостережуваність і зворотний зв’язок — усе це може впливати на те, чи залишатиметься спільнота здоровою в міру зростання.

Зі збільшенням масштабу найбільше змінюється те, що нетипові випадки перестають бути рідкістю. Навіть якщо певна поведінка стосується лише крихітної частки користувачів, серед мільйонів людей модератори можуть стикатися з нею постійно. Також стає неможливо розуміти кожну взаємодію окремо, тому ефективна модерація дедалі більше залежить від уміння виявляти закономірності, не втрачаючи контексту, що за ними стоїть.

Модерація у великих масштабах потребує розпізнавання закономірностей

Багато інструментів модерації спочатку спрацьовували за відносно простими тригерами. З’являлося заборонене слово, користувач надсилав скаргу або модератор помічав порушення правил і вживав заходів.

У великих спільнотах виникають складніші сигнали. Спам може надходити одночасно з десятків акаунтів. Переслідування може поступово розгортатися в кількох розмовах. Скоординовані зловживання можуть складатися з окремих дій, які, якщо розглядати їх поодинці, здаються нешкідливими. Нові акаунти можуть певний час поводитися звичайно, а потім раптом почати публікувати однакові посилання або повідомлення.

Такі ситуації легше виявити, якщо системи оцінюють поведінку впродовж певного часу. Сигнали потенційної загрози можуть включати частоту повідомлень, дубльований контент, вік акаунта, повторювані посилання, раптове зростання активності публікацій, нетипові моделі приєднання, попередні санкції та зв’язки між акаунтами. Окремий сигнал може майже нічого не показати. Кілька сигналів, що виникають одночасно, можуть свідчити про те, що ситуація потребує пильнішої уваги.

Наприклад, британський регулятор у сфері комунікацій Ofcom досліджував системи автоматизованої класифікації контенту як частину ширшого процесу, що охоплює збирання даних, розроблення моделей, розгортання, моніторинг та оцінювання.

Контекст ускладнює проблему. Сплеск повідомлень може свідчити про спам на професійному форумі, але бути звичайним явищем під час події в реальному часі. Значення слів також може суттєво відрізнятися залежно від стосунків між людьми, спільних асоціацій і норм спільноти.

Ефективна інфраструктура модерації потребує налаштовуваних правил, порогових значень, специфічних для кожної спільноти, та історичних даних про поведінку. Частота повідомлень — вдалий приклад. Користувач, який публікує повідомлення дуже швидко, може розсилати спам, але також може просто активно спілкуватися під час події в реальному часі або жвавої розмови. Якщо до того ж акаунт зовсім новий, неодноразово публікує однаковий контент і надсилає те саме посилання в кількох каналах, сукупність цих ознак стає набагато промовистішою.

Автоматизація надає модераторам кращу інформацію

Команди модераторів витрачають чимало часу на повторювані завдання. Видалення спаму, обмеження посилань, виявлення однакових повідомлень, обмеження частоти публікацій і перевірку акаунтів часто можна автоматизувати, якщо система має достатньо надійні сигнали для впевнених дій.

Людське судження особливо цінне тоді, коли значення залежить від історії, намірів, гумору, сарказму, стосунків або культурного контексту. У таких ситуаціях часто потрібно, щоб людина зрозуміла розмову загалом. Добре спроєктована автоматизація може полегшити ухвалення таких рішень, упорядковуючи інформацію навколо інциденту.

Модератор, який перевіряє підозрілу активність, має бачити, чому на неї звернули увагу. До доречної інформації можуть належати нещодавні зміни в поведінці під час публікацій, попередні інциденти, пов’язані скарги, повторюваний контент, історія акаунта або схожа активність в інших частинах спільноти.

Рівень упевненості також може визначати реакцію. Дуже передбачувана активність, як-от повторна розсилка однакового спаму з новостворених акаунтів, може виправдовувати негайні дії. Неоднозначнішу активність можна передавати на перевірку разом із сигналами, що спричинили сповіщення.

Подібний підхід застосовують в інших великих технічних системах. Інфраструктура моніторингу обробляє великі обсяги активності, виявляє аномалії, групує пов’язані сигнали й передає на ескалацію незвичні ситуації. Інженери розслідують випадки, що потребують глибшого аналізу.

Модерація спільнот може використовувати таку саму архітектуру. Автоматизовані системи обробляють великі обсяги даних і виявляють закономірності, а модератори отримують добірку ситуацій, на яких варто зосередитися.

Я вважаю, що за високої передбачуваності поведінки варто активно автоматизувати процеси, але ставати набагато обережнішими, щойно починає мати значення контекст. Якщо система визначає, чи є щось спамом, повторне ідентичне повідомлення може бути простим випадком; якщо ж вона має з’ясувати, чи є це цькуванням, жартом або суперечкою між людьми, які знають одне одного, тут набагато ймовірніше знадобиться людське судження. Автоматизація має зменшувати кількість зайвого шуму, який доводиться опрацьовувати модераторам, а не створювати враження, ніби кожне рішення, що потребує судження, можна звести до правила.

Ефективні системи модерації вчаться на власних рішеннях

Поведінка спільнот також постійно змінюється. З’являється новий сленг. Користувачі знаходять способи обходити фільтри. Методи поширення спаму еволюціонують. Соціальні норми змінюються. Правило модерації, яке добре працює сьогодні, може стати менш ефективним у міру зміни поведінки.

Інфраструктурі модерації потрібні ефективні цикли зворотного зв’язку. Кожна автоматизована дія дає корисну інформацію. Часті скасування автоматизованих рішень модераторами можуть свідчити про надто чутливий поріг спрацювання. Повторювані випадки зловживань, які знову й знову залишаються непоміченими, можуть вказувати на відсутність важливого сигналу. Незвично велика кількість хибнопозитивних результатів може свідчити, що певне правило погано працює в окремих середовищах.

Команди мають мати змогу відстежувати, які правила спрацьовують найчастіше, як швидко виявляють інциденти, як часто скасовують автоматизовані дії та яка поведінка зазвичай передує серйознішим порушенням.

У Рамці управління ризиками ШІ NIST також наголошується на важливості постійного вимірювання, моніторингу та управління під час упровадження автоматизованих систем в організаціях.

Спостережуваність дає системам модерації змогу адаптуватися до змін у спільнотах. У ігрової спільноти, професійної дискусійної групи та форуму взаємодопомоги можуть сформуватися дуже різні моделі поведінки. Пороги модерації мають змінюватися з урахуванням цих відмінностей, зберігаючи чіткі запобіжні заходи.

Важлива також прозорість. Користувачам потрібні зрозумілі правила та передбачуване, наскільки це можливо, їх застосування. Модератори мають бачити, як працюють системи, що допомагають їм ухвалювати рішення, а інженерам потрібна достатня інформація, щоб визначити, чи працюють ці системи належним чином.

Наступне покоління онлайн-спільнот значною мірою залежатиме від злагодженої взаємодії інтелектуальної автоматизації, людського судження та постійного вимірювання.

Для масштабної модерації потрібна інфраструктура, здатна опрацьовувати величезні обсяги рутинної активності, розпізнавати закономірності, які окремим людям було б важко помітити, і надавати модераторам більше корисної інформації, коли постають складні рішення.

Розбудова такої інфраструктури потребує пильної уваги до поведінкових сигналів, порогів упевненості, шляхів ескалації, моніторингу та зворотного зв’язку. Спільноти, які розвинуть ці можливості, будуть краще підготовлені до зростання зі збереженням безпеки, довіри та якості, завдяки яким люди продовжують брати в них участь.