Где в модерации контента с помощью ИИ по-прежнему необходимо человеческое суждение

В сообществе с миллионами пользователей вредоносное поведение может распространяться быстрее, чем модераторы успевают его выявить и пресечь. Небольшое сообщество может в значительной степени полагаться на непосредственное наблюдение. Модераторы знают постоянных участников, понимают местную культуру и обычно могут быстро распознать деструктивное поведение. Когда число пользователей сообщества достигает сотен тысяч или миллионов, вручную оценивать происходящее становится гораздо сложнее. Образуются подгруппы, язык меняется, а вредоносное поведение может распространяться между множеством аккаунтов и обсуждений, прежде чем кто-либо заметит закономерность.

Увеличение числа модераторов повышает возможности команды, однако время и внимание любой команды модерации ограничены. Крупным сообществам необходима инфраструктура, способная непрерывно обрабатывать рутинную активность, заранее выявлять необычное поведение и предоставлять модераторам достаточно контекста, чтобы они могли сосредоточиться на ситуациях, требующих суждения.

Поэтому модерация всё чаще становится задачей системной инженерии. Обнаружение нарушений, эскалация, пороговые значения, наблюдаемость и обратная связь — всё это может влиять на то, сохранит ли сообщество здоровую атмосферу по мере роста.

С ростом сообщества прежде всего меняется то, что нестандартные случаи перестают быть редкостью. Даже если определённое поведение затрагивает лишь крошечную долю пользователей, среди миллионов людей модераторы могут сталкиваться с ним постоянно. Кроме того, становится невозможно разбираться в каждом взаимодействии по отдельности, поэтому качественная модерация всё больше зависит от выявления закономерностей без потери контекста, который за ними стоит.

Для модерации крупных сообществ необходимо распознавать закономерности

Многие инструменты модерации изначально работали на основе сравнительно простых триггеров. Появлялось запрещённое слово, пользователь отправлял жалобу или модератор замечал нарушение правил и принимал меры.

Крупные сообщества создают более сложные сигналы. Спам может одновременно поступать с десятков аккаунтов. Преследование может постепенно развиваться в нескольких обсуждениях. Скоординированные злоупотребления могут включать отдельные действия, которые по отдельности кажутся безобидными. Новые аккаунты могут некоторое время вести себя как обычно, а затем внезапно начать публиковать одинаковые ссылки или сообщения.

Такие ситуации легче выявить, если системы оценивают поведение в динамике. Сигналами угрозы могут служить частота сообщений, дублирующийся контент, возраст аккаунта, повторяющиеся ссылки, резкий рост активности публикаций, необычные закономерности вступления в сообщество, предыдущие меры воздействия и связи между аккаунтами. Один сигнал сам по себе может мало о чём говорить. Несколько сигналов, возникающих одновременно, могут указывать на то, что ситуацию стоит изучить внимательнее.

Например, британский регулятор в сфере коммуникаций Ofcom изучал автоматизированные системы классификации контента в рамках более широкого процесса, включающего сбор данных, разработку моделей, внедрение, мониторинг и оценку.

Контекст усложняет задачу. Всплеск сообщений может указывать на спам на профессиональном форуме, но быть нормой во время мероприятия в прямом эфире. Значение слов также может сильно различаться в зависимости от отношений между людьми, общих отсылок и норм сообщества.

Для эффективной инфраструктуры модерации необходимы настраиваемые правила, пороговые значения с учётом особенностей сообщества и исторические данные о поведении. Хороший пример — частота сообщений. Пользователь, который публикует сообщения очень быстро, может рассылать спам, но может и просто активно участвовать в мероприятии в прямом эфире или оживлённом обсуждении. Если этот же аккаунт ещё и совсем новый, многократно публикует одинаковый контент и рассылает одну и ту же ссылку по нескольким каналам, совокупность этих признаков становится гораздо показательнее.

Автоматизация помогает модераторам принимать решения на основе более полной информации

Команды модерации тратят много времени на повторяющиеся задачи. Удаление спама, ограничение ссылок, обнаружение дублирующихся сообщений, ограничение частоты публикаций и проверку аккаунтов зачастую можно автоматизировать, если система располагает достаточно надёжными сигналами для уверенных действий.

Человеческое суждение особенно важно, когда смысл зависит от предыстории, намерений, юмора, сарказма, отношений между людьми или культурного контекста. Такие ситуации часто требуют понимания всей беседы. Хорошо спроектированная автоматизация может упростить принятие решений, систематизируя информацию об инциденте и связанном с ним контексте.

Модератору, проверяющему подозрительную активность, нужно видеть, почему система обратила на неё внимание. К важной информации могут относиться недавние изменения в поведении пользователя при публикации сообщений, предыдущие инциденты, связанные жалобы, повторяющийся контент, история аккаунта или аналогичная активность в других разделах сообщества.

На выбор мер реагирования могут влиять и уровни уверенности системы. Предсказуемая активность — например, многократная отправка одинакового спама с недавно созданных аккаунтов — может оправдывать немедленные действия. Более неоднозначную активность можно направить на проверку вместе с сигналами, вызвавшими оповещение.

Такой подход распространён и в других крупных технических системах. Инфраструктура мониторинга обрабатывает большие объёмы активности, выявляет аномалии, группирует связанные сигналы и передаёт необычные ситуации на следующий уровень рассмотрения. Инженеры изучают случаи, требующие более глубокого анализа.

Модерация сообществ может использовать ту же архитектуру. Автоматизированные системы справляются с большими объёмами данных и выявляют закономерности, а модераторы получают более компактный набор ситуаций для оценки.

Я предпочитаю максимально автоматизировать процессы, если поведение хорошо поддается прогнозированию, но действовать гораздо осторожнее, когда начинает иметь значение контекст. Если системе нужно определить, является ли что-то спамом, повторяющееся идентичное сообщение может не вызвать затруднений; если же ей нужно решить, является ли что-то травлей, шуткой или спором между знакомыми людьми, скорее всего, потребуется суждение человека. Автоматизация должна уменьшать объем нежелательной информации, которую приходится обрабатывать модераторам, а не создавать видимость, будто любое решение можно свести к набору правил.

Надежные системы модерации учатся на собственных решениях

Поведение участников сообщества тоже постоянно меняется. Появляется новый сленг. Пользователи находят способы обходить фильтры. Методы рассылки спама совершенствуются. Социальные нормы меняются. Правило модерации, которое хорошо работает сегодня, может стать менее эффективным по мере изменения поведения.

В инфраструктуре модерации необходима эффективная система обратной связи. Каждое автоматизированное действие дает полезную информацию. Если модераторы часто отменяют решения системы, это может указывать на чрезмерно низкий порог срабатывания. Повторяющиеся случаи злоупотреблений, которые снова и снова остаются незамеченными, могут свидетельствовать о том, что системе не хватает важного сигнала. Необычно большое число ложных срабатываний может указывать на то, что конкретное правило плохо работает в определенных условиях.

Команды должны иметь возможность отслеживать, какие правила срабатывают чаще всего, как быстро выявляются инциденты, как часто отменяются автоматизированные действия и какие модели поведения обычно предшествуют более серьезным нарушениям.

В Рамочной основе NIST по управлению рисками ИИ также подчеркивается важность постоянного измерения, мониторинга и управления при внедрении организациями автоматизированных систем.

Наблюдаемость позволяет системам модерации адаптироваться к изменениям в сообществах. В игровом сообществе, профессиональной дискуссионной группе и форуме поддержки могут складываться совершенно разные модели поведения. Пороги срабатывания системы модерации должны меняться с учетом этих различий, сохраняя при этом четкие гарантии безопасности.

Важна и прозрачность. Пользователям нужны понятные правила и достаточно предсказуемое применение санкций. Модераторам необходимо понимать, как устроены системы, помогающие им принимать решения, а инженерам — располагать достаточной информацией, чтобы оценивать, работают ли эти системы так, как задумано.

Будущее онлайн-сообществ во многом будет зависеть от совместной работы интеллектуальной автоматизации, человеческого суждения и непрерывного измерения.

Для модерации в крупных масштабах нужна инфраструктура, способная обрабатывать огромные объемы рутинной активности, распознавать закономерности, которые отдельным людям было бы трудно заметить, и предоставлять модераторам более полную информацию при принятии сложных решений.

Для создания такой инфраструктуры необходимо тщательно продумать поведенческие сигналы, пороги уверенности, порядок эскалации, мониторинг и обратную связь. Сообщества, которые разовьют эти возможности, будут лучше подготовлены к росту, сохраняя безопасность, доверие и качество, благодаря которым люди продолжают участвовать в их жизни.