Facebook использует ботов и симуляции, чтобы попытаться противостоять плохому поведению пользователей

Facebook разработал новый ИИ, предназначенный для лучшего обнаружения вредного, причиняющего ущерб и незаконного поведения. Как сообщает The Verge, исследователи в лондонском отделении ИИ Facebook создали симулятор Facebook, управляемый ИИ, называемый “WW”, который используется для симуляции поведения мошенников, незаконных продавцов товаров, спамеров и других злоумышленников на симулированной версии Facebook.

Симулятор Facebook, известный как “WW”, получил свое название от сокращения “WWW”, был представлен Facebook в статье, опубликованной в апреле этого года. WW – это клонированная, изолированная версия Facebook, предназначенная для помощи в тестировании различных инструментов и алгоритмов Facebook.

Компания недавно раскрыла больше подробностей о некоторых из своих использований для WW, одним из которых является симуляция злоумышленников через ИИ. Используя несколько ботов для симуляции поведения, такого как мошенничество, спам, преследование и многое другое, исследователи надеются, что они смогут лучше обнаружить и противостоять вредному поведению пользователей.

Согласно инженеру Facebook Марку Харману, как цитирует The Verge, ожидается, что WW будет ценным инструментом в сдерживании различных вредных поведений на Facebook. Например, Харман считает, что симуляции можно использовать для разработки лучших методов обнаружения мошенников.

Инженеры Facebook смоделировали поведение реальных мошенников Facebook, создав две группы ботов: одну группу целей и одну группу мошенников. Мошенники часто охотятся через сети друзей, изучая друзей пользователей, чтобы найти потенциальную цель. Это поведение было смоделировано ботами-мошенниками, когда инженеры экспериментировали с различными методами предотвращения обмана безобидного бота. Стратегии, которые они испытали, включали многочисленные ограничения, такие как ограничение количества частных сообщений, которые бот мог отправить каждую минуту.

Есть несколько способов, которыми симулированная Facebook отличается от реальной. Во-первых, симуляция Facebook не включает в себя какие-либо визуальные элементы, поэтому данные, полученные из симуляции, представлены только в виде числовых данных и статистики об взаимодействии между ботами. Во-вторых, все акторы в симуляции – боты, которые не способны взаимодействовать с реальными пользователями. Симуляция WW также не может учитывать такие вещи, как намерения пользователя или содержание данного разговора, поскольку только действия отправки сообщений, создания комментариев и т. д. смоделированы.

Согласно Харману, этот процесс экспериментирования с ограничениями аналогичен тому, как городские планировщики пытаются снизить скорость на определенных дорогах, укладывая “спид-бампы”. Аналогично тому, как городской планировщик экспериментировал бы с созданием спид-бамп и затем собирая данные об их полезности, инженеры анализировали, как сообщения и взаимодействия между ботами варьировались в их симуляторе, когда они варьировали параметры и ограничения. Харман объясняет, что цель состоит в том, чтобы получить представление о том, какие изменения можно сделать в платформе Facebook, чтобы сдержать вредное поведение, не ограничивая при этом нормальное поведение или свободный поток трафика.

Харман также объясняет, что преимущество использования WW для их симуляций заключается в том, что действия, которые они изучают, происходят на реальной инфраструктуре Facebook, что дает им гораздо лучшее представление о том, как их предложенные изменения могут повлиять на реальных пользователей Facebook. Любые применения этих находок должны подождать некоторое время, поскольку сейчас WW и его симуляция находятся только на стадии исследования. Харман и другие исследователи Facebook не будут применять свои находки к живой версии Facebook, поскольку еще много работы предстоит сделать. Группа исследователей должна убедиться, что симуляции, которые они создают, достаточно точно соответствуют реальному поведению человека.

Основное преимущество WW, согласно Харману, заключается в его способности работать на огромной масштабе, позволяя исследователям Facebook проверять потенциальные последствия тысяч различных незначительных изменений, всех через симуляции, которые он производит.

В будущем исследователи могут позволить ботам просто поиграть и экспериментировать некоторое время, чтобы увидеть, какие виды взаимодействий они придумают сами по себе, что может часто быть чем-то, чего исследователи даже не ожидают.

“На данный момент основной фокус заключается в обучении ботов имитировать вещи, которые мы знаем происходят на платформе. Но в теории и на практике боты могут делать вещи, которые мы не видели раньше”, сказал Харман. “Это на самом деле то, чего мы хотим, потому что мы в конечном итоге хотим опережать плохое поведение, а не постоянно отставать”.

Если все пойдет хорошо, Facebook может начать вносить изменения на основе симуляций WW к концу 2020 года.