Facebook использует ботов и симуляции, чтобы попытаться противостоять плохому поведению пользователей

Facebook (META ) разработал новый ИИ, предназначенный для лучшего обнаружения вредного, наносящего ущерб и незаконного поведения. Как сообщает The Verge, исследователи в лондонском отделении ИИ Facebook создали симулятор Facebook на основе ИИ под названием “WW”, который используется для симуляции поведения мошенников, незаконных продавцов товаров, спамеров и других злоумышленников на симулированной версии Facebook.

Симулятор Facebook, известный как “WW”, получил свое название от сокращения “WWW”, был представлен Facebook в статье, опубликованной в апреле этого года. WW – это клонированная, изолированная версия Facebook, предназначенная для помощи в тестировании различных инструментов и алгоритмов Facebook.

Компания недавно раскрыла больше подробностей о некоторых из своих использований WW, одним из которых является симуляция поведения злоумышленников с помощью ИИ. Используя множество ботов для симуляции поведения такого как мошенничество, спам, преследование и многое другое, исследователи надеются, что они смогут лучше обнаружить и противостоять вредному поведению пользователей.

По словам инженера Facebook Марка Хармана, как цитирует The Verge, ожидается, что WW будет ценным инструментом в предотвращении различных вредных поведений на Facebook. Например, Харман считает, что симуляции могут быть использованы для разработки лучших методов обнаружения мошенников.

Инженеры Facebook имитировали поведение реальных мошенников Facebook, создав две группы ботов: одну группу целей и одну группу мошенников. Мошенники часто охотятся через сети друзей, исследуя друзей пользователей, чтобы найти потенциальную цель. Это поведение было имитировано ботами-мошенниками, когда инженеры экспериментировали с различными методами предотвращения обмана невинного бота. Среди методов, которые они испытали, были различные ограничения, такие как ограничение количества частных сообщений, которые бот мог отправить каждую минуту.

Существует несколько способов, которыми симулированная версия Facebook отличается от реальной. Во-первых, симуляция Facebook не включает в себя никаких визуальных элементов, поэтому данные, полученные из симуляции, представлены только в виде числовых данных и статистики взаимодействия между ботами. Во-вторых, все акторы в симуляции – боты, которые не могут взаимодействовать с реальными пользователями. Симуляция WW также не может учитывать такие вещи, как намерения пользователя или содержание конкретного разговора, поскольку только действия отправки сообщений, создания комментариев и т. д. симулируются.

По словам Хармана, этот процесс экспериментирования с ограничениями аналогичен тому, как городские планировщики пытаются снизить скорость на определенных дорогах, укладывая “спид-бампы”. Аналогично тому, как городской планировщик экспериментирует с созданием спид-бампов, а затем собирает данные об их полезности, инженеры анализировали, как сообщения и взаимодействия между ботами менялись в их симуляторе, когда они меняли параметры и ограничения. Харман объясняет, что цель состоит в том, чтобы получить представление о том, какие изменения можно сделать в платформе Facebook, чтобы предотвратить вредное поведение, не ограничивая при этом нормальное поведение или свободный поток трафика.

Харман также объясняет, что преимущество использования WW для их симуляций заключается в том, что действия, которые они изучают, происходят на реальной инфраструктуре Facebook, что дает им гораздо лучшее представление о том, как их предложенные изменения могут повлиять на реальных пользователей Facebook. Любые применения этих результатов будут должны ждать некоторое время, поскольку сейчас WW и его симуляция находятся только на стадии исследования. Харман и другие исследователи Facebook не будут применять свои результаты к живой версии Facebook, поскольку еще много работы предстоит сделать. Группа исследователей должна убедиться, что симуляции, которые они создают, достаточно точно соответствуют реальному поведению человека.

Основное преимущество WW, по словам Хармана, заключается в его способности работать на огромной масштабе, позволяя исследователям Facebook проверить потенциальные последствия тысяч различных незначительных изменений, всех через симуляции, которые он производит.

В будущем исследователи могут позволить ботам просто поиграть и экспериментировать некоторое время, чтобы увидеть, какие взаимодействия они придумают самостоятельно, что может быть чем-то, чего исследователи даже не ожидают.

“На данный момент основной фокус – обучать ботов имитировать то, что мы знаем происходит на платформе. Но в теории и на практике боты могут делать вещи, которые мы не видели раньше”, сказал Харман. “Это на самом деле то, что мы хотим, потому что в конечном итоге мы хотим опережать плохое поведение, а не постоянно отстать”.

Если все пойдет хорошо, Facebook может начать вносить изменения на основе симуляций WW к концу 2020 года.