Исследователи начинают тренировать искусственный интеллект для борьбы с ненавистной речью в Интернете

Фальшивые новости и ненавистная речь в Интернете становятся не ежедневной, а ежеминутной проблемой в Интернете. Лаборатория IkigaiLab сообщает, что Facebook и Twitter только недавно закрыли более 1,5 миллиарда и 70 миллионов записей соответственно, чтобы попытаться хотя бы ограничить распространение фальшивых новостей и ненавистной речи по всему миру.

Тем не менее, на данный момент такая задача требует огромных человеческих ресурсов и почти постоянной работы, чтобы только коснуться поверхности айсберга ненавистной речи. Чтобы решить эту проблему, исследователи в многочисленных лабораториях начинают тренировать искусственный интеллект (ИИ), чтобы помочь в этом гигантском задании.

Ikigai цитирует систему Rosetta, которую Facebook использует для понимания аутентичности новостей, изображений или другого контента, загружаемого на эту социальную сеть. Как объясняется, система Rosetta сканирует “слово, картинку, язык, шрифт, дату публикации среди других переменных и пытается определить, является ли представляемая информация подлинной или нет”. После того, как система собирает информацию и учитывая, что ИИ еще не полностью “способен понимать намеки, ссылки, колкости и контекст, в котором был опубликован контент”, человеческие модераторы берут на себя управление и направляют систему ИИ для обнаружения ненавистной речи и фальшивых новостей.

Чтобы попытаться дальнейшее развитие способности систем ИИ охватить все возможные нюансы, характеризующие ненавистную речь, команда исследователей в UC Santa Barbara и Intel, как сообщает TheNextWeb (TNW), “взяла тысячи разговоров из самых мерзких сообществ на Reddit и Gab и использовала их для разработки и обучения ИИ для борьбы с ненавистной речью”.

Согласно их отчету, для этого объединенная группа исследователей создала специальный набор данных, содержащий “тысячи разговоров, специально отобранных для обеспечения их насыщенности ненавистной речью”. Они также использовали список групп на Reddit, которые в основном характеризуются использованием ненавистной речи, составленный Джастином Каффьером из Vox.

Исследователи в итоге собрали “более 22 000 комментариев с Reddit и более 33 000 с Gab”. Они обнаружили, что два сайта показывают podobные популярные ключевые слова ненависти, но распределения очень khácны.

Они отметили, что из-за этих различий очень трудно для социальных сетей вмешаться в реальном времени, поскольку поток ненавистной речи так высок, что для этого потребовалось бы бесчисленное количество реальных людей, чтобы следить за ним.

Чтобы решить эту проблему, команда исследователей начала тренировать ИИ для вмешательства. Их первоначальный набор данных был отправлен работникам Amazon Turk для маркировки. После выявления отдельных случаев ненавистной речи работники разработали фразы, которые ИИ будут использовать “чтобы сдержать пользователей от публикации подобной ненавистной речи в будущем”.

На основе этого команда “прошла этот набор данных и базу данных вмешательств через различные системы машинного обучения и обработки естественного языка и создала своего рода прототип для онлайн-системы вмешательства против ненавистной речи”.

Полученные результаты были отличными, но поскольку разработка еще находится на ранней стадии, система еще не готова к активному использованию. Как объясняется, “система, в теории, должна обнаруживать ненавистную речь и сразу же отправлять сообщение постеру, сообщая ему, почему он не должен публиковать вещи, которые явно представляют ненавистную речь. Это зависит не только от обнаружения ключевых слов – для того, чтобы ИИ работал, он должен правильно понять контекст”.