Шон Гурли, генеральный директор и основатель Primer — серия интервью

Шон Гурли — генеральный директор и основатель Праймер, предприятие, которое предоставляет приложения обработки естественного языка (NLP) промышленного уровня для правительственных учреждений, финансовых учреждений, компаний из списка Fortune 50 и многих других организаций.

Один из основных вариантов использования Primer — помочь людям обнаруживать, понимать кампании по дезинформации и реагировать на них. Стремясь улучшить эти услуги, Primer недавно приобрел Yonder, чтобы повысить их способность бороться с дезинформационными атаками.

Мы сели с Шоном, чтобы обсудить дезинформацию на недавней Конференция Аи4 который проходил в Лас-Вегасе. Шон — кладезь информации о кампаниях по дезинформации и правительственной пропаганде. Ниже наше интервью.

Что изначально привлекло вас в изучении и понимании всей экосистемы дезинформации?

Итак, я немного рассказал о высокочастотной торговле, и это было интересно. Я просматривал это. Это было целое пространство алгоритмов, пытающихся понять, произошло ли что-то в мире, а затем торговать на этом. И это было примитивно. Это было в 2012 году, и мы улавливали шум.

Они ошибались, когда читали это, или неверно истолковывали сигналы. А потом появился твит, якобы о взломе Associated Press. В их аккаунте в Twitter было написано: «Срочно: взрыв в Белом доме, Барак Обама ранен». А затем рынок воспользовался этой информацией и упал, потеряв около 130 миллиардов долларов из-за этого твита. Сейчас я не знаю, было ли это сделано с целью подтолкнуть рынок, или просто создать хаос, или же это было сделано с какой-то целью, но тогда это была просто связь, и я подумал: «Вау». Это как бабочка, взмахнувшая крыльями и создавшая такой эффект, потому что это как бы задействует набор алгоритмических акторов, которые на самом деле не так уж и умны.

Итак, я увидел это, и это заставило меня углубиться в тему, а затем я начал искать… И я увидел целую кучу мексиканских ботов, мексиканских аккаунтов, которые утверждали, что журналистов не убивали наркокартели. А это было, типа, в 2013 году. И я подумал: «Боже мой, у вас есть негосударственные субъекты, наркокартели, которые участвуют в этом, чтобы создать нарративную войну. И, похоже, они побеждают». И я подумал: «Это даже не государственные субъекты». И в тот момент я подумал: «А что, если государственный субъект завладеет этим? Как это будет выглядеть и что это даст?» А потом я опубликовал статью в Wired в 2015 году. На самом деле она была написана в конце 2014 года, но в ней были прогнозы на 2015 год. И я сказал: «Это будет год, когда боты возьмут под контроль выборы».

И это стало невероятно пророческим, когда эта статья вышла, возможно, даже более пророческим, чем я изначально предполагал. Но я просто увидел этот поворот в развитии технологий. С другой стороны, мы также увидели, насколько примитивными были многие из этих технологий. Они были довольно примитивными. Так всё это начало складываться воедино, и в итоге мы оказались в таком пространстве, где, как ни странно, можно контролировать повествования, просто постоянно взаимодействуя с информацией из каналов, которые вы потребляете сейчас.

Считаете ли вы, что были выборы, на которые повлияла эта дезинформация, или что на будущие выборы может повлиять такая дезинформация?

В каком-то смысле, возвращаясь к этой теме. Во-первых, мы слишком узко мыслим, считая, что дезинформация не соответствует действительности. И я думаю, это слишком узко. Нам нужно расширить это понятие, включив в него тех, кто контролирует нарративы. Сейчас нарративы вполне могут быть реальными, но, возможно, это не так уж важно.

Если вас беспокоит преступность, мы можем взять сюжет и просто массово транслировать все преступления по всем каналам, и вы вернётесь и подумаете, что ваш город только что пережил самую ужасающую волну преступности в истории. А вы просто взяли каждое преступление, о котором когда-либо сообщалось и которое раньше не попадало в поле вашего зрения, и внесли его в свою систему.

Теперь вы начинаете верить, что преступность гораздо выше, чем есть на самом деле. Она не изменилась, но вы стали чаще с ней сталкиваться. Так что дело не в том, произошло ли преступление, а в том, привлекало ли оно ваше внимание. Это одна часть. Мы вляпались в этот вопрос: произошло оно или нет? Как будто это и есть битва. Но на самом деле битва идёт за мировоззрение людей. Так что это одна сторона.

Второй момент: насколько вы можете повлиять на это? Ну, если у вас нет представления о том, снижают ли вакцины ваш IQ на 37 баллов, или если вы ранее не были убеждены в связи между вакцинами и интеллектом. Если бы я сказал вам, что да, вакцины повысили ваш IQ, вы бы теперь поверили в это в три раза чаще, чем если бы кто-то вернулся и сказал, что вакцины снизили ваш IQ. Поэтому у того, кто придёт с первым сообщением, больше всего шансов, что вы будете придерживаться этого убеждения, если у вас ранее не было своего мнения по какому-либо вопросу.

Так это предубеждение в человеческом мозгу, который уязвим для этого?

Это предвзятость человеческого мозга. Во-вторых, даже если вы знаете, что информация ложная, если вы с ней сталкиваетесь, вы с большей вероятностью поверите ей, даже если знаете, что она ложная. Итак, происходит повторение информации. Есть первый фрагмент информации, о котором у вас ранее не было мнения. А затем, как мы знаем, если вы получаете информацию из независимых источников, вы доверяете ей больше. А если вы получаете информацию от людей из вашей сети друзей, вы доверяете ей больше, это становится своего рода методологией аффилиации. И мы знаем, что около 25% — это переломный момент: если 25% людей начинают во что-то верить, это создаёт огромный переломный момент, когда становится очень вероятно, что 75% или 80% людей начнут в это верить.

Итак, всё это сводится к тому, как формируется мнение и как группы приходят к консенсусу. Есть подраздел физики, вычислительная физика, который занимается этим, и вы можете обратиться к литературе и понять эти модели формирования, распространения и принятия мнений.

Вы можете создавать эти системы, если захотите, и именно этим люди начинают заниматься. Не думаю, что они были очень продвинутыми. Но, послушай, Китай — сверхдержава в области искусственного интеллекта. Они понимают, что победа в информационных войнах вокруг Тайваня становится невероятно важной. Мы должны ожидать, что они сделают все возможное, что позволят технологии, чтобы вступить в этот конфликт и победить в нём.

Мы знаем, как люди становятся жертвами этого, но как ИИ обнаруживает корень истины?

Нам нужно уйти от этой темы истины, и я имею в виду, что речь не идёт о привлечении фактчекеров ко всему. Потому что мы говорили: вот, смотрите, ИИ может определить, что да, это преступление действительно произошло, но это не имеет значения. Дело не в этом. Теперь вы считаете, что в вашем городе огромная волна преступности, и с этим нужно что-то делать. Верно? И в чём коренная истина о том, принадлежит ли Тайвань Китаю? Я имею в виду, можно обратиться к истории. Мы можем спорить об этом, но знает ли ИИ? Знаем ли мы точно, где это?

Теперь мы знаем, что это довольно спорный вопрос. У США и Тайваня есть свои системы убеждений. У Китая другая система убеждений. Задача ИИ — не выяснять, кто прав. Задача ИИ — определить, пытался ли кто-то активно влиять на вас, чтобы вы поверили той или иной стороне.

И это вторая часть: люди будут использовать искусственный интеллект, чтобы попытаться убедить вас, заставить поверить в ту или иную сторону, используя методы получения первого убеждения, постоянного повторения этого убеждения, привлечения кажущихся независимыми голосов, контроля и отбора 25% вашей сети влияния в надежде заставить вас поверить в другую сторону. Все эти методы ИИ может усилить, и ИИ также может защитить от них. Но нам нужно уйти от вопроса о том, может ли ИИ определить правду, потому что зачастую правда, возможно, менее важна, чем борьба за нарратив.

И как Primer помогает в этом?

Итак, в первую очередь речь идёт о наблюдении и обнаружении. В частности, мы столкнулись с ситуацией, когда мы впервые слышим о кампаниях по дезинформации через шесть месяцев после их проведения.

То есть мы никогда не сможем поймать это в реальном времени?

Ну, это даже не в режиме реального времени. Представьте себе, что ракеты переместились на границу США, и через полгода мы понимаем, что по нам выпустили их. Вот где мы находимся. Нам предстоит заполнить огромный пробел в области наблюдения и разведки, связанных с дезинформацией, или информационных операций, которые мы называем информационными операциями. Если была проведена информационная операция, нам нужно в режиме реального времени или почти в режиме реального времени понимать, как она выглядит, каковы её мотивы, каковы манипуляции, и использовать эту информацию, чтобы начать либо блокировать эти бот-сети, либо попытаться ограничить распространение этой информации.

А каково ваше мнение о главной угрозе, которую Китай представляет для мира?

Это важный вопрос для всего мира. Мы точно знаем, что участвуем в гонке вооружений в области искусственного интеллекта с Китаем, поскольку победитель получит существенное военное преимущество перед тем, кто окажется на втором месте. Поэтому Китай будет очень активно разрабатывать компоненты искусственного интеллекта. Вторая составляющая — это ведущая роль Тайваня в производстве микросхем и передовых графических процессоров. И я думаю, что если Китай обратит на это внимание, то, имея в распоряжении тайваньские производственные лаборатории, производственные мощности и литейные заводы, он окажется в очень, очень выгодном положении в гонке вооружений в области искусственного интеллекта.

Если Китай захватит это силой, есть большая вероятность, что они в конечном итоге уничтожат эти возможности, или их уничтожит Тайвань, и они исчезнут. Что, в каком-то смысле, было бы приемлемо для Китая. Это вызвало бы серьёзные потрясения в глобальном масштабе, но не обязательно создало бы серьёзную проблему для Китая, если бы это произошло.

Однако если они смогут принять это целиком, то это будет для них огромным преимуществом. И как это делается, мы видели в Гонконге, как вы знаете, «Вы действительно часть нас». И вы убеждаете остальной мир, что они действительно часть нас. А если вы попытаетесь не согласиться с этим убеждением или мнением, возникнут экономические или другие проблемы. Таким образом, Китай будет вести глобальную операцию влияния, чтобы убедить мир, что Тайвань — часть Китая, убедить тайваньцев, что они — часть Китая. И если им это удастся, то Китай внезапно окажется у руля и сможет съесть всё.

Итак, мы увидим, как Китай будет проводить информационные операции, чтобы убедить мир в том, что Тайвань — часть Китая. И это признаёт Комитет Палаты представителей по разведке. Разрабатывая Закон о полномочиях разведки, они, в частности, обозначили методы обнаружения китайских операций влияния в Карибском бассейне, Южной и Центральной Америке.

Это конкретный призыв к разведывательному сообществу поработать над этим. Закон о полномочиях разведки также предусматривает возможность внедрения искусственного интеллекта, использования готовых коммерческих технологий и возможность внедрения сред без кода в этих организациях. Конгресс США опубликовал ряд действительно конструктивных материалов. Некоторые материалы доступны для чтения и представляют большой интерес в контексте борьбы с китайскими дезинформационными кампаниями, особенно в странах Южной и Центральной Америки и Карибского бассейна.

Как вы думаете, какую роль должны играть рекомендательные механизмы, такие как YouTube, Facebook, Twitter и TikTok, в распространении этого ложного повествования?

Что мы знаем о Китае, так это то, что они остановили выход Facebook на китайский рынок. Facebook вышел на китайский. В 2012 году Марк Цукерберг сказал: «Я собираюсь выучить китайский. Всё дело в Китае». Китай ответил: «Мы вас впустим, а теперь до свидания».

Потому что Китай сказал: «Ну и чёрт возьми, мы позволим американской компании контролировать информационные потоки нашего населения. Мы очень много работали, спасибо вам большое, чтобы контролировать информацию, которую получает наше население. Вот чем мы занимаемся. Мы в этом очень хороши. Мы вас впустим, мы у вас научимся. Но после этого вы исчезнете». Так что теперь Facebook больше нет.

Итак, КПК (Коммунистическая партия Китая) приняла совершенно чёткое решение о том, как она хочет контролировать информацию. Теперь, будучи авторитарным режимом, вы имеете этот контроль. «Вы не должны выдвигать такие идеи. Вы не должны говорить такие вещи. Вы не должны делать этого». Как либеральная демократия, мы должны участвовать в дебатах и ​​обмене идеями в относительно свободном и открытом пространстве. Есть определённые ограничения, но они находятся на самом краю. Поэтому Китай, я думаю, смог контролировать информацию. США не могут в той же степени, у нас демократия. Мы должны позволить информационному хаосу бороться с самим собой. Вот почему мы стали уязвимы для подобных информационных атак. В системе существует большая асимметрия. «Вы хотите обеспечить свободу обсуждения? Что ж, мы собираемся её испортить. Вы не можете этого сделать с нами, потому что наши информационные системы очень хорошо защищены».

Думаю, именно с этим нам и предстоит разобраться. Первый тип протокола — быстро определить, проводится ли на платформе информационная операция, оповестить об этом системы, как минимум ограничить распространение этой информации, а также, если есть сети, не являющиеся ботами, быстро их обезвредить. Что касается рекомендаций… Я бы не сказал, что американские компании использовали это во зло. Не думаю, что это так. Может ли это быть использовано во зло внешняя компания? Да, потенциально. Если бы вы вели войну с кем-то, и у него был бы контроль над информационной сетью, которая снабжала ваше население информацией, стали бы вы доверять его справедливости и беспристрастности?

Ну, мы уже знаем, что случилось с «ВКонтакте» и Россией, социальной сетью. Они сказали: «Ну, вы не будете публиковать изображения людей, убитых нами на Украине. Это просто запрещено. И мы собираемся установить информационную стену, чтобы предотвратить проникновение информации из западных сетей в наши». Поэтому, когда начинается конфликт, люди возводят барьеры, говоря: «Вы не сможете влиять на наше население».

Так что, как по учебнику, ВК потребовалось, наверное, три-четыре недели, чтобы это сделать. Было окно, которое, кажется, было относительно открытым, но потом они его закрыли, потому что поняли, что если не контролировать мнение населения и позволить ему увидеть ущерб, который ракеты и атаки наносят гражданскому населению Украины, то, возможно, они больше не захотят воевать.

Думаю, нас всех удивляет, насколько сильно они действовали в Украине. И я не думаю, что мы ошибались, полагая, что война могла бы быть очень быстрой, если бы украинцы сложили оружие. Но произошло всё наоборот. Они вернулись в страну, взяли автоматы Калашникова и начали сражаться. И всё потому, что история перевернулась, и в ней изменились некоторые ключевые моменты. Призрак Киева, остров Змеиный, женщина с семечками в карманах солдата, которая говорила: «Когда ты умрёшь, появятся подсолнухи». Эти моменты, эти мемы, нашли отклик у населения.

Но многие из них на самом деле не были правдой. Или были сфабрикованы. Призрак Киева и острова Змеиный был усилен. Они выжили, но их представили как мучеников, которые говорили: «К чёрту вас», и их убили. Это была информационная война высшего качества, которая создала боевой дух не только на Украине, но и в странах-членах НАТО, и в США, где развевались украинские флаги и кричали: «Нам нужно это небезразлично». Такого быть не должно. Легче всего выиграть войну, когда оппозиция не хочет сражаться. И это была ставка, игра, которую сделали русские и Путин, и он ошибся. И он ошибся, потому что мы никогда не видели операции влияния, которая обернулась бы победой в нарративной войне, подобной той, что мы когда-либо видели с Украиной. И это было превосходно.

Думаю, мы недооцениваем мощь информационных операций. Китай, по-моему, очень внимательно следит за этим, и мы увидим, как это будет развиваться. Мы видим, как это будет развиваться в отношении Тайваня, и что об этом думает остальной мир. И США, я думаю, если они хотят участвовать, им необходимо обладать таким же набором навыков для борьбы с информационными операциями.

Есть ли какие-нибудь последние слова, которыми вы хотели бы поделиться о Primer?

Мы участвуем в этой миссии, чтобы оказать поддержку США и их союзникам в предоставлении лучших технологий в руки бойцов, и я думаю, мы хотим, чтобы больше технологических компаний присоединились к этой борьбе.

Спасибо за это поучительное интервью, читателям, которые хотят узнать больше, настоятельно рекомендуется посетить Праймер.