Арджун Нараян, руководитель глобальной команды доверия и безопасности для SmartNews – Интервью

Арджун Нараян, является руководителем глобальной команды доверия и безопасности для SmartNews – новостного агрегатора, он также является экспертом по этике ИИ и политике технологий. SmartNews использует ИИ и команду человеческих редакторов для агрегации новостей для читателей.

Вы были инструментальными в помощи созданию хаба доверия и безопасности Google в Азии и Тихом океане в Сингапуре, какие ключевые уроки вы извлекли из этого опыта?

При построении команд доверия и безопасности экспертиза на уровне страны имеет решающее значение, поскольку злоупотребления сильно различаются в зависимости от страны, которую вы регулируете. Например, способ, которым продукты Google (GOOGL ) были злоупотреблены в Японии, отличался от того, как они были злоупотреблены в Юго-Восточной Азии и Индии. Это означает, что векторы злоупотреблений сильно различаются в зависимости от того, кто их совершает, и в какой стране вы находитесь; поэтому нет однородности. Это было чем-то, что мы узнали рано.

Я также узнал, что культурное разнообразие невероятно важно при построении команд доверия и безопасности за рубежом. В Google мы обеспечили, чтобы было достаточно культурного разнообразия и понимания внутри команд, которые мы нанимали. Мы искали людей с конкретной экспертизой в области, но также с языковыми и рыночными знаниями.

Я также обнаружил, что культурное погружение невероятно важно. Когда мы строим команды доверия и безопасности через границы, нам нужно обеспечить, чтобы наши инженерные и деловые команды могли погрузиться в культуру. Это помогает обеспечить, чтобы все были ближе к проблемам, которые мы пытались управлять. Чтобы сделать это, мы проводили квартальные сессии погружения с ключевым персоналом, и это помогло повысить культурный IQ всех.

Наконец, межкультурное понимание было так важно. Я управлял командой в Японии, Австралии, Индии и Юго-Восточной Азии, и способ, которым они взаимодействовали, был совершенно разным. Как лидер, вы хотите обеспечить, чтобы каждый мог найти свой голос. В конечном итоге, все это предназначено для построения высокоэффективной команды, которая может выполнять чувствительные задачи, такие как доверие и безопасность.

Ранее вы также были в команде доверия и безопасности ByteDance для приложения TikTok, как видео, которые часто короче одной минуты, эффективно контролируются на предмет безопасности?

Я хочу переформулировать этот вопрос немного, потому что это не имеет значения, является ли видео коротким или длинным. Это не является фактором, когда мы оцениваем безопасность видео, и продолжительность не имеет реального веса на то, может ли видео распространять злоупотребления.

Когда я думаю об злоупотреблениях, я думаю об “проблемах”. Какие проблемы пользователи уязвимы? Дезинформация? Недостоверная информация? Независимо от того, является ли видео 1 минутой или 1 часом, все равно существует недостоверная информация, и уровень злоупотреблений остается сравнимым.

В зависимости от типа проблемы вы начинаете думать о политике соблюдения и защитных барьерах и о том, как вы можете защитить уязвимых пользователей. Например, если есть видео, на котором кто-то совершает самоубийство. Когда мы получаем уведомление о том, что это видео существует, мы должны действовать с срочностью, потому что кто-то может потерять жизнь. Мы сильно полагаемся на машинное обучение, чтобы обнаружить этот тип контента. Первый шаг – всегда связаться с властями, чтобы попытаться спасти эту жизнь, ничего не является более важным. Оттуда мы стремимся приостановить видео, прямую трансляцию или любой формат, в котором оно распространяется. Нам нужно обеспечить, чтобы мы минимизировали воздействие на этот вредный контент как можно скорее.

Аналогично, если это речь ненависти, есть разные способы раскрытия этого. Или в случае буллинга и преследования все зависит от типа проблемы, и в зависимости от этого мы корректируем наши варианты принудительного исполнения и защитные барьеры. Другой пример хорошего защитного барьера был тот, что мы реализовали машинное обучение, которое могло обнаружить, когда кто-то пишет что-то неуместное в комментариях и предоставить подсказку, чтобы заставить их дважды подумать, прежде чем опубликовать этот комментарий. Мы не остановили бы их обязательно, но наша надежда была в том, что люди подумают дважды, прежде чем поделиться чем-то злым.

Все сводится к комбинации машинного обучения и правил ключевых слов. Но когда речь идет о прямых трансляциях, у нас также были человеческие модераторы, которые просматривали эти потоки, которые были помечены ИИ, чтобы они могли немедленно сообщить и реализовать протоколы. Потому что они происходят в реальном времени, недостаточно полагаться на пользователей, чтобы сообщить, поэтому нам нужно иметь людей, которые мониторят в реальном времени.

С 2021 года вы являетесь руководителем доверия, безопасности и опыта клиентов в SmartNews, новостном агрегаторе. Можете ли вы обсудить, как SmartNews использует машинное обучение и обработку естественного языка, чтобы выявить и расставить приоритеты высококачественного новостного контента?

Центральная концепция заключается в том, что у нас есть определенные “правила” или технология машинного обучения, которая может проанализировать статью или рекламу и понять, о чем она.

Когда есть что-то, что нарушает наши “правила”, скажем, что-то является фактически неверным или вводящим в заблуждение, у нас есть машинное обучение, которое помечает этот контент для человеческого рецензента в нашей редакционной команде. На этом этапе они понимают наши редакционные ценности и могут быстро просмотреть статью и принять решение о ее пригодности или качестве. Оттуда принимаются меры, чтобы решить эту проблему.

Как SmartNews использует ИИ, чтобы обеспечить, что платформа является безопасной, инклюзивной и объективной?

SmartNews был основан на предпосылке, что гиперперсонализация хороша для эго, но также поляризует нас всех, укрепляя предубеждения и помещая людей в фильтр-пузырь.

Способ, которым SmartNews использует ИИ, немного отличается, потому что мы не исключительно оптимизируем для вовлеченности. Наш алгоритм хочет понять вас, но он не обязательно гиперперсонализируется для вашего вкуса. Это потому, что мы верим в расширение перспектив. Наш двигатель ИИ познакомит вас с концепциями и статьями за пределами смежных концепций.

Идея заключается в том, что есть вещи, которые люди должны знать в общественных интересах, и есть вещи, которые люди должны знать, чтобы расширить свой кругозор. Баланс, который мы пытаемся найти, – это предоставление этих контекстных анализов без того, чтобы быть большим братом. Иногда люди не будут любить вещи, которые наш алгоритм помещает в их ленту. Когда это происходит, люди могут выбрать не читать эту статью. Однако мы гордимся способностью нашего двигателя ИИ продвигать серендипность, любопытство, что бы вы ни называли.

На стороне безопасности SmartNews имеет что-то, называемое “Баллом издателя”, это алгоритм, предназначенный для постоянной оценки того, является ли издатель безопасным или нет. В конечном итоге мы хотим установить, имеет ли издатель авторитетный голос. Например, мы все можем коллективно согласиться, что ESPN является авторитетом в спорте. Но если вы случайный блог, копирующий контент ESPN, нам нужно обеспечить, чтобы ESPN занимал более высокий рейтинг, чем этот случайный блог. Балл издателя также учитывает такие факторы, как оригинальность, когда статьи были опубликованы, как выглядят отзывы пользователей и т. д. Это в конечном итоге спектр многих факторов, которые мы учитываем.

Одна вещь, которая превосходит все, – это “Что хочет читать пользователь?” Если пользователь хочет просмотреть кликбейт-статьи, мы не остановим их, если это не незаконно или не нарушает наши руководства. Мы не навязываем пользователям, но если что-то является небезопасным или неуместным, мы выполняем свою работу, прежде чем что-то попадет в ленту.

Каково ваше мнение о журналистах, использующих генеративный ИИ, чтобы помочь им производить контент?

Я считаю, что этот вопрос является этическим, и это что-то, что мы сейчас обсуждаем в SmartNews. Как SmartNews должен относиться к издателям, представляющим контент, сформированный генеративным ИИ, вместо того, чтобы журналисты писали его?

Я считаю, что этот поезд уже ушел. Сегодня журналисты используют ИИ, чтобы дополнить свою писательскую деятельность. Это функция масштаба, у нас нет времени в мире, чтобы производить статьи на коммерчески жизнеспособном уровне, особенно поскольку новостные организации продолжают сокращать штат. Вопрос тогда становится, сколько творчества вкладывается в это? Отшлифован ли статья журналистом? Или журналист полностью полагается?

На этом этапе генеративный ИИ не способен писать статьи о событиях, разворачивающихся в реальном времени, потому что нет обучающих данных для этого. Однако он все равно может дать журналисту довольно хороший общий шаблон, чтобы сделать это. Например, школьные стрельбы настолько распространены, мы могли бы предположить, что генеративный ИИ может дать журналисту подсказку о школьных стрельбах, и журналист может вставить школу, которая была затронута, чтобы получить полный шаблон.

С моей точки зрения, работая с SmartNews, есть два принципа, которые, я думаю, стоят рассмотрения. Во-первых, мы хотим, чтобы издатели были открытыми и рассказывали нам, когда контент был сгенерирован ИИ, и мы хотим пометить его как таковой. Таким образом, когда люди читают статью, они не обманываются относительно того, кто написал статью. Это прозрачность на высшем уровне.

Во-вторых, мы хотим, чтобы эта статья была фактически правильной. Мы знаем, что генеративный ИИ склонен выдумывать вещи, когда он хочет, и любая статья, написанная генеративным ИИ, должна быть проверена журналистом или редакционной командой.

Вы ранее утверждали, что технологические платформы должны объединиться и создать общие стандарты, чтобы бороться с цифровой токсичностью, насколько важна эта проблема?

Я считаю, что эта проблема имеет решающее значение, не только для того, чтобы компании работали этично, но и для поддержания определенного уровня достоинства и гражданственности. По моему мнению, платформы должны объединиться и разработать определенные стандарты, чтобы поддерживать эту человечность. Например, никто не должен быть поощрен к тому, чтобы лишить себя жизни, но в некоторых ситуациях мы находим этот тип злоупотреблений на платформах, и я считаю, что это что-то, против чего компании должны объединиться.

В конечном итоге, когда речь идет о проблемах человечности, не должно быть конкуренции. Не должно быть даже конкуренции на то, кто является чистейшим или самым безопасным сообществом – мы все должны стремиться обеспечить, чтобы наши пользователи чувствовали себя в безопасности и понимали. Давайте будем конкурировать на функциях, а не эксплуатации.

Какие есть способы, которыми цифровые компании могут работать вместе?

Компании должны объединиться, когда есть общие ценности и возможность сотрудничества. Есть всегда пространства, где есть пересечение интересов между компаниями и отраслями, особенно когда речь идет о борьбе с злоупотреблениями, обеспечении гражданственности на платформах или снижении поляризации. Это моменты, когда компании должны работать вместе.

Конечно, есть коммерческий угол с конкуренцией, и обычно конкуренция полезна. Она помогает обеспечить силу и дифференциацию между компаниями и обеспечивает решения с определенным уровнем эффективности, который монополии не могут гарантировать.

Но когда речь идет о защите пользователей или продвижении гражданственности или снижении векторов злоупотреблений, это темы, которые являются основными для нас, чтобы сохранить свободный мир. Это вещи, которые мы должны делать, чтобы обеспечить, что мы защищаем то, что является священным для нас, и нашу человечность. По моему мнению, все платформы имеют ответственность сотрудничать в защите человеческих ценностей и ценностей, которые делают нас свободным миром.

Каково ваше текущее мнение о ответственной ИИ?

Мы находимся на начальной стадии чего-то очень проникающего в нашу жизнь. Этот следующий этап генеративного ИИ – это проблема, которую мы не полностью понимаем или можем только частично понять на этом этапе.

Когда речь идет об ответственной ИИ, это невероятно важно, что мы разработаем сильные защитные барьеры, или мы можем оказаться с монстром Франкенштейна из технологий генеративного ИИ. Нам нужно потратить время на то, чтобы подумать обо всем, что может пойти не так. Будет ли это предвзятость, проникающая в алгоритмы, или большие языковые модели сами будут использоваться неправильными людьми для совершения злых дел.

Сама технология не является хорошей или плохой, но она может быть использована плохими людьми для совершения плохих дел. Это почему инвестиции времени и ресурсов в этики ИИ для проведения тестирования на устойчивость, чтобы понять дизайнерские недостатки, являются так важны. Это поможет нам понять, как предотвратить злоупотребления, и я думаю, что это, вероятно, самый важный аспект ответственной ИИ.

Потому что ИИ еще не может думать самостоятельно, нам нужно умные люди, которые могут построить эти значения по умолчанию, когда ИИ запрограммирован. Важный аспект, который следует учитывать сейчас, – это время – нам нужно, чтобы эти положительные акторы делали эти вещи СЕЙЧАС, прежде чем будет слишком поздно.

В отличие от других систем, которые мы проектировали и построили в прошлом, ИИ отличается, потому что он может итерировать и учиться самостоятельно, поэтому если вы не установите сильные защитные барьеры на то, что и как он учится, мы не сможем контролировать, чем он может стать.

Сейчас мы видим, как некоторые большие компании сокращают этики ИИ и команды ответственной ИИ в рамках крупных сокращений. Остается только увидеть, насколько серьезно эти технологические гиганты относятся к технологии и насколько серьезно они рассматривают потенциальные последствия ИИ в своих решениях.

Есть ли что-то еще, что вы хотели бы поделиться о своей работе с SmartNews?

Я присоединился к SmartNews, потому что я верю в его миссию, миссия имеет определенное совершенство. Я сильно верю, что мир становится более поляризованным, и нет достаточно медиаграмотности сегодня, чтобы помочь бороться с этой тенденцией.

К сожалению, есть слишком много людей, которые принимают сообщения WhatsApp за чистую монету и верят в них безоговорочно. Это может привести к огромным последствиям, включая – и особенно – насилие. Все это сводится к тому, что люди не понимают, что они могут и не могут верить в то, что они потребляют. Если мы не образуем людей или не информируем их о том, как принимать решения о достоверности того, что они потребляют, если мы не вводим медиаграмотность, чтобы различать новости и фейковые новости, мы продолжим продвигать проблему и увеличивать проблемы, которые история научила нас не делать.

Одна из наиболее важных составляющих моей работы в SmartNews – это помочь снизить поляризацию в мире. Я хочу выполнить миссию основателя по улучшению медиаграмотности, где они могут понять, что они потребляют, и принимать обоснованные решения о мире и многих различных перспективах.

Спасибо за отличное интервью, читатели, которые хотят узнать больше или хотят попробовать другой тип новостного приложения, должны посетить SmartNews.