Арджун Нараян, руководитель глобальной команды доверия и безопасности для SmartNews – Интервью

Арджун Нараян, является руководителем глобальной команды доверия и безопасности для SmartNews – новостного агрегатора, он также является экспертом по этике ИИ и техполитике. SmartNews использует ИИ и команду человеческих редакторов для агрегации новостей для читателей.

Вы были инструментальными в помощи создать хаб доверия и безопасности Google в Азии и Тихом океане в Сингапуре, какие были некоторые ключевые уроки, которые вы выучили из этого опыта?

Когда мы строим команды доверия и безопасности, экспертиза на уровне страны имеет решающее значение, потому что злоупотребления очень khácны в зависимости от страны, которую вы регулируете. Например, способ, которым продукты Google были злоупотреблены в Японии, был khácным, чем в Юго-Восточной Азии и Индии. Это означает, что векторы злоупотребления очень khácны в зависимости от того, кто злоупотребляет, и в какой стране вы находитесь; поэтому нет однородности. Это было чем-то, что мы выучили рано.

Я также выучил, что культурное разнообразие невероятно важно при построении команд доверия и безопасности за рубежом. В Google мы обеспечили, чтобы было достаточно культурного разнообразия и понимания внутри людей, которых мы нанимали. Мы искали людей с конкретной экспертизой в области, но также с языковыми и рыночными знаниями.

Я также нашел культурное погружение невероятно важным. Когда мы строим команды доверия и безопасности через границы, нам нужно было обеспечить, чтобы наши инженерные и деловые команды могли погрузиться. Это помогает обеспечить, чтобы все были ближе к проблемам, которые мы пытались управлять. Чтобы сделать это, мы проводили квартальные сессии погружения с ключевым персоналом, и это помогло повысить культурный IQ всех.

Наконец, межкультурное понимание было так важно. Я управлял командой в Японии, Австралии, Индии и Юго-Восточной Азии, и способ, которым они взаимодействовали, был совершенно khácным. Как лидер, вы хотите обеспечить, чтобы все могли найти свой голос. В конечном итоге, все это предназначено для построения высокопроизводительной команды, которая может выполнить чувствительные задачи, такие как доверие и безопасность.

Ранее вы также были в команде доверия и безопасности с ByteDance для приложения TikTok, как видео, которые часто короче одной минуты, контролируются эффективно для безопасности?

Я хочу переформулировать этот вопрос немного, потому что это не имеет значения, является ли видео коротким или длинным. Это не является фактором, когда мы оцениваем безопасность видео, и длина не имеет реального веса на то, может ли видео распространять злоупотребления.

Когда я думаю о злоупотреблениях, я думаю об “проблемах”. Какие некоторые из проблем, с которыми пользователи уязвимы? Дезинформация? Фейковая информация? Независимо от того, является ли видео 1 минутой или 1 часом, все равно существует дезинформация, которая распространяется, и уровень злоупотребления остается сравнимым.

В зависимости от типа проблемы вы начинаете думать о политике обеспечения безопасности и охране, и как вы можете защитить уязвимых пользователей. Например, скажем, есть видео, на котором кто-то совершает самоубийство. Когда мы получаем уведомление, что это видео существует, мы должны действовать с срочностью, потому что кто-то может потерять жизнь. Мы полагаемся много на машинное обучение, чтобы сделать этот тип обнаружения. Первый шаг всегда – связаться с властями, чтобы попытаться спасти эту жизнь, ничего не является более важным. Оттуда мы стремимся приостановить видео, прямую трансляцию или любой формат, в котором оно распространяется. Мы должны обеспечить, чтобы мы минимизировали воздействие на этот тип вредного контента как можно скорее.

Аналогичным образом, если это речь ненависти, есть разные способы распаковать это. Или в случае буллинга и преследования, это действительно зависит от типа проблемы, и в зависимости от этого мы бы скорректировали наши варианты обеспечения безопасности и охраны. Другим примером хорошей охраны является то, что мы реализовали машинное обучение, которое может обнаружить, когда кто-то пишет что-то неуместное в комментариях, и предоставить подсказку, чтобы заставить их дважды подумать, прежде чем опубликовать этот комментарий. Мы не остановили бы их обязательно, но наша надежда была в том, что люди подумают дважды, прежде чем поделиться чем-то злым.

Все сводится к комбинации машинного обучения и правил ключевых слов. Но когда речь идет о прямых трансляциях, у нас также были человеческие модераторы, которые просматривали эти трансляции, которые были помечены ИИ, чтобы они могли сообщить немедленно и реализовать протоколы. Потому что они происходят в реальном времени, это не достаточно полагаться на пользователей, чтобы сообщить, поэтому нам нужно иметь людей, которые контролируют в реальном времени.

С 2021 года вы являетесь руководителем доверия, безопасности и опыта клиентов в SmartNews, новостном агрегаторе. Можете ли вы обсудить, как SmartNews использует машинное обучение и обработку естественного языка, чтобы выявить и расставить приоритеты высококачественного контента новостей?

Центральная концепция заключается в том, что у нас есть определенные “правила” или технология машинного обучения, которая может проанализировать статью или рекламу и понять, о чем это.

Когда есть что-то, что нарушает наши “правила”, скажем, что-то является фактически неправильным или вводящим в заблуждение, у нас есть машинное обучение, которое помечает этот контент для человеческого рецензента в нашей редакционной команде. На этом этапе рецензент понимает наши редакционные ценности и может быстро просмотреть статью и принять решение о ее уместности или качестве. Оттуда принимаются меры, чтобы решить эту проблему.

Как SmartNews использует ИИ, чтобы обеспечить, что платформа является безопасной, инклюзивной и объективной?

SmartNews был основан на предпосылке, что гиперперсонализация хороша для эго, но также поляризует нас всех, укрепляя предубеждения и помещая людей в фильтр-пузырь.

Способ, которым SmartNews использует ИИ, немного отличается, потому что мы не исключительно оптимизируем для вовлеченности. Наша алгоритмическая система хочет понять вас, но она не обязательно гиперперсонализируется к вашему вкусу. Это потому, что мы верим в расширение перспектив. Наша алгоритмическая система введет вас в концепции и статьи за пределами смежных концепций.

Идея заключается в том, что есть вещи, которые люди должны знать в общественных интересах, и есть вещи, которые люди должны знать, чтобы расширить свою сферу. Баланс, который мы пытаемся найти, – это предоставление этих контекстуальных анализов без того, чтобы быть большим братом. Иногда люди не будут любить вещи, которые наша алгоритмическая система помещает в их ленту. Когда это происходит, люди могут выбрать не читать эту статью. Однако мы гордимся способностью нашей алгоритмической системы продвигать серендипность, любопытство, что бы вы ни называли.

На стороне безопасности SmartNews имеет что-то, называемое “Индексом издателя”, это алгоритм, предназначенный для постоянной оценки того, является ли издатель безопасным или нет. В конечном итоге мы хотим установить, имеет ли издатель авторитетный голос. Например, мы все коллективно можем согласиться, что ESPN является авторитетом в спорте. Но если вы случайный блог, копирующий контент ESPN, нам нужно обеспечить, чтобы ESPN занимал более высокий рейтинг, чем этот случайный блог. Индекс издателя также учитывает факторы, такие как оригинальность, когда статьи были опубликованы, как выглядят отзывы пользователей и т. д. Это в конечном итоге спектр многих факторов, которые мы учитываем.

Одна вещь, которая превосходит все, – это “Что хочет читать пользователь?” Если пользователь хочет просматривать кликбейт-статьи, мы не остановим их, если это не является незаконным или не нарушает наши руководства. Мы не навязываем пользователям, но если что-то является небезопасным или неуместным, мы выполняем свою работу, прежде чем что-то попадет в ленту.

Каково ваше мнение о журналистах, использующих генеративный ИИ, чтобы помочь им производить контент?

Я считаю, что этот вопрос является этическим, и это то, что мы сейчас обсуждаем здесь в SmartNews. Как SmartNews должен рассматривать издателей, которые представляют контент, сформированный генеративным ИИ, вместо того, чтобы журналисты писали его?

Я считаю, что этот поезд официально ушел. Сегодня журналисты используют ИИ, чтобы дополнить свое написание. Это функция масштаба, у нас нет времени в мире, чтобы производить статьи в коммерчески жизнеспособной скорости, особенно когда новостные организации продолжают сокращать персонал. Вопрос тогда становится, сколько творчества вкладывается в это? Отшлифована ли статья журналистом? Или журналист полностью зависим?

На этом этапе генеративный ИИ не может написать статьи о событиях, связанных с новостями, потому что нет обучающих данных для этого. Однако он может дать журналисту хорошую генерическую шаблон, чтобы сделать это. Например, школьные стрельбы так распространены, мы могли бы предположить, что генеративный ИИ может дать журналисту подсказку о школьных стрельбах, и журналист может вставить школу, которая была затронута, чтобы получить полный шаблон.

С моей точки зрения, работая с SmartNews, есть два принципа, которые, я думаю, стоят рассмотрения. Во-первых, мы хотим, чтобы издатели были открытыми в том, чтобы сказать нам, когда контент был сгенерирован ИИ, и мы хотим пометить его как таковой. Таким образом, когда люди читают статью, они не вводятся в заблуждение о том, кто написал статью. Это прозрачность высшего порядка.

Во-вторых, мы хотим, чтобы эта статья была фактически правильной. Мы знаем, что генеративный ИИ склонен выдумывать вещи, когда он хочет, и любая статья, написанная генеративным ИИ, должна быть проверена журналистом или редакционной командой.

Ранее вы утверждали, что технологические платформы должны объединиться и создать общие стандарты, чтобы бороться с цифровой токсичностью, насколько важна эта проблема?

Я считаю, что эта проблема имеет решающее значение, не только для того, чтобы компании работали этично, но и чтобы поддерживать уровень достоинства и цивилизованности. По моему мнению, платформы должны объединиться и разработать определенные стандарты, чтобы поддерживать эту человечность. Например, никто никогда не должен быть поощрен к тому, чтобы лишить себя жизни, но в некоторых ситуациях мы находим этот тип злоупотребления на платформах, и я считаю, что это то, против чего компании должны объединиться, чтобы защитить.

В конечном итоге, когда речь идет о проблемах человечества, не должно быть конкуренции. Не должно быть даже конкуренции на то, кто является самым чистым или безопасным сообществом – мы все должны стремиться обеспечить, чтобы наши пользователи чувствовали себя в безопасности и понимали. Давайте будем конкурировать на функциях, а не эксплуатации.

Какие есть способы, которыми цифровые компании могут работать вместе?

Компании должны объединиться, когда есть общие ценности и возможность сотрудничества. Есть всегда пространства, где есть пересечение между компаниями и отраслями, особенно когда речь идет о борьбе с злоупотреблениями, обеспечении цивилизованности на платформах или снижении поляризации. Это моменты, когда компании должны работать вместе.

Есть, конечно, коммерческий угол конкуренции, и обычно конкуренция полезна. Она помогает обеспечить силу и дифференциацию между компаниями и доставляет решения с уровнем эффективности, который монополии не могут гарантировать.

Но когда речь идет о защите пользователей или продвижении цивилизованности, или снижении векторов злоупотребления, это темы, которые являются основными для нас, чтобы сохранить свободный мир. Это то, что мы должны делать, чтобы обеспечить защиту того, что является священным для нас, и нашей человечности. По моему мнению, все платформы имеют ответственность сотрудничать в защите человеческих ценностей и ценностей, которые делают нас свободным миром.

Каково ваше текущее мнение о ответственной ИИ?

Мы находимся на начальном этапе чего-то очень проникающего в нашу жизнь. Этот следующий этап генеративного ИИ – это проблема, которую мы не полностью понимаем или можем только частично понять на этом этапе.

Когда речь идет об ответственной ИИ, это невероятно важно, что мы разработаем сильные охраны, или мы можем оказаться с монстром Франкенштейна технологий генеративного ИИ. Нам нужно потратить время на то, чтобы подумать о всем, что может пойти не так. Будет ли это предвзятость, проникающая в алгоритмы, или большие языковые модели сами по себе используются неправильными людьми для совершения злых дел?

Технология сама по себе не является хорошей или плохой, но она может быть использована плохими людьми, чтобы делать плохие вещи. Это почему инвестиции времени и ресурсов в этики ИИ, чтобы выполнять тестирование противников, чтобы понять конструктивные недостатки, так важно. Это поможет нам понять, как предотвратить злоупотребления, и я думаю, что это, вероятно, самый важный аспект ответственной ИИ.

Потому что ИИ еще не может думать самостоятельно, нам нужно умные люди, которые могут построить эти значения, когда ИИ запрограммирован. Важный аспект, который следует учитывать сейчас, – это время – нам нужно, чтобы эти положительные акторы делали эти вещи СЕЙЧАС, прежде чем будет слишком поздно.

В отличие от других систем, которые мы проектировали и строили в прошлом, ИИ отличается, потому что он может итерироваться и учиться самостоятельно, поэтому если вы не установите сильные охраны на то, что и как он учится, мы не можем контролировать, чем он может стать.

Сейчас мы видим, как некоторые большие компании сокращают этики и команды ответственной ИИ в рамках крупных сокращений. Остается быть увиденным, насколько серьезно эти технологические гиганты относятся к технологии и насколько серьезно они рассматривают потенциальные недостатки ИИ в процессе принятия решений.

Есть ли что-то еще, что вы хотели бы поделиться о своей работе с SmartNews?

Я присоединился к SmartNews, потому что я верю в его миссию, миссия имеет определую чистоту. Я твердо верю, что мир становится более поляризованным, и нет достаточно медиа-грамотности сегодня, чтобы помочь бороться с этой тенденцией.

К сожалению, есть слишком много людей, которые принимают сообщения WhatsApp за Евангелие и верят в них на веру. Это может привести к огромным последствиям, включая – и особенно – насилие. Все это сводится к тому, что люди не понимают, что они могут и не могут верить.

Если мы не образуем людей или не информируем их о том, как принимать решения о достоверности того, что они потребляют. Если мы не вводим медиа-грамотность, чтобы различать новости и фейковые новости, мы продолжим пропагандировать проблему и увеличивать проблемы, которые история научила нас не делать.

Одной из наиболее важных составляющих моей работы в SmartNews является помощь в снижении поляризации в мире. Я хочу выполнить миссию основателя по улучшению медиа-грамотности, где они могут понять, что они потребляют, и принимать обоснованные решения о мире и многих различных перспективах.

Спасибо за отличное интервью, читатели, которые хотят узнать больше или хотят попробовать другой тип новостного приложения, должны посетить SmartNews.