阿朱恩·纳拉扬，SmartNews 全球信任与安全负责人 – 采访系列

阿朱恩·纳拉扬，是SmartNews 的全球信任与安全负责人，他也是人工智能伦理和科技政策专家。 SmartNews 是一个新闻聚合应用，它使用人工智能和人类编辑团队来为读者聚合新闻。

您在帮助建立谷歌的信任与安全亚太区中心（位于新加坡）方面发挥了重要作用，您从这段经历中获得了哪些关键的经验教训?

当建立信任与安全团队时，国家级别的专业知识至关重要，因为滥用行为根据您所在的国家有很大差异。例如，谷歌产品在日本的滥用方式与在东南亚和印度的滥用方式不同。这意味着根据谁在滥用以及您所在的国家，滥用行为有很大差异；因此，没有同质性。这是我们早期学到的东西。
我还了解到，当在国外建立信任与安全团队时，文化多样性非常重要。在谷歌，我们确保招聘人员中有足够的文化多样性和对市场的理解。我们不仅寻找具有特定领域专业知识的人，还寻找具有语言和市场专业知识的人。
我还发现文化沉浸非常重要。当我们在边界内建立信任与安全团队时，我们需要确保我们的工程和商业团队能够沉浸其中。这有助于确保每个人都更接近我们试图管理的问题。为了实现这一点，我们与关键人员进行季度沉浸式会议，这有助于提高每个人的文化意识。
最后，跨文化理解非常重要。我曾在日本、澳大利亚、印度和东南亚管理团队，不同国家之间的互动方式差异很大。作为领导者，您希望确保每个人都能找到自己的声音。最终，这一切都是为了建立一个高绩效的团队，能够执行诸如信任与安全等敏感任务。

此前，您也曾在字节跳动的TikTok 应用信任与安全团队工作，如何有效地监控时长通常不超过一分钟的视频，以确保安全?

我想重新表述这个问题，因为视频的时长并不是我们评估视频安全性的一个因素。滥用并不取决于视频的时长。
当我想到滥用时，我认为滥用是“问题”。用户可能面临什么样的问题？虚假信息？错误信息？无论视频时长是1分钟还是1小时，仍然存在虚假信息的传播。
根据问题类型，我们开始思考政策执行和安全防护措施，以及如何保护弱势用户。例如，如果有一个视频显示有人自残，当我们收到通知时，我们必须迅速行动，因为有人可能会失去生命。我们依靠机器学习来检测此类内容。第一步是联系当局尝试拯救生命，其他事情都是次要的。之后，我们的目标是暂停该视频、直播或正在分享的内容格式。我们需要确保尽快减少对此类有害内容的曝露。
同样，如果是仇恨言论，我们会以不同的方式处理它。或者在欺凌和骚扰的情况下，真的取决于问题类型，我们会根据问题类型调整我们的执行选项和安全防护措施。另一个很好的安全防护措施是，我们实施了可以检测到有人在评论中写了不当内容的机器学习，并提示他们在发布之前三思。我们不会阻止他们，但我们希望人们在分享一些刻薄的话语之前会三思。
这归结为机器学习和关键词规则的结合。但是，对于直播，我们还需要人工审查员来审查由人工智能标记的直播，以便他们可以立即报告并实施协议。由于直播是实时发生的，我们不能仅仅依靠用户来报告，因此我们需要有人实时监控。

自2021年以来，您一直是SmartNews 的信任、安全和客户体验负责人。您能否讨论SmartNews 如何利用机器学习和自然语言处理来识别和优先考虑高质量的新闻内容?

核心概念是，我们有某些“规则”或机器学习技术，可以解析一篇文章或广告，并理解该文章的内容。
每当有违反我们“规则”的内容时，我们的机器学习算法会将该内容标记为人工审查员审查。然后，他们会根据我们的编辑价值观快速审查该文章，并判断其适当性或质量。之后，我们会采取行动来解决它。

SmartNews 如何使用人工智能来确保平台的安全、包容性和客观性?

SmartNews 的创立宗旨是，超个人化对自尊心有益，但也会通过强化偏见和将人们置于过滤泡沫中来使我们所有人两极分化。
SmartNews 使用人工智能的方式与其他公司不同，因为我们不仅仅是优化用户参与度。我们的算法希望理解您，但它不一定是超个人化地适应您的口味。这是因为我们相信拓宽视野。我们的人工智能引擎会向您介绍超出相邻概念的概念和文章。
我们的想法是，有些事情人们需要知道，这些事情是公共利益所必需的，还有一些事情人们需要知道，以拓宽他们的视野。我们试图平衡的是，在不像大哥哥一样的情况下，提供这些背景分析。有时人们可能不喜欢我们的算法将某些文章放入他们的信息流中。当这种情况发生时，人们可以选择不阅读该文章。然而，我们为我们的人工智能引擎能够促进偶然性、好奇心和其他东西而感到自豪。
在安全方面，SmartNews 有一个叫做“出版商评分”的东西，这是一个算法，旨在不断评估出版商是否安全。最终，我们希望确定出版商是否具有权威的声音。例如，我们都可以同意ESPN 是体育领域的权威。但是，如果某个随机博客复制ESPN 的内容，我们需要确保ESPN 的排名高于该随机博客。出版商评分还考虑了诸如原创性、文章发布时间、用户评论等因素。最终，这是一个我们考虑的多种因素的谱系。
有一件事比其他一切都重要，那就是“用户想要阅读什么？”如果用户想要查看点击诱饵文章，我们不会阻止他们，除非它是非法的或违反了我们的指南。我们不会强加于用户，但如果某些东西不安全或不适当，我们会在它进入信息流之前进行必要的审查。

您对记者使用生成式人工智能来协助制作内容的看法是什么?

我认为这是一个伦理问题，我们目前正在SmartNews 内部讨论。SmartNews 应该如何看待出版商提交由生成式人工智能创建的内容，而不是由记者撰写的内容？
我相信这列火车已经驶出了车站。今天，记者正在使用人工智能来增强他们的写作。这是一个规模的问题，我们没有足够的时间以商业上可行的速度生产文章，尤其是随着新闻机构继续裁员。问题变成了，创造力如何融入其中？文章是否经过记者的润色，还是记者完全依赖人工智能？
目前，生成式人工智能无法撰写关于突发新闻事件的文章，因为没有相关的训练数据。然而，它仍然可以为记者提供一个很好的通用模板。例如，学校枪击事件如此普遍，我们可以假设生成式人工智能可以为记者提供一个关于学校枪击事件的提示，记者可以插入受影响的学校名称以获得完整的模板。
从我在SmartNews 的工作来看，有两个原则我认为值得考虑。首先，我们希望出版商在提交由人工智能生成的内容时要坦率，并将其标记为人工智能生成的内容。这有助于人们在阅读文章时不会被误导，认为是人工智能写的。这种做法是最高层次的透明度。
其次，我们希望由人工智能生成的文章在事实上是正确的。我们知道，生成式人工智能在需要时会编造东西，因此，任何由生成式人工智能撰写的文章都需要由记者或编辑人员进行校对。

您以前曾主张科技平台应该团结起来，创建共同标准来对抗数字毒性，这个问题有多重要?

我相信这个问题至关重要，不仅仅是为了公司的道德运营，也是为了维护尊严和文明。在我看来，平台应该团结起来，制定某些标准来维护人类的尊严。例如，没有人应该被鼓励自杀，但在某些情况下，我们会在平台上发现这种滥用，我相信这是公司应该团结起来防止的。
最终，当涉及到人类的问题时，不应该有竞争。甚至不应该有谁是最干净或最安全的社区的竞争——我们都应该努力确保我们的用户感到安全和被理解。让我们在功能上竞争，而不是在剥削上竞争。

数字公司可以通过什么方式合作?

公司应该在存在共同价值观和合作可能性时团结起来。总会有公司和行业之间的交叉点，尤其是在打击滥用、确保平台文明或减少两极分化时。这些都是公司应该团结合作的时刻。
当然，还有商业角度的竞争，竞争通常是好的。它有助于确保公司的实力和差异化，并提供有效的解决方案，垄断无法保证。
但是，当涉及到保护用户、促进文明或减少滥用时，这些都是核心问题，关系到我们维护自由世界的能力。这些是我们需要做的事情，以保护我们所珍视的东西和使我们成为自由世界的价值观。在我看来，所有平台都有责任在捍卫人类价值观和自由世界的价值观方面进行合作。

您目前对负责任的人工智能有什么看法?

我们处于某些东西的开始，这些东西将在我们的生活中变得无处不在。生成式人工智能的下一个阶段是一个我们尚不完全理解或只能部分理解的问题。
当谈到负责任的人工智能时，开发强大的防护措施至关重要，否则我们可能会得到一个弗兰肯斯坦的怪物——生成式人工智能技术。我们需要花时间思考可能出错的所有事情。无论是算法中的偏见还是大型语言模型本身被坏人用来做坏事。
技术本身并不是好也不是坏，但它可以被坏人用来做坏事。这就是为什么投资时间和资源在人工智能伦理学家身上进行对抗性测试，以了解设计缺陷至关重要。这将帮助我们了解如何防止滥用，我认为这是负责任的人工智能最重要的方面。
因为人工智能还不能自主思考，我们需要聪明的人来建立默认设置，当人工智能被编程时。现在需要考虑的重要方面是时机——我们需要积极的行为现在就采取行动，在为时已晚之前。
与我们过去设计和构建的其他系统不同，人工智能不同，因为它可以自行迭代和学习。如果您不在人工智能学习时建立强大的防护措施，我们就无法控制它可能会变成什么。
目前，我们看到一些大公司在大规模裁员中解散了伦理委员会和负责人工智能的团队。尚待观察这些科技巨头如何认真对待这项技术，以及他们如何认真审查人工智能的潜在陷阱。

您是否还有其他关于您在SmartNews 的工作的想法想要分享?

我加入SmartNews 是因为我相信它的使命，这个使命具有某种纯粹性。我坚信世界变得越来越两极分化，今天没有足够的媒体素养来帮助对抗这种趋势。
不幸的是，有太多人把WhatsApp 消息当作福音，毫无批判地相信它们。这可能导致严重的后果，包括暴力。所有这些都归结为人们不了解他们可以相信什么和不能相信什么。
如果我们不教育人们，或告知他们如何判断所消费的内容的可信度，我们将继续倡导问题并增加历史上我们被教导不要做的事情。
我在SmartNews 的工作中最重要的组成部分是帮助减少世界的两极分化。我希望实现创始人的使命，提高媒体素养，以便人们能够理解他们所消费的内容，并对世界和多样化的观点形成明智的意见。
感谢这次精彩的采访，希望读者能够了解更多或尝试一种不同的新闻应用，请访问 SmartNews。