阿俊·纳拉扬，SmartNews 全球信任和安全负责人 – 采访系列

阿俊·纳拉扬，是SmartNews的全球信任和安全负责人，SmartNews是一款新闻聚合应用。他也是人工智能伦理和科技政策专家。SmartNews使用人工智能和人类编辑团队来聚合新闻内容供读者阅读。

您在帮助建立谷歌的信任和安全亚太中心（位于新加坡）方面发挥了重要作用，您从这次经历中得到了什么关键的教训?

建立信任和安全团队时，国家级别的专业知识至关重要，因为滥用行为在不同国家会有很大差异。例如，谷歌产品在日本的滥用方式与在东南亚和印度的滥用方式不同。这意味着滥用行为的类型会根据谁在滥用和您所在的国家而有很大差异；因此，没有同质性。这是我们早期学到的东西。

我还了解到文化多样性在建立信任和安全团队时非常重要。在谷歌，我们确保团队中有足够的文化多样性和对不同市场的理解。我们正在寻找具有特定领域专业知识的人，同时也需要语言和市场专业知识。

我还发现文化沉浸非常重要。当我们在不同国家建立信任和安全团队时，我们需要确保我们的工程和商业团队能够沉浸在当地文化中。这有助于确保每个人都更接近我们试图管理的问题。为了实现这一点，我们每季度都会与关键人员进行沉浸式培训，这有助于提高每个人的文化智商。

最后，跨文化理解非常重要。我曾在日本、澳大利亚、印度和东南亚管理团队，不同国家的团队之间的互动方式差异很大。作为领导者，您希望确保每个人都能找到自己的声音。最终，这一切都是为了建立一个高绩效团队，可以执行像信任和安全这样敏感的任务。

此前，您也曾在字节跳动的TikTok应用程序的信任和安全团队工作，如何有效地监控短视频（通常短于一分钟）的安全性?

我想重新表述这个问题，因为视频的长度并不是评估视频安全性的关键因素。视频的长度并不会影响其传播滥用的可能性。

当我想到滥用时，我认为滥用是“问题”。用户容易受到什么样的问题的影响？虚假信息？错误信息？无论视频是一分钟还是一小时长，仍然存在虚假信息的传播，滥用的程度仍然相似。

根据问题的类型，我们会思考如何执行政策和安全防护措施来保护用户。例如，如果有一个自残的视频，我们会立即采取行动，因为有人可能会失去生命。我们依靠机器学习来检测此类内容。第一步是联系当局尝试拯救生命，之后我们会暂停视频、直播或其他形式的内容，以尽量减少对此类有害内容的曝露。

同样，如果是仇恨言论，我们会有不同的方法来处理。或者在欺凌和骚扰的情况下，会根据问题的类型调整我们的执行措施和安全防护措施。我们实施了机器学习，可以检测到用户在评论中写入不当内容，并提示他们三思而后行。我们不会阻止他们，但希望他们在分享有害内容之前会三思而后行。

这归结为机器学习和关键词规则的结合。但是，对于直播，我们还会有人类审查员实时审查由AI标记的直播，以便他们可以立即报告和实施协议。因为直播是实时发生的，所以我们不能仅仅依靠用户报告。

自2021年以来，您一直是SmartNews的信任、安全和客户体验负责人。您能否讨论一下SmartNews如何利用机器学习和自然语言处理来识别和优先考虑高质量的新闻内容?

核心概念是我们有特定的“规则”或机器学习技术，可以解析一篇文章或广告，并理解其内容。

每当有违反我们“规则”的内容时，我们会使用机器学习标记该内容，并将其提交给我们的编辑团队进行审查。编辑团队会根据我们的编辑价值观快速审查该文章，并对其质量或适当性做出判断。然后，我们会采取行动来解决问题。

SmartNews如何使用人工智能来确保平台的安全、包容和客观?

SmartNews的创立宗旨是，超个人化对自尊很好，但也会使我们所有人都变得两极分化，强化偏见，并将人们置于过滤泡沫中。

SmartNews使用人工智能的方式与其他公司不同，因为我们不仅仅优化用户的参与度。我们的算法旨在了解用户，但不一定是超个人化地满足他们的口味。这是因为我们相信拓宽视野。我们的AI引擎会向用户介绍超出他们当前兴趣的概念和文章。

我们的目标是提供上下文分析，而不至于过于控制。有时，用户可能不喜欢我们的算法推荐的文章，但他们可以选择不阅读。我们为我们的AI引擎能够促进偶然发现、好奇心和探索而感到自豪。

在安全方面，SmartNews有一个“出版商评分”系统，这是一个算法，持续评估出版商是否安全。最终，我们希望确定出版商是否具有权威的声音。例如，我们都同意ESPN是体育领域的权威。但如果是一个随机的博客复制ESPN的内容，我们需要确保ESPN的排名高于那个博客。出版商评分还考虑了原创性、文章发布时间、用户评论等因素。这是一个多因素的评估。

最重要的是，用户想要阅读什么？如果用户想要阅读点击诱饵文章，我们不会阻止他们，除非它是非法或违反我们的指南。我们不会强加于用户，但如果内容不安全或不适当，我们会在内容出现在用户的信息流之前进行必要的审查。

您对记者使用生成式人工智能来协助内容创作的看法是什么?

我认为这是一个伦理问题，也是我们目前正在SmartNews内部讨论的问题。我们应该如何看待出版商提交由生成式人工智能创建的内容，而不是由记者撰写的内容？

我认为这列火车已经开动。今天，记者正在使用人工智能来增强他们的写作。这是一个规模的问题，我们没有足够的时间来以商业上可行的速度生产文章，尤其是当新闻机构继续裁员时。问题变成了，创造力在哪里？文章是否经过记者的润色？还是记者完全依赖人工智能?

目前，生成式人工智能还无法撰写关于突发新闻事件的文章，因为没有相关的训练数据。然而，它可以为记者提供一个很好的通用模板。例如，学校枪击事件非常常见，生成式人工智能可以为记者提供一个关于学校枪击事件的提示，记者可以插入受影响的学校名称来获得完整的模板。

从我在SmartNews的工作来看，有两个原则我认为是值得考虑的。首先，我们希望出版商在提交由人工智能生成的内容时保持透明，并将其标记为人工智能生成的内容。这有助于确保读者在阅读文章时不会被误导。第二，我们希望确保由人工智能生成的文章在事实上是正确的。我们知道人工智能倾向于编造内容，所以任何由人工智能生成的文章都需要由记者或编辑人员进行事实核查。

您以前曾主张科技平台应该联合起来，制定共同标准来对抗数字毒性，这个问题有多重要?

我认为这个问题至关重要，不仅仅是为了公司的道德运营，也是为了维护人类的尊严和文明。在我的看法中，平台应该联合起来，制定某些标准来维护人类的尊严。例如，平台不应该鼓励用户自杀，这种滥用在某些情况下会在平台上发生，我认为公司应该联合起来防止这种滥用。

最终，当谈到人类问题时，竞争是不应该存在的。即使在安全社区方面，也不应该存在竞争。我们应该共同努力，确保用户感到安全和被理解。让我们在功能上竞争，而不是在剥削上竞争。

数字公司可以通过什么方式合作?

当公司有共同的价值观和合作的可能性时，公司应该联合起来。特别是在打击滥用、确保平台上的文明和减少两极分化等问题上，公司之间总会有交集。

当然，竞争有其商业角度，竞争通常是有益的，因为它可以带来实力和差异化，并提供有效的解决方案，垄断无法保证。然而，当谈到保护用户、促进文明或减少滥用时，这些是核心问题，需要公司合作来保护人类的价值观和自由世界的价值观。

您目前对负责任的人工智能的看法是什么?

我们正处于人工智能发展的初期阶段，人工智能将会深刻影响我们的生活。下一阶段的生成式人工智能是一个我们尚未完全理解的问题，我们需要花时间思考可能出错的事情。

在负责人工智能方面，开发强大的防护措施至关重要，否则我们可能会创造出一个弗兰肯斯坦的怪物。我们需要花时间思考可能出错的事情，例如算法中的偏见或大型语言模型被错误的人用于恶意目的。

技术本身并不是好也不是坏，但它可以被坏人用来做坏事。这就是为什么投资时间和资源来进行对抗性测试，以了解设计缺陷并防止滥用至关重要。同时，也需要有聪明的人来建立默认设置，以防止人工智能被滥用。

因为人工智能还无法独立思考，我们需要聪明的人来建立默认设置，以防止人工智能被滥用。现在，我们看到一些大公司在裁员中解散了人工智能伦理和负责人工智能团队，这让人质疑这些科技巨头是否真正重视人工智能技术和潜在的陷阱。

您还想分享关于您在SmartNews工作的其他内容吗?

我加入SmartNews，因为我相信它的使命。这个使命有着某种纯粹性。我坚信世界变得越来越两极分化，目前缺乏足够的媒体素养来对抗这种趋势。

不幸的是，太多人把WhatsApp消息当作福音，照单全收，这可能会导致严重的后果，包括暴力。所有这些都归结为人们不理解他们可以相信什么和不能相信什么。

如果我们不教育人们，或者不告诉他们如何判断所消费内容的可信度，我们就会继续助长问题，增加历史上已经教会我们不应做的事情。如果我们不提高媒体素养，教人们如何区分新闻和虚假新闻，我们就会继续助长问题。

我在SmartNews工作的最重要组成部分是帮助减少世界的两极分化。我想实现创始人的使命，提高媒体素养，让人们能够理解他们所消费的内容，并对世界和多元化的观点形成明智的意见。

感谢这次精彩的采访，希望读者能够通过访问SmartNews来了解更多信息或尝试不同的新闻应用程序。