通用人工智能
OpenAI 的新计划:引导超级智能 AI 朝正确方向发展

OpenAI,一家领先的人工智能领域公司,最近宣布成立一个专门的团队来管理与超级智能 AI 相关的风险。这一举动发生在各国政府正在讨论如何监管新兴 AI 技术的时候。
了解超级智能 AI
超级智能 AI 指的是假设的 AI 模型,它们在多个领域超过了最有天赋和最聪明的人类,不仅仅是在某个单一领域像之前的几代模型一样。OpenAI 预测,这样的模型可能会在本世纪末之前出现。该组织认为,超级智能可能是人类发明的最有影响力的技术,可能帮助我们解决许多世界上最紧迫的问题。然而,超级智能的巨大力量也可能带来重大风险,包括可能削弱人类甚至导致人类灭绝。
OpenAI 的 Superalignment 团队
为了解决这些问题,OpenAI 成立了一个新的 ‘Superalignment’ 团队,由 OpenAI 首席科学家 Ilya Sutskever 和研究实验室的对齐负责人 Jan Leike 共同领导。该团队将可以使用 OpenAI 目前获得的 20% 的计算能力。他们的目标是开发一个自动对齐研究人员系统,该系统可以帮助 OpenAI 确保超级智能是安全使用和符合人类价值观的。
虽然 OpenAI 承认,这是一个非常雄心勃勃的目标,成功并不能保证,但该组织仍然保持乐观。初步实验显示出希望,且可用的进展指标越来越有用。另外,当前的模型可以用于研究这些问题的许多方面。
监管的必要性
Superalignment 团队的成立发生在各国政府正在考虑如何监管新兴 AI 行业的时候。OpenAI 的 CEO Sam Altman最近几个月已经会见了至少 100 名联邦立法者。Altman 公开表示,AI 监管是“必不可少的”,OpenAI “渴望”与政策制定者合作。
然而,面对这样的声明,我们需要带有一定的怀疑态度。通过关注可能永远不会实现的假设风险,像 OpenAI 这样的组织可能会将监管的负担转移到未来,而不是解决今天 AI 和劳动力、虚假信息和版权等问题,这些问题需要政策制定者今天就解决。
OpenAI 成立一个专门的团队来管理超级智能 AI 风险的计划是一个朝正确方向迈出的一大步。它强调了在解决先进 AI 带来的潜在挑战方面采取主动措施的重要性。随着我们继续应对 AI 发展和监管的复杂性,这样的计划提醒我们需要采取一种平衡的方法,一方面发挥 AI 的潜力,另一方面也要防范其风险。












