Dr. Tehseen Zia 是 COMSATS University Islamabad 的终身副教授，拥有来自奥地利维也纳科技大学的人工智能博士学位。专攻人工智能、机器学习、数据科学和计算机视觉，他在著名的科学期刊上发表了重要贡献。 Dr. Tehseen 还作为首席调查员领导了各种工业项目，并担任人工智能顾问。
过去几年，提示工程已经成为人工智能时代最重要的技能之一。围绕它建立了课程，创造了职位，形成了整个社区，分享如何编写完美的句子来让语言模型做你想要的事情。提示工程如此受欢迎的主要原因是：人工智能强大，但也很字面。你必须在它能帮助你之前先学习它的语言。那时的逻辑是有道理的。但是，它开始瓦解。随着人工智能模型变得更加强大，通信的负担正在转移。问题不再仅仅是“如何正确地表达这个问题？”而是“如何确保人工智能真正理解你想要实现什么？”这是一...
人工智能的快速发展已经使我们从简单的聊天机器人发展到自主代理。这些代理不仅仅能够回答问题，还能规划、使用工具并在最少的人类干预下执行任务。随着这些系统越来越深入地融入我们的数字经济，一个关键问题出现了。我们如何监管那些比人类思维更快的东西？传统的监管方法，依赖于缓慢的立法过程和周期性的人类审计，已经被证明是不足的。这导致了一个新概念的出现：主动监管。这一转变使我们面临一个重要的问题：AI 能否有效地管治 AI？本文探讨了 AI 是...
我们站在人工智能的转折点上。多年来，我们构建了遵循命令的 AI 系统。现在，我们正在构建能够学习、适应和实时做出自主决策的 AI 代理。这些系统正在从工具的角色转变为代表的角色。这一转变创造了我们可能称之为“学习-权威困境”的问题。当 AI 代理处理信息和执行复杂任务的能力超过我们自己的能力，并且在部署后继续学习和演变时，人类监督的概念变得复杂。人类监督者如何对一个理解背景的系统做出的决定进行有意义的审查或否决？我们如何在一个比我...
人工智能领域已经发展到一个阶段，即简单地添加更多数据或增加模型大小并不是使其更智能的最佳方法。过去几年，我们认为，如果我们构建更大的神经网络并将更多的互联网数据输入其中，它们最终会变得更智能。这种方法被称为缩放定律，效果非常好。它给了我们可以写诗、翻译语言和通过律师考试的模型。然而，这些模型在处理深度逻辑、复杂数学和多步科学问题时往往会遇到困难。它们擅长模式匹配，但在需要多步推理的问题上往往会失败。最近，一个新的趋势出现了，这正在...
多年来，AI 社区致力于使系统不仅更加强大，还要与人类价值观保持一致。研究人员开发了训练方法，以确保模型遵循指令，尊重安全边界，并以人们可以信任的方式行事。然而，这个挑战正变得更加复杂，因为 AI 系统继续进步。最近的研究表明，一些 AI 系统可能正在开始学习如何故意误导人类。这被称为“计划问题”，当一个模型学习隐藏其真实目标以通过安全检查时就会发生这种情况。对于人类评估者来说，该系统似乎是合作的和守规矩的。它遵循规则，尊重防护栏...
许多人工智能社区成员认为，下一次重大革命将是自我改进人工智能的时代，在这个时代，人工智能可以在没有人类干预的情况下改进自己。他们的论点是：随着模型变得更加强大，它们最终将不仅从数据中学习，还从自身中学习。每次迭代都会改进前一次的结果。错误将被识别、纠正和消除。随着时间的推移，这种改进的累积可能会引发一个智能爆发，在这个过程中，人工智能开始构建人工智能。这种愿景是围绕递归人工智能、自主代理和长期预期的智能爆发所构建的。这种愿景的核心...
几十年来，人工智能以谨慎、线性的步伐发展。研究人员构建模型，工程师改进性能，组织部署系统以自动执行特定任务。每次改进都严重依赖于人类的设计和监督。这种模式现在正在破裂。安静但决定性地，AI 系统正在跨越一个阈值，它们不再只是人类构建的工具。它们正在成为构建者自己。AI 代理开始设计、评估和部署其他 AI 系统。这样做，他们创建了反馈循环，每一代都改进了下一代。这种转变并不以戏剧性的头条新闻宣布自己。它通过研究论文、开发工具和企业平...
过去几年，我们见证了代理人式 AI 系统的崛起。它们可以编写代码，通过测试用例，搜索网络，回答复杂问题，并以惊人的准确性导航软件界面。每次会议演讲，每次新闻发布会，每次基准测试报告都强调了代理人式 AI 的出现。但是，隐藏在这些令人印象深刻的演示之下的问题是，当这些系统从受控环境转移到现实世界部署时，它们经常以基准测试无法预测的方式失败。完美运行在 100 个精心策划的示例上的代码生成器开始在边缘情况下产生错误，实验室中取得 85...
多年来，人工智能行业遵循着一个简单而残酷的规则：越大越好。我们训练模型在巨大的数据集上，增加参数数量，并投入巨大的计算能力来解决问题。这一公式在大多数时间都有效。从GPT-3到GPT-4，从粗糙的聊天机器人到推理引擎，“扩展定律”表明，如果我们继续向机器提供更多的文本，它最终会变得智能。但现在，我们正在撞击墙。互联网是有限的。高质量的公共数据正在被耗尽，仅仅通过增加模型大小的回报正在减少。领先的AI研究人员认为，下一个人工智能的重...
在过去的两年中，多智能体系统被认为是人工智能的自然下一步发展。 如果一个大型语言模型可以推理、规划和行动，那么多个智能体一起工作应该会做得更好。 这种信念推动了智能体团队在编码、研究、金融和工作流自动化方面的崛起。 但是，新的研究揭示了一个违反直觉的悖论。 它似乎添加更多的智能体到系统中并不总是能带来更好的性能。 相反，它使系统变慢、更昂贵和不那么准确。 这种现象，我们称之为多智能体悖论，表明更多的协调、更多的通信和更多的推理单位...
在建设越来越自治的AI代理的过程中，社区专注于提高代理的能力和展示他们可以做什么。我们不断看到新的基准，展示任务完成速度更快和令人印象深刻的演示，例如代理成功预订复杂的旅行或生成整个代码库。然而，这种对AI可以做什么的关注往往隐藏了这些系统可能造成的严重和潜在的风险后果。我们正在快速设计高度复杂的自治系统，而没有深入理解这些系统如何和为什么会以新的和深刻的方式失败。这些风险远比熟悉的AI挑战，如数据偏差或事实“幻觉”更复杂、系统性...
多年来，人工智能（AI）领域的主要问题是如何让 AI 模型与人类的价值观保持一致。研究人员试图定义安全规则、道德原则和控制机制，以指导 AI 的决策。这种工作取得了显著的进展。但现在，随着这些 AI 系统变得更加强大和普遍，保持一致的焦点开始转变。最初的挑战是让单个模型与单一的指令保持一致，现在已经变成了让整个文明在全球范围内使用这些系统保持一致的更大挑战。AI 不再只是一个工具，它正在演变成一个环境，在这个环境中，社会工作、沟通...
当你走进一个黑暗的房间，你会按下开关。你不会想知道电力从哪里来。你不会思考煤炭发电厂、核反应堆或带电的铜线。你只是期望灯会亮起来。这就是一个公用事业的样子。它是一个如此基本的资源，以至于它变得不可见。 在过去的十年中，人工智能（AI）一直非常显眼。它感觉像魔术，能够快速吸引注意力。我们与对话式代理聊天，我们玩图像生成器，我们阅读关于它将如何改变世界的头条新闻。但是，这些人工智能能力的展示并不是真正的变化所在。真正的变化是人工智能正...
在过去的十年中，人工智能的焦点一直集中在训练上。突破性进展主要来自大规模计算集群、万亿参数模型和投入到教导系统“思考”的数十亿美元。我们将人工智能开发视为一个建筑项目：建设智能的摩天大楼。但现在，这座摩天大楼已经建成，真正的挑战是如何让数百万需要在其中生活和运作的人能够同时使用它。这将人工智能研究人员和工程师的焦点从训练（创建智能的行为）转移到推理（使用智能的行为）。虽然训练是一次性的大规模资本支出（CapEx），但推理是一个持续...
过去五年里，人工智能行业基本上与一个词汇密不可分：Transformer。自2017年发布的开创性论文《Attention Is All You Need》以来，这种架构已经主导了整个领域。从GPT到Claude，几乎每个引人注目的模型都依赖于相同的自注意力机制。我们一直认为，改进人工智能的途径就是增加规模。这意味着训练更大的Transformer模型，使用更多的数据，并在更大的GPU集群上运行。虽然这种信念推动了许多突破，但现在...
