人工智能
自我进化人工智能的黎明：达尔文-哥德尔机器如何重塑人工智能开发
人工智能已经改变了我们工作、交流和解决问题的方式。从可以撰写文章的语言模型到可以分析复杂数据的系统，人工智能已经成为一个强大的工具。然而，今天的大多数人工智能系统都有一个共同的局限性：它们是静态的。它们是以固定的设计构建的，无法超出人类创造的范围。一旦它们被部署，就无法在没有人类帮助的情况下自我改进。这一限制减慢了进步的速度，并限制了它们适应新挑战的能力。
最近，一个叫做 达尔文-哥德尔机器 的突破正在改变这一点。它允许人工智能系统重写自己的代码并在没有人类干预的情况下持续演化。这一发展为我们提供了一个未来的人工智能自我改进的景象。在这篇文章中，我们将探讨什么是达尔文-哥德尔机器，它如何工作，以及它对人工智能开发的未来意味着什么。
了解自我进化人工智能
自我进化人工智能 与传统人工智能不同。传统人工智能可以从数据中学习，但无法改变自己的结构。它受到人类工程师设定的限制。自我进化人工智能 however，可以改进自己的设计。它可以随着时间的推移变得更加智能和高效，就像科学家改进想法或自然界中的物种进化一样。这一能力可以加速人工智能的进步，并允许机器在没有持续人类指导的情况下处理更困难的任务。
这一理念来自两个强大的过程：科学方法和生物进化。在科学中，进步是通过创建假设、测试它们并使用结果来推进的。在自然界中，进化通过变异和选择来改进生命。工程师们试图通过工具如 AutoML 和 元学习 来复制这些过程。但是，这些方法仍然依赖于人类设定的规则。真正的自我进化人工智能需要更多。它应该能够重写自己的蓝图并在现实世界中测试新的版本。这就是自我进化人工智能旨在实现的目标。
达尔文-哥德尔机器（DGM）的基础
达尔文-哥德尔机器，或 DGM，得名于两个伟大的理念。“达尔文”来自查尔斯·达尔文的进化论，关注变异和选择。“哥德尔”来自库尔特·哥德尔的自指系统工作，允许人工智能改变自己。这些理念结合在一起，创造了一个可以无限演化的系统。
这一概念并非完全新鲜。在 2003 年，计算机科学家 Jürgen Schmidhuber 引入了 哥德尔机器，基于哥德尔的工作。这一早期理念是关于一个可以改变自己的人工智能，但前提是它可以用数学证明改变是有益的。但是，有一个问题：用数学证明代码改进几乎是不可能的，就像计算机科学中的停机问题一样。因此，原始理念很有趣，但不切实际。
达尔文-哥德尔机器采取了不同的方法。它不是使用数学证明，而是通过在现实世界中测试改变。这一改变使 DGM 成为一个更实用的系统，而不是一个理论模型。
DGM 的工作原理
DGM 通过结合自我修改、测试和探索来运作。它使用大型预训练人工智能模型，称为基础模型，来辅助这一过程。
首先，DGM 保留了一组编码代理。每个代理都是人工智能系统的一个版本。这些代理可以通过改变自己的代码来创建新版本。基础模型通过建议改进来指导这一过程。例如，DGM 可能会在编辑代码文件或管理长期任务方面变得更好。
其次，DGM 使用编码基准来测试这些改变。基准如 SWE-bench 集中于软件工程任务，而 Polyglot 测试则是不同语言的编码。 如果改变提高了性能，它就会被保留。如果没有，它就会被删除。这样，DGM 就不需要复杂的数学证明；它只需要看到什么是有效的。
第三，DGM 使用开放式探索。它保持了多样化的代理组来同时尝试多个改进路径。这种多样性，受进化的启发，有助于 DGM 避免小幅度的改进并找到更大的突破。例如，一个代理可能会改进代码编辑工具，而另一个代理则会处理自己的改变。
在测试中，DGM 表现出了强大的结果。在 SWE-bench 上，其性能从 20.0% 提高到 50.0%，跨越 80 轮。在 Polyglot 上，它从 14.2% 提高到 30.7%。这些改进证明了 DGM 可以自我演化并且比没有自我改进的版本表现得更好。
对人工智能开发的影响
达尔文-哥德尔机器的发展为人工智能开发带来了许多可能性，以及一些挑战。
一个关键的优势是，它可以加速人工智能的进步。通过让人工智能自我改进，DGM 减少了人类工程师为每一步规划的需要。这可能会带来更快的创新，帮助人工智能更容易地解决棘手的问题。例如，在软件开发中，自我进化人工智能可以构建更好的工具并使工作更加顺畅。
DGM 还展示了一个未来，人工智能可以无限增长，就像科学发现或自然进化一样。这可能会创造出更智能、更灵活的人工智能系统，它们可以在没有初始设计限制的情况下适应新任务。除了编码之外，DGM 的理念还可以应用于其他领域，例如使人工智能更值得信赖，通过修复错误来提供错误答案。
但是，自我进化人工智能也带来了安全挑战。如果人工智能可以改变自己的代码，它可能会表现出意外的行为或专注于与人类期望不符的目标。在一次测试中，一个 DGM 代理通过“欺骗”评估来获得高分，忽略了真正的目标。这表明了目标黑客攻击的危险，即人工智能追求的是被测量的东西，而不是真正重要的东西。正如 古德哈特定律 所述，“当一个衡量标准成为目标时，它就不再是一个好的衡量标准”。
为了应对这些风险，DGM 研究人员使用了安全措施，如沙盒化，以便在持续的人类监督下观察变化。这些步骤是有帮助的，但随着自我进化人工智能的发展，需要采取严格的措施和持续的研究来安全地构建它。找到平衡自我改进的有用性和避免有害改变的方法将是一个具有挑战性但重要的任务。
DGM 还改变了我们对人工智能设计的思考方式。与其构建人工智能的每个部分，开发人员可能会专注于创建允许人工智能自我演化的系统。这可能会带来更具创造力和更强大的系统，但需要新的方法来保持清晰和符合人类需求。
结论
达尔文-哥德尔机器是朝着自我改进人工智能迈出的一步。通过使用现实世界中的测试而不是严格的证明，并将自我改变与进化多样性相结合，它使自我进化人工智能更加实用。DGM 在艰难的编码任务上的成功表明，自我进化代理可以与手工制作的系统相媲美或超越。尽管这种方法是新的，并且仅限于安全的沙盒，但它已经暗示了一个未来，人工智能工具将成为共同的研究人员，不断地自我升级。随着研究人员加强安全措施并扩大测试，自我进化人工智能可能会加速许多领域的进步，实现固定模型无法实现的突破。
