为什么竞赛正在成为测试人工智能的新标准

多年来，像 ImageNet 这样的计算机视觉基准和 GLUE 这样的自然语言处理基准一直是评估人工智能的主要工具。它们提供了一种简单的方法来跟踪进度和比较不同的模型。但是，随着人工智能系统的进步，许多这些基准已经达到饱和，模型达到或甚至超过人类级别的性能。这一挑战提出了新的方法来更好地测试人工智能的能力。为了应对这一挑战，研究人员现在正在转向竞赛作为一种替代方法来评估人工智能。与依赖固定数据集不同，人工智能模型现在通过棋类游戏、编程竞赛、数学奥林匹克、电子竞技和机器人挑战来进行评估。在这些环境中，模型必须适应、推理和创造策略来面对新的问题和对手。本文考察了传统基准的局限性，并强调了竞赛如何作为一种新的标准出现，以评估人工智能。

为什么传统基准不足

传统基准已经指导了人工智能的发展几十年。它们提供了一种标准化的方法来比较人工智能模型的性能。这些数据集包含固定输入和明确的目标，这使得研究人员能够以一种简单的方式比较不同的方法。一个性能更好的模型被认为是更有能力的。

然而，随着人工智能系统变得更加强大，这些基准已经暴露了根本的局限性。最明显的问题是基准饱和。当模型达到完美或接近完美的分数时，测试就失去了区分更强和更弱模型的能力。 研究表明 ，许多基准很快就会达到饱和，这一趋势在近年来变得更加普遍。

数据污染呈现了另一个 挑战 。许多基准实例都可以在网上找到，并可能已被包含在训练数据集中。当一个模型解决一个问题时，它可能是在回忆它在训练过程中已经看到的答案。这就创造了一个没有真正推理能力的智能幻觉。

一些研究人员试图通过使用人类评估来解决这个问题。虽然它增加了细微差别，但人类评估也带来了 主观性和偏见 。这些评估也耗时、昂贵，并且难以扩展到多个模型。这些局限性创造了对能够跟上迅速进步的人工智能能力的评估方法的迫切需求。

为什么竞赛提供了一种更好的方法

竞赛提供了一种动态的测试环境，解决了传统基准的许多缺点。它们提供了明确的规则、明确的目标和可衡量的结果，这些结果不依赖于主观解释。成功由透明的结果决定，任何人都可以验证。

竞赛的最显著优势是其自然的难度扩展能力。随着人工智能的进步，挑战自动变得更加困难。在游戏中，强大的模型面对更复杂的对手。在数学竞赛中，问题变得更加复杂。在编程竞赛中，算法挑战变得更加严峻。这种自我扩展的特性确保了评估在技术进步的同时仍然相关。

竞赛还需要多样化的认知技能。策略游戏需要长期规划和对手建模。数学奥林匹克测试创造性问题解决和严格推理。编程竞赛评估算法思维和实现技能。现实世界的挑战，如 Kaggle 竞赛，评估各个领域的实际问题解决能力。

最重要的是，竞赛允许直接与人类性能比较。这一特性提供了一个有意义的参考点，静态基准无法提供。当人工智能系统参加国际数学奥林匹克或与国际象棋大师对战时，我们可以洞察机器智能与人类能力的比较。

竞赛评估的透明度还使得更深入的分析成为可能。游戏中的每一步，数学证明中的每一步，代码中的每一行都可以被检查，以了解人工智能系统如何解决问题。这一开放性将评估从简单的评分转变为理解决策过程的窗口。

竞赛中的人工智能例子

通过竞赛评估人工智能并不是一个新想法。2016 年， DeepMind 的 AlphaGo 击败了围棋世界冠军李世石，其后继者 AlphaZero 击败了现任 计算机冠军 Stockfish ，通过自学国际象棋。 在电子竞技中， OpenAI 的 Dota 2 系统 （OpenAI Five）在 2019 年击败了世界冠军队，而 DeepMind 的 AlphaStar 在 StarCraft II 中获得了特级大师称号。 这些胜利表明，人工智能系统可以适应和在高度战略性的实时环境中成功。

最近，研究人员开发了用于学术竞赛的人工智能模型。事实上， Google DeepMind 和 OpenAI 系统 在国际数学奥林匹克中获得了金牌成绩。在编程中， AlphaCode 解决了新鲜的 Codeforces 问题，并在人类竞争者中排名中位。这些结果强调了人工智能系统可以在奥林匹克风格的推理竞赛中表现出色。

机器人竞赛遵循类似的方法。像 RoboCup 、 DARPA 挑战赛 和 XPrize 任务这样的活动要求团队构建可以在现实世界环境中运行的代理，从足球机器人到自动驾驶汽车。这些竞争格式使进步变得可衡量，并允许直接比较系统。

竞赛评估揭示了什么

竞赛揭示了传统基准通常忽略的智能方面。推广能力在人工智能面临新挑战时变得明显，这些挑战它以前从未遇到过。与基准不同，竞赛不断呈现新的场景，需要真正的解决问题的能力。

创造性推理在数学和科学竞赛中成为一个关键因素。人工智能必须产生原创的见解和新颖的论证来解决它以前从未见过的问题。这种创造力无法通过在固定数据集上的模式匹配来衡量。

适应性是所有竞争领域的基本方面。游戏人工智能必须根据对手的行为调整策略。竞赛解决人工智能必须在初次尝试失败时修改方法。这种灵活性反映了现实世界的要求，在现实世界中，僵化的反应往往会失败。

在新颖性下的鲁棒性是竞赛评估的另一个关键因素。竞争环境不断变化，这迫使人工智能处理新的情况和意外的举动。能够在这些条件下表现良好的模型更有可能在实际应用中可靠且有效。

最后，竞赛提供了一种直接的方法来比较人类级别的推理和机器智能。通过在游戏或问题解决竞赛中与人类专家竞争，人工智能系统被置于最高标准之下。这一特性为该领域提供了一个明确的、有抱负的目标，而不是抽象的性能指标。

竞赛评估中的挑战

虽然竞赛评估提供了许多好处，但也面临着各种挑战。一个问题是领域特异性。一个国际象棋冠军可能无法解决一个复杂的数学问题。在一个特定竞赛中取得成功并不保证一般智能。该领域必须找到一种方法，将来自多个竞赛的结果结合起来，以更全面地了解人工智能的整体能力。

标准化是另一个问题。虽然单个游戏中的胜负记录很明确，但比较不同类型竞赛的结果是困难的。例如，如何比较模型在机器人挑战中的性能与其在编程竞赛中的性能？研究人员正在努力创建一个框架，以公平地评估这些不同类型的结果。

最后，还有可及性的问题。虽然许多竞赛是开放的，但有些需要大量的计算资源或专业知识，这些资源或专业知识可能并不是所有研究人员都能获得的，特别是来自小型机构的研究人员。确保这些新的评估方法是包容性的，对于该领域的健康和多样性至关重要。

对人工智能研究的更广泛影响

竞赛评估的兴起已经对人工智能的开发产生了重大影响。它鼓励研究人员从简单地在基准上训练模型转向构建可以规划、推理和适应新情况的系统。这一转变对于实现更一般形式的智能至关重要。

竞争平台还使评估民主化。通过使游戏和竞赛对所有人开放，小型研究团体和个人开发者可以与大型科技公司竞争。这一民主化鼓励来自更多人和机构的创新。像 Kaggle 、 国际数学奥林匹克 和编程竞赛网站这样的平台提供了测试人工智能能力的可及场所。

最后，竞争性测试的经验直接影响了实际应用。规划、适应和在压力下保持稳健的能力在金融、交通、医疗保健和国防等领域具有极高的价值。这些领域需要能够处理不确定性、适应不断变化的条件并提供可靠性能的人工智能。

结论

竞赛评估正在重新定义我们衡量人工智能进步的方式。与静态基准不同，竞赛测试适应性、创造力和在动态条件下进行实际问题解决。虽然标准化和可及性等挑战仍然存在，但这种转变推动人工智能朝着更强大、更通用和更接近人类的智能发展。它不仅提高了研究水平，还加速了开发适用于实际应用的人工智能系统。