人工智能

智能智能推出 HRM-Text,一种受大脑启发的 AI 模型,挑战规模第一的竞争

mm

随着人工智能行业继续投入数十亿美元用于更大的语言模型和更庞大的数据中心,新加坡人工智能研究公司 Sapient Intelligence 采取了完全不同的方法。

该公司宣布推出 HRM-Text,一种新的 1 亿参数推理语言模型,采用受大脑启发的分层递归架构,旨在将慢速、深思熟虑的推理与快速、低级别的处理分开。

与其试图通过纯粹的规模来获胜,Sapient 将 HRM-Text 定位为证据,证明推理深度和计算效率可能比原始参数计数更重要,成为人工智能发展的下一个阶段。

此次发布继续了人工智能行业中正在出现的更广泛趋势:对简单地无限扩大变压器的怀疑日益增长,人们开始认为这可能不足以实现更一般形式的智能。

超越变压器的范式

大多数现代大型语言模型依赖于 变压器架构,通过一个主要关注下一个标记预测的前馈系统处理信息。Sapient 的 HRM 框架引入了一个分层递归结构,其中多个推理层在生成任何输出之前相互交互。

该公司将此架构描述为通过两个相互连接的系统运行:一个高级“慢速控制器”,负责抽象规划和推理,以及一个低级“快速工作者”,处理详细计算。

这与当前人工智能系统中广泛使用的 思维链 方法不同,后者通过长可见文本序列表达推理。HRM-Text 在生成响应之前,在潜在空间内执行大量推理。

Sapient 认为,这种结构允许较小的系统执行更复杂的多步推理,而无需依赖于巨大的模型大小或大量的推理成本。

根据公司提供的基准结果,HRM-Text 在 MATH 上实现了 56.2%,在 ARC-Challenge 上实现了 81.9%,在 DROP 上实现了 82.2%,在 MMLU 上实现了 60.7%,尽管其规模相对较小。

效率成为战略人工智能战场

此次发布恰逢人工智能基础设施成本、能耗和计算可用性成为中心行业问题之际。

训练和部署最先进的人工智能系统现在通常需要大量 GPU 集群、超大规模数据中心和能耗水平日益受到政府和基础设施提供商的审查。Sapient 的论点是,未来突破可能不来自于扩大规模,而是从根本上重新思考架构本身。

该公司声称,HRM-Text 可以在大约一天内使用 16 个 GPU 和两台机器训练,成本约为 1,000 美元。相比之下,前沿语言模型的训练预算可能达到数百万美元。

该模型的紧凑部署配置文件也值得注意。在 int4 量化下,HRM-Text 据报道占用约 0.6 GiB,这使得在智能手机和边缘设备上进行本地部署在理论上是可能的。

这种对较小、更易部署系统的关注可能会变得越来越重要,因为企业正在推动设备上的人工智能、隐私敏感的推理和不完全依赖云基础设施的离线推理系统。

向脑启发式人工智能迈进

Sapient 的工作反映了人工智能研究中探索传统变压器扩展替代方案的更广泛趋势。

该公司的 HRM 架构大量借鉴了神经科学概念,如分层处理、时间分离和递归计算。

在其网站上,Sapient 将其长期目标描述为通过能够推理、规划和自适应学习的架构来实现人工智能,而不是主要依赖统计记忆。

该公司的研究团队包括来自 DeepMind、DeepSeek 和 xAI 等组织的前贡献者,以及与 MIT、卡内基梅隆大学、清华大学和剑桥大学等机构相关的研究人员。

Sapient 的分层推理模型的早期版本已经在人工智能研究界引起了关注,因为它们使用比传统大型语言模型小得多的参数计数就能实现强大的推理性能。

人工智能进步衡量标准的转变

无论 HRM 架构是否最终能与最大的前沿模型相媲美,仍然是一个开放的问题。人工智能行业已经反复见证了有前途的替代方案的出现,但最终被规模的无情经济所超越。

然而,Sapient 的发布恰逢行业正面临着纯粹扩张的极限。GPU 短缺、电力瓶颈、推理成本和更大数据集的回报递减迫使研究人员重新考虑过去几年人工智能发展中占主导地位的假设。

如果像 HRM-Text 这样的系统继续改进,它们可能会改变人工智能进步的衡量方式——将注意力从参数计数转移到效率、推理深度和适应性。

该公司已通过 GitHub 完全开源了 HRM-Text 作为发布的一部分。

安托万是一位具有远见的领导者和Unite.AI的创始合伙人,他被对塑造和推广AI和机器人人的未来充满不动摇的热情所驱动。作为一位连续创业者,他相信AI将对社会产生与电力一样的颠覆性影响,他经常被听到对颠覆性技术和AGI的潜力大加赞赏。

作为一位未来学家,他致力于探索这些创新将如何塑造我们的世界。另外,他也是Securities.io的创始人,这是一个专注于投资于重新定义未来和重塑整个行业的尖端技术的平台。