声音目前是与AI交互的最差方式

新研究表明，科幻小说中经常描绘的与AI交互的方法可能实际上会产生比打字输入更差的结果，甚至比打字错误还要差。

从HAL到Deep Thought，从C3P0到Wall-E，人类与AI交互的理想形式一直围绕着语音控制；这一理念已经在现实世界中体现，从早期的助手系统如Siri和Alexa，到当前的语言查询和对话系统。

这一理念是在打字被认为是“半熟练劳动”的时代出现的，当时除了作者和记者外，人们认为打字是一种需要特定技能的工作，主要由女性承担——而这些女性自己很少创造她们所打字的内容。

权力和代理权被认为是通过话语实现的：会议和峰会。因此，似乎很明显，复杂的语言代表了智慧，口语将成为AI的自然媒介。

除了其他考虑因素外，文本交换不适合电视和电影；即使是大胆的科幻惊悚片，如Colossus：The Forbin Project（1970），它描绘了计算机对人类语音命令的书面文本响应，很快就转向了完全的口语响应：

一场来自‘Colossus：The Forbin Project’（1970）的场景，展示了一台迅速超过基于文本语言界限、变得口语化和专制的超级计算机。来源：环球影业

输入还是说话？

尽管世界上最先进的AI模型为用户提供了原生的音频接口，但美国的一项新研究得出结论，与AI交谈可能是获得所需结果的最不有效的方式，尤其是当您期望得到大量输出（如代码）时。

根据论文，与LLM（如ChatGPT或Gemini）交谈当前会产生比打字输入（即使包含普通错误）更差的结果。

这是因为口语输入更容易被转录系统重构，从而去除模型依赖的信息。这是因为音频转录必须去除诸如“嗯”和“像”等不流畅的词语，以及虚假的开始（即“重新开始”），以及语法和“随意”构造（即句子未完成）等歧义。

作者指出：

“说话现在成为了一种一流的方式进入语言模型，而不仅仅是一种小众方式。编码代理如Claude Code和Codex接受口述指令。电话助手如Google Assistant和Siri将口语请求路由到LLM后端。口述前端如Typeless添加了另一个LLM驱动的层，用于清洁和重新格式化用户的口语请求，然后再发送。”

“在每种情况下，模型都会收到一个转录文本，而在每种情况下，口语者可能不会校对实际发送的字符串。转录管道留下或重写的内容就是模型必须回答的内容。”

这驳斥了打字输入优于口语输入的观点，因为打字输入是“原生”的；实际上，打字输入也会被重写或以某种方式修改，然后才能传输给AI。

研究的实验发现，普通的打字错误只对性能产生了轻微的影响，而口语、清理后的转录文本，尤其是AI压缩的转录文本，会在推理和代码生成任务中导致准确性大幅下降。

这项研究的标题为我们应该与LLM代理输入还是说话？对语音和键盘输入扰动的全面研究，由四位作者在加利福尼亚州圣莫尼卡学院和南加州大学合作完成。

(注意： 这项研究以一种方式交织了“方法”和“测试/结果”，以至于很难将其拆开成我通常的分析顺序。因此，我不得不比平常更有选择性地压缩和选择内容。)

方法

作者开发了一种名为Human Input Variation Engine（HIVE）的“扰动套件”，用于模拟人们在键盘上输入提示或通过语音转录系统说话时可能引入的错误类型：

人机输入变异引擎（HIVE）的概念图。用户的提示通过语音、QWERTY键盘或直接复制粘贴到语言模型中，后者作为“干净”的参考。颜色标识输入通道而不是实现方法，语音操作者结合了少量LLM风格的转移和确定性规则，而键盘操作者则完全依赖于确定性规则。右侧面板显示模型在降级输入下可以产生的响应范围。 来源

HIVE模拟了三个用户提示到达语言模型的路径：通过语音、QWERTY键盘或直接复制粘贴——后者作为未修改的参考，用于与其他输入进行比较。两个额外的操作者作为实验控制，通过重新排列问题和上下文，或重新排列多选项答案。

扰动操作者本身是通过确定性规则或使用Qwen2.5-7B的少量LLM风格转移来实现的。这使得两个输入方法可以在受控和可比的条件下进行评估。

测试条件和结果

实验在Llama-3.1-8B；Qwen2.5-7B；Qwen3-8B；Mistral-7B-v0.3；和Phi-4上进行，使用五个种子。使用的六个基准测试是GSM8K；GSM-Symbolic；GSM1k；HumanEval；MMLU-Pro STEM；和TruthfulQA MC1。

测试集使用每个基准测试的200个项目，HumanEval集使用164个项目。使用贪婪解码（每次选择最可能的下一个标记），以便每个扰动的提示可以与同一模型运行中的干净对应物进行比较，产生17个提示更改和两个控制测试（用于隔离特定效果）中的550,000个评分答案。

采取措施以确保测试集污染（与模型在训练期间可能看到的数据重叠）不会发生：

研究中使用的完整扰动套件，显示了在语音转录更改、QWERTY键盘错误和控制测试中，准确性相对于干净提示的变化。第一行提供了干净的基准准确性，后面的行显示了百分比点变化。红色标记每个块和列中最具破坏性的操作者，蓝色标记最不具破坏性的操作者。

研究中最明显的结果是，语音输入比键盘输入更具破坏性，口语更改会将模型的准确性降低大约三倍，而键盘错误只会降低准确性。最差的结果出现在口语请求被自动重写为更清晰和更简洁的版本时，因为这种清理通常会改变模型接收到的请求结构。

这很重要，因为口语输入的较差结果并不是主要由明显的口语“垃圾”引起的；虽然诸如“嗯”和“像”等填充词确实很重要（因为将它们添加到干净的书面提示中会降低准确性），但从口语转录中删除填充词并没有恢复性能。

自我保护

因此，问题不在于口语本身，而在于口语提示在到达模型之前被重构。

研究的一个中心问题是，模型是否仍然能够接收到足够的原始提示，以重建用户的意图；打字错误通常会损害单词的“表面”而不会完全删除它，因此周围的上下文仍然可以帮助模型推断出用户的意图。

相比之下，清理后的口语转录可能会用更短更流畅的版本取代用户的原始措辞，该版本不再保留相同的事实之间的关系。

这是因为键盘错误通常会留下原始措辞的更多信息；研究人员发现，颠倒的字母、重复的字母、缺失的空格和附近的键错误通常会留下可恢复的原始措辞，而语音清理更常删除或重新组织信息，然后模型才能解释它。

迷失在翻译中

口语提示在传递给LLM的过程中如何“迷失”，研究中举了一个例子，即短语“她给她的孩子们同等数量的[书]”被重新解释为指的是金钱（而不是书）；在这种情况下，术语“数量”与其引用对象断开了联系，并错误地应用于其最常见的关联（金钱）：

每个输入更改后原始问题中有多少内容得以保留。大的点表示个别扰动类型，小点表示相同键盘错误的更强版本。

这种效果在模型必须从提示中构建答案而不是从预先提供的选项中选择时最为明显；算术和代码生成任务由于依赖于在请求中保留确切的关系而受到的损害更大，而多选测试由于不容易受到这种损害而受到的损害较小。

作者得出结论：

“我们发现，口语是昂贵的通道，损害的代价是它破坏了原始问题的标记化。我们还发现，测试集污染或轻量级适应不能解释或修复损害。”

“几个结论随之而来。如果您输入，推理模型会吸收您的错误。如果您口述，它不会，所以您说的话就是模型工作的内容。”

“如果您构建口述工具，请不要重新格式化或重新组织用户所说的话：最小化地去除不流畅的词语，并将同音词保持原样。”

“最后一点最重要，因为口述前端正在成为一种默认方式来访问模型，它们的重写层是我们测量的最大的损害，也是最便宜的东西可以改变。”

结论

任何曾经不得不手动转录采访（在人工智能时代之前，新闻工作者常见的孤独任务）的人都知道，这个过程可以是多么的解释性，除非被采访者或演讲者非常有条理，或者（如往常一样）只是在背诵他们的常用轶事。

除了这些特殊情况外，当我们与人交谈时，我们会自动地忽略不流畅的词语，并计算意义。这不可避免地使有用的转录成为一种解释性的行为，产生的文本代表了演讲者的意图，而不是可能的逐字转录；有趣的是，音频桥接到LLM在保留或获得与文本等效的意义方面也面临着类似的困难。

可以合理地期望，后续框架将从进一步的研究和（希望）更丰富的数据集中受益，这些数据集将有助于弥合新研究中概述的差距。直到那时，新研究表明，语音与AI的通信可能更适合于短命令，正如消费级“助手”系统所特有的那样。

首次发表于2026年8月12日星期三