AI 基础
影响工程：个性化、说服与人工智能伦理
将 Unite.AI 添加到您在 Google 上的首选来源
影响工程是一个有用的总称，用于描述有意塑造注意力、选择或行为的数字系统设计。推荐、个性化、实验、劝导性界面设计以及情感相关信号都可以是其组成部分，但该术语并非已确定的技术学科，也没有统一的定义。
核心问题在于系统是支持个人自身目标，还是通过隐藏、欺骗或剥削的机制引导其行为。预测能力越强，对同意、透明度、对敏感推断的限制、独立审查以及可衡量的用户福祉的需求就越大。
关键要点
- 通过审查意图、方法、披露和用户控制，将有益的指导与操纵区分开来。
- 推断的情感是概率模型的输出，而非对个人内部状态的直接获取。
- 优化目标应是用户结果和长期福祉，而非仅仅提升参与度。
- 提供有意义的选择、数据最小化、可争议性以及对不同影响的监测。
数字影响的工作原理
系统观察行为，构建用户或情境模型，选择干预措施，测量响应，并更新策略。干预可以包括排序、时机、默认设置、社交提示、用词、通知、价格或对话式回应。
该反馈循环类似于强化学习，但奖励中蕴含价值判断。点击次数和会话时长易于衡量；而知情选择、信任和长期收益则更难测量，却往往更为重要。
情感人工智能的介入点
情感人工智能可以从面部动作、语音、语言、生理或交互中估计模式。这些信号受情境影响且在文化上存在差异。模型可能预测出标记的类别，却无法确定个人真实的感受。
利用此类预测来修改信息、价格或机会可能形成敏感的反馈循环。应按子群体和情境评估性能，且系统不应推断超出服务真实需求的内容。
说服、帮助与操纵
帮助用户遵循所选计划的导航提示不同于伪装的广告或使取消变得困难的阻碍。需要评估目的是否已披露、是否仍有可供选择的替代方案，以及理性用户是否能够理解并逆转该选择。
暗模式利用信息或努力的不对称。生成式界面可以通过持续定制语言来放大这些手段，因此防护措施必须覆盖目标和实验系统，而不仅仅是可见的界面。
治理与评估
记录预期收益、受影响群体、禁止的手段、数据来源、保留期限、优化目标以及审查负责人。部署前的测试应包括脆弱用户、对抗性情境以及超出即时转化的结果。
监测投诉、撤回、后悔、曝光频率、子群体结果以及意外行为。根据生物识别、消费者保护、就业、教育或健康等法规，适用负责任的人工智能控制和法律审查。
影响背后的优化系统
影响系统通常是由多个环节组成的流水线，而非单一模型。候选生成器挑选可能的消息或项目，排序模型对其打分，实验框架分配处理方案，反馈服务记录行为。身份解析和用户画像将跨会话的观察关联起来，这使得隐私和目的限制成为核心的架构选择。
优化目标可以是即时的，例如点击，也可以是延迟的，例如完成课程或持续的健康行为。代理指标容易被操纵：通知策略通过制造焦虑来提升打开率，推荐系统虽能提升观看时长却可能降低满意度。团队应在优化前定义安全阈值指标和长期结果。
Bandit 和强化学习方法引入探索，但探索会让真实用户面临不确定的干预。应限制行动集合，排除敏感情境，设定频率上限，并采用保守策略。离线仿真无法完全预测社会反应，因此分阶段实验和停止准则仍是必需的。
测量、因果关系与脆弱用户
A/B 测试在其分配和测量假设下估计平均因果效应。它们可能遗漏集中在小群体的危害、并行实验之间的交互、延迟效应以及离开产品的用户。应报告分布式结果，而不仅是整体转化提升。
个性化使解释变得复杂，因为不同用户看到的干预不同。需保留策略版本、资格、情境以及选择原因。审计是否直接使用、间接推断或通过位置、设备、语言或浏览模式等特征关联了受保护或敏感特征。
儿童、处于困境中的人、经济受限的用户以及面临健康或就业决策的人，可能特别容易受到定向压力的影响。应避免利用紧迫感、社会证明、可变奖励或情感定位来剥削这些情况。独立审查应有权阻止即使能提升收入的优化。
合法影响的设计要求
合法系统应阐明其目的，公开赞助信息，将推荐与事实区分，并允许用户更改或关闭个性化。默认设置应符合合理预期。同意应足够具体，能够描述数据和影响机制，而不是将其隐藏在宽泛的术语中。
提供曝光控制、安静期、重置、个人资料检查以及对推荐背后主要因素的解释。不要不对称地设置阻力——订阅只需一次点击，却需要多个混乱页面才能退出。用户应能够在不受与服务无关的惩罚的情况下撤销决定。
治理应审查目标、特征来源、实验设计、投诉主题以及下游结果。维护影响系统和高风险实验的登记册。当出现有害模式时，禁用相应策略，保留证据，适当时通知受影响用户，并更改导致该模式的激励机制。
实用的影响风险评估
通过绘制行为主体、目标、受众、数据、模型、信息、渠道、反馈回路和后果来评估影响系统。区分帮助与说服、说服与操纵。用户自行选择的提醒不同于针对强迫性参与的隐蔽优化。当系统针对脆弱性、隐藏赞助、利用情感状态、制造虚假紧迫感或将获取基本服务与行为响应挂钩时，风险会升高。
部署前，测试个性化是否改变了不同群体的理解、自治和结果。使用有知情审查的受控实验，但不要仅优化点击或转化。衡量后悔、投诉、选择退出、下游危害，以及用户是否能识别收到信息的原因。禁止不必要的敏感推断，限制允许的目标，并将资格或定价决策与情感响应优化分离。
界面应标注合成代理和赞助信息，解释实质性的个性化，并提供有意义的控制。保留可审计的活动记录、目标规则、模型版本、创意变体和批准信息，同时不保留不必要的情感数据。对政治、金融、健康、就业、教育以及面向儿童的使用进行独立审查是适当的。核心问题不在于是否存在影响，而在于其目的、证据、方法以及权力关系是否尊重知情的人类自主性。
实用实施清单
将概念转化为有界、可测试的工作流：观察 → 推断 → 选择 → 干预 → 测量 → 治理。指定负责的所有者，记录数据和依赖关系，建立简易基线，设定接受和停止标准，测试代表性故障，并在扩大范围前定义监控、回滚和审查。记录版本和假设，以便其他团队能够复现结果并了解变更内容。
上线前，进行有文档记录的就绪审查，参与者包括构建、运营、保障以及受系统影响的人员。测试正常情况、边界条件、依赖失效和误用；保留证据和未解决的风险。明确谁可以批准发布、修改阈值、覆盖输出或停止运行。实地数据到达后重新审视决策，因为技术上成功的试点并不保证在更大规模下的可靠表现。
- 机构: 明确的选择和轻松的撤销。
- 证据: 不确定性和子群体测试。
- 限制: 禁止的手段和敏感使用。
常见问题
所有个性化都是操纵吗？
不是。个性化可以降低用户的努力并提升相关性。当目标被隐藏、选择受到限制、推断出敏感特征，或系统利用用户脆弱性时，风险会升高。
人工智能系统能了解一个人的感受吗？
它可以根据模型和数据集，从可观察的信号中估计标签。该估计具有不确定性、受情境影响，且不应被呈现为对内部状态的直接了解。
主要参考文献
