AI 基础
什么是 KNN（最近邻算法）？
将 Unite.AI 添加到您在 Google 上的首选来源
K-最近邻 (KNN) 根据最接近查询点的已标记训练示例来预测结果。对于分类，邻居对类别进行投票。对于回归，则对它们的目标值取平均或以其他方式组合。
KNN 是一种基于实例、非泛化的方法: 拟合时主要存储训练示例和可选的搜索索引。这并不消除对训练、验证和测试划分的需求。对保留数据的评估对于选择 k、距离度量、特征处理和投票规则至关重要。
关键要点
- KNN 在局部进行预测；它不会先将数据集划分为簇。
- 特征缩放至关重要，因为距离决定了哪些示例算作邻居。
- 较小的 k 可能噪声较大，而较大的 k 会平滑掉局部结构。
- 高维度、无关特征、类别不平衡以及搜索速度慢都可能限制性能。
KNN 分类工作原理
- 在相同的特征空间中表示查询点和训练示例。
- 计算查询点到训练示例的距离。
- 选择最近的 k 个示例。
- 预测多数类别或使用距离加权投票。
距离加权投票会让更近的邻居拥有更大影响力。出现平局时需要有文档化的规则，而等距且标签不同的邻居可能导致结果依赖于排序或实现细节。
KNN 回归
在回归任务中，常用邻居目标的均值作为预测。距离加权可以降低远距离观测的影响。当局部目标中存在离群值时，使用中位数或鲁棒聚合可能更有帮助。
距离度量
欧氏距离常用于连续特征，曼哈顿距离对绝对差求和，余弦距离关注方向而非幅度。其他度量可用于二元、类别、地理、序列或学习得到的嵌入数据。
将 KNN 称为“非参数”意味着它不假设决策边界具有固定的有限维函数形式。它仍然假设所选的表示和度量使得相邻点彼此相关。
为什么特征缩放重要
如果一个特征的取值范围是 0 到 1，而另一个特征的范围是 0 到 100,000，普通的欧氏距离将被第二个特征主导。标准化、归一化或领域特定的变换应在训练划分上拟合后，再应用于验证、测试和生产数据。
无关特征同样会扭曲邻域。特征选择、降维或学习得到的表示可以帮助，但每一种选择都必须在不泄漏数据的前提下进行验证。
选择 k
当 k = 1 时，模型可能会跟随噪声和错误标记的示例。随着 k 增大，预测会变得更平滑，对单一点的敏感度降低。如果 k 过大，远距离的类别或区域会占主导，导致模型欠拟合。
通过在训练数据上进行交叉验证来选择 k。对于二分类任务，奇数 k 可以减少但不能完全消除平局。当类别不平衡时，类别权重、分层划分、阈值选择以及合适的评估指标都非常重要。
维度灾难
在高维空间中，距离可能变得不那么具信息量，因为示例稀疏，最近距离和最远距离相对接近。KNN 可能需要海量数据才能保持有意义的局部邻域。这就是所谓的 维度灾难。
降维 或任务特定的嵌入可以有所帮助，但嵌入的几何结构应针对预期的相似性概念进行验证。
搜索性能
暴力查询会将新点与每个存储的示例进行比较。KD 树和球树可以加速部分精确搜索，尽管在高维情况下其优势会减弱。近似最近邻索引通过牺牲少量召回率来换取显著的速度和内存提升。这一思路同样支撑了 向量相似性搜索。
优势与局限
KNN 简单、支持不规则的决策边界，并提供直观的基于示例的解释。它也可能需要大量内存、暴露敏感的训练示例、预测速度慢，并且在距离度量不具意义时表现不佳。它是一个有用的基线——并非在大多数问题上默认就能高度准确的方法。
距离、邻域与超参数行为
K-最近邻存储训练示例，并根据选定的距离从最近的 k 个示例进行预测。分类使用多数投票或距离加权投票；回归则对邻居目标取平均。特征缩放至关重要，因为取值范围大的特征会主导欧氏距离。类别、稀疏、序列或地理数据可能需要汉明、余弦、编辑、球面大圆或学习得到的距离……
小 k 产生灵活且高方差的边界并对噪声敏感；大 k 会平滑预测并可能抹去少数群体结构。奇数 k 只是在二分类时避免部分平局，并非通用规则。应在交叉验证中共同选择 k、距离、加权方式、特征集合和预处理。类别不平衡会导致局部多数投票忽视稀有结果，因此需检查每类召回率和邻域组成。高维距离倾向于集中，无关特征会削弱邻域；此时特征选择、降维或学习得到的嵌入可能有所帮助。
索引、不确定性与生产运营
朴素推断会将查询与每个训练点比较。KD 树和球树在适当的低维情况下有帮助；近似最近邻索引则在速度和规模上以牺牲精确度为代价。应将邻居搜索的召回率与预测质量分开衡量。内存包括存储的特征、标签以及索引结构。概念上更新很简单，但可能需要重建索引、保持版本一致性以及传播删除操作。要保护敏感的训练示例，因为返回邻居或距离可能泄露记录。
KNN 能展示使预测可解释的示例，但相近并不等同因果或公平。应在邻域稀疏或冲突时提供距离、投票边际以及弃权规则。监控查询距离、邻居标签、特征漂移、延迟和已确认的结果。保持预处理和索引版本同步，并在更改后测试精确与近似结果的差异。只要距离有意义，KNN 就是有效的局部基线和检索方法；当相似性无法用可用特征表示时，它的表现会受限。
实际案例：KNN 用于产品替代
零售商使用标准化的数值属性、类别兼容性以及学习得到的文本嵌入来表示产品，然后由商品经理审查定义加权距离。K 值和权重通过后续产品发布进行选择，而非随机商品行。评估检查相关替代品的召回率、不可兼容推荐、距离、类别覆盖以及稀有商品的结果。流行度基线用于判断局部相似性是否带来价值。
近似索引相对于精确邻居在召回率和延迟上进行基准测试。对没有近似兼容商品的查询返回 no suggestion 而不是强制返回邻居……
实施证据与运营准备
生产决策需要的不仅是成功的演示。需明确预期用户、运行环境、输入、输出、依赖、负责人以及每个关键故障的后果。调优前先建立可复现的基线和版本化的评估集。测试普通案例、边界条件、异常或缺失输入、分布漂移、依赖中断、误用以及最可能被服务不足的群体或环境。衡量任务质量时同时关注校准或不确定性、延迟、吞吐量、资源成本、可访问性、隐私和安全。记录每一次转换和阈值，以便独立审阅者能够复现结果并区分证据与吸引人的原型。
上线前，指定发布、例外、变更、回滚和退役的授权。采用分阶段发布，保留安全回退，并通过人为注入故障验证监控。运营遥测应揭示输入质量、输出行为、模型或规则版本、依赖健康、人为覆盖以及已确认的结果，且不收集不必要的敏感数据。设定警报阈值和响应负责人，然后在部署后审查真实世界的证据，而不是假设离线性能会持续。每当数据源、用户、模型、供应商、政策、硬件或目标发生变化时都需重新评估。维护中的系统还需要文档化的恢复、事件学习、删除与保留流程，以及明确的停用或替换时点。
常见问题
KNN 有训练阶段吗？
它几乎不需要参数拟合，但仍有开发过程: 预处理从训练数据中学习，可能会构建索引，k、度量、权重和特征通过验证进行选择。
KNN 与 K-means 相同吗？
不是。KNN 主要是一种监督式的局部预测方法。K-means 是一种无监督的聚类算法，其中 K 表示簇中心的数量。
主要参考文献
