为成功的GenAI PoC提供的战术步骤

概念验证（PoC）项目是测试新技术的试验场，生成式人工智能（GenAI）也不例外。那么，什么才是GenAI PoC的真正成功之道？简单来说，成功的PoC是指能够无缝地过渡到生产的PoC。问题在于，由于该技术的新颖性及其快速的演变，大多数GenAI PoC主要专注于技术可行性和准确性、召回率等指标。这种狭隘的关注点是PoC失败的主要原因之一。麦肯锡的一项调查发现，虽然四分之一的受访者担心准确性，但许多人同样苦于安全性、可解释性、知识产权（IP）管理和法规遵从性等问题。加上常见的问题，如数据质量差、可扩展性限制和集成困难，很容易理解为什么这么多GenAI PoC无法继续前进。

超越炒作：GenAI PoC的现实

GenAI的采用明显正在上升，但PoC的真正成功率仍不清楚。报告提供了不同的统计数据：

• Gartner预测，到2025年底，至少30%的GenAI项目将在PoC阶段之后被放弃，这意味着70%可能会进入生产。
• Avanade的一项研究（在RTInsights中被引用）发现，41%的GenAI项目仍然停留在PoC阶段。
• 德勤2025年1月的企业中GenAI的现状报告估计，只有10-30%的PoC将扩展到生产。
• IDC的一项研究（在CIO.com中被引用）发现，平均而言，只有5个PoC（13%）进入生产。

估计值从10%到70%不等，实际的成功率可能更接近较低的值。这凸显了许多组织在设计PoC时缺乏清晰的扩展路径。低的成功率会耗尽资源，削弱热情，并阻碍创新，导致“PoC疲劳”，即团队感到被困在永远无法进入生产的试点中。

超越浪费的努力

GenAI仍处于其采用周期的早期阶段，就像云计算和传统人工智能之前一样。云计算需要15-18年才能达到广泛的采用，而传统人工智能需要8-10年，仍然在增长。历史上，人工智能的采用遵循了一个繁荣-萧条的周期，即最初的兴奋导致了过高的期望，接着是当挑战出现时的放缓，最后稳定为主流使用。如果历史是任何指南，GenAI的采用也将会有其自己的起伏。

为了有效地应对这一周期，组织必须确保每个PoC都以可扩展性为设计，避免导致浪费努力的常见陷阱。认识到这些挑战，领先的技术和咨询公司已经开发了结构化的框架，以帮助组织超越实验并成功扩展其GenAI计划。

本文的目标是补充这些框架和战略努力，概述可以显著增加GenAI PoC从测试到现实世界影响的可能性的一些实际、战术步骤。

成功的GenAI PoC的关键战术步骤

1. 选择具有生产导向的用例

首先，选择具有清晰生产路径的用例。这并不意味着进行全面、企业范围的GenAI就绪性评估。相反，根据数据质量、可扩展性和集成要求等因素评估每个用例，并优先考虑那些最有可能达到生产的用例。

选择合适的用例时需要考虑的几个关键问题：

• 我的PoC是否与长期的业务目标一致？
• 所需的数据是否可以合法地访问和使用？
• 是否存在明确的风险会阻止扩展？

2. 在启动前定义和对齐成功指标

PoC停滞的最大原因之一是缺乏明确定义的成功指标。没有对目标和ROI期望的强烈对齐，即使在技术上合理的PoC也可能难以获得生产的买入。估计ROI并不容易，但以下是一些建议：

• 制定或采用一个框架，如这个。
• 使用成本计算器，如 这个OpenAI API定价工具和云提供商计算器来估计费用。
• 不要设定单一的目标，而是开发一个基于概率的ROI估计范围，以考虑不确定性。

以下是Uber的QueryGPT团队如何估计其文本到SQL的GenAI工具的潜在影响的示例。

3. 启用快速实验

构建GenAI应用程序需要不断的实验。当选择技术栈、架构、团队和流程时，确保它们支持这种迭代方法。选择应该能够实现无缝的实验，从生成假设和运行测试到收集数据、分析结果、学习和改进。

• 考虑雇用小型和中型服务供应商来加速实验。
• 选择基准、评估和评估框架，从一开始就确保它们与您的用例和目标保持一致。
• 使用诸如LLM-as-a-judge或LLM-as-Juries的技术来自动化（半自动化）评估。

4. 追求低摩擦解决方案

低摩擦解决方案需要较少的批准，因此面临较少或没有采用和扩展的异议。GenAI的快速增长导致了大量工具、框架和平台的涌现，这些工具、框架和平台旨在加速PoC和生产部署。然而，许多这些解决方案作为黑盒子，需要来自IT、法律、安全和风险管理团队的严格审查。为了应对这些挑战并简化流程，考虑以下关于构建低摩擦解决方案的建议：

• 创建一个专门的审批路线图：考虑创建一个专门的路线图来解决合作伙伴团队的担忧并获得批准。
• 使用预先批准的技术栈：在可能的情况下，使用已经批准并正在使用的技术栈，以避免延迟批准和集成。
• 专注于基本工具：早期的PoC通常不需要模型微调、自动反馈循环或广泛的可观察性/SRE。相反，优先考虑核心任务的工具，如向量化、嵌入、知识检索、防护栏和UI开发。
• 谨慎使用低代码/无代码工具：虽然这些工具可以加快时间表，但它们的黑盒子性质限制了自定义和集成能力。谨慎使用它们，并考虑其长期影响。
• 提前解决安全问题：实施合成数据生成、PII数据屏蔽和加密等技术，以主动解决安全问题。

5. 组建精益、创业团队

与任何项目一样，拥有合适的团队和必备的技能对于成功至关重要。除了技术专长外，团队还必须具有敏捷性和创业精神。

• 考虑包括产品经理和主题专家（SME），以确保您正在解决正确的问题。
• 确保您拥有全栈开发人员和机器学习工程师。
• 避免为PoC或从更高优先级、长期项目中借用内部资源。相反，考虑雇用小型和中型服务供应商，他们可以快速提供合适的人才。
• 从第一天开始就将法律和安全合作伙伴嵌入其中。

6. 优先考虑非功能性要求

对于成功的PoC，建立清晰的问题边界和固定的一组功能性需求至关重要。然而，非功能性需求不应被忽视。虽然PoC应保持在问题边界内，但其架构必须被设计为高性能。更具体地说，实现毫秒级延迟可能不是立即的必要性，但PoC应能够随着beta用户的扩展而无缝地扩展。选择模块化架构，保持灵活和对工具的无关性。

7. 制定处理幻觉的计划

幻觉是语言模型中不可避免的。因此，护栏对于扩展GenAI解决方案至关重要。然而，评估是否需要自动护栏以及在PoC阶段需要多少。不要忽视或过度设计护栏，而是检测您的模型何时产生幻觉并将其标记为PoC用户。

8. 采用产品和项目管理最佳实践

这张XKCD插图同样适用于PoC和生产。没有万能的剧本。然而，采用项目和产品管理的最佳实践可以帮助简化和实现进展。

• 使用看板或敏捷方法进行战术规划和执行。
• 记录一切。
• 举行Scrum-of-Scrums，与合作伙伴团队有效合作。
• 让利益相关者和领导层了解进展情况。

结论

运行一个成功的GenAI PoC不仅仅是证明技术可行性，而是评估长期的基础选择。通过仔细选择合适的用例，定义成功指标，实现快速实验，减少摩擦，组建合适的团队，解决功能性和非功能性需求，并规划像幻觉这样的挑战，组织可以显著提高从PoC到生产的机会。

话虽如此，上述步骤并非详尽无遗，并非每个建议都适用于每个用例。每个PoC都是独一无二的，成功的关键是将这些最佳实践适应您的特定业务目标、技术约束和监管环境。

强大的愿景和战略对于GenAI的采用至关重要，但没有正确的战术步骤，即使是最周密的计划也可能在PoC阶段停滞不前。执行是伟大想法成败的关键，而清晰、结构化的方法可以确保创新转化为现实世界的影响。