将业务目标应用于机器学习指标

随着机器学习 (ML) 的热潮和企业纷纷抢先采用机器学习进行转型，不难发现并非所有机器学习项目都能取得成功。往往是因为存在“先有解决方案再有问题”的思维定式，导致机器学习应用的需求和目标定义不清。若未能明确机器学习为何被采用以及其对业务指标的影响，可能导致概念验证 (POC) 工作耗费大量时间却无法产生实际成果。

本文探讨了企业在将机器学习融入产品与流程时，如何通过明确总体目标并将其与相关业务指标联系起来，进而规避常见陷阱。随着POC工作的进展，应用这些指标为评估机器学习性能奠定了基础。根据POC的任务或用例，将这些指标与适当的机器学习指标关联起来，并为研发方向制定一个短期路线图，将显著提升项目成功的可能性。

将目标转化为业务指标

企业通常出于几个主要原因决定是否在其流程中引入机器学习。这些原因通常包括通过提升团队工作效率来增加收入、提高业务某一特定环节的成功率、通过缩短响应接收信息的时间来改善客户体验，或减少与错误相关的成本或其他浪费。这些原因与更细化的业务指标息息相关，指标应在启动机器学习项目时明确制定。例如，如果希望通过提高团队或公司的能力来增加收入，那么相关的生产力指标可能与销售和营销指标有关，如配额完成率、每条销售线索的成本或净销售收入。若目标是提升客户成功率，相关指标可能包括流失客户（也称为客户流失率）、客户满意度评分或交易损失率。 

最重要的是，在开发项目时，通过正确的衡量标准确定这些业务需求至关重要，而不是在不了解其必要性具体原因的情况下确定解决方案。除非能有效衡量实施机器学习流程对工单分类处理或汇总冗长文档的影响，否则这样做就毫无意义。

将业务指标与机器学习指标相匹配

在根据项目整体目标选择合适的业务指标后，应将其与机器学习任务对应的机器学习指标进行匹配。在业务方面取得改进通常需要一组机器学习指标。例如，假设目标是通过加速某个团队在特定流程中的工作来提高生产力，可能是软件部署前的质量保证。在这种情况下，业务指标可能是从开始到结束的测试时间、测试的元素数量以及每次会话中运行的次数。然而，同样重要的指标可能包括部署前发现的错误数量以及之前通过但现在失败的测试次数。

在建立机器学习流程来处理质量保证团队的部分工作时，指标不仅是延迟或模型评估预期与实际输出差异的速度，还包括模型准确性——特别是假阳性和假阴性的数量。由于模型的错误可能需要由人工评估，所以标记的问题太多会增加团队的工作量，而过多的漏报则会导致开发团队的工作量增加。除了基于业务指标建立团队当前绩效的基准外，基线准确性对于评估机器学习是否至少达到有效水平也具有参考价值。

根据具体用例、任务类型及所需输出形式，机器学习指标可能并非像准确率或错误率那样直观。然而，只要能够在不依赖机器学习的情况下衡量某一过程的有效性，通常就存在某种方法来评估机器学习过程的性能。自然语言处理 (NLP) 就是一个缺乏直接指标的领域。例如，文本摘要或内容生成等任务看似难以评估。然而，如果开发人员花时间构建包含输入文本和预期输出示例的数据集，则可以使用诸如召回率导向的摘要评估指标 (ROUGE) 等。ROUGE和其他指标通过衡量预期输出与实际输出之间的词汇重叠度，来应对不存在单一“正确”答案的问题；相反，答案会根据正确程度的不同而有所差异。

构建POC路线图

最后，在确定了机器学习指标之后，就可以开始构建一个简洁但详细的POC实施和实验方法路线图。这应包括将整个任务分解为更小、更简单的部分，这些部分可以快速通过机器学习模型验证其成功性，例如将支持工单分类为紧急与非紧急，而非采用更复杂的分类体系。此外，应进行初步文献综述或现有技术调研，以识别一系列复杂程度逐步提升的方案，以防简单方案无法满足任务需求。实施该策略首先采用现成模型或通过第三方应用程序接口 (API) 获取的模型（如业务场景允许），随后转向可通过微调或重新训练适配任务的架构，最后是需要从零开始实现且可能涉及更复杂训练流程的方案。可对每种方法的成本进行估算，以基于预期价值对机器学习项目的投资回报率 (ROI) 进行公平评估。此举可明确某些概念验证方向是否因成本过高而不可行，并帮助设定若最佳性能达不到预期时放弃项目的截止点。

结论

将机器学习引入公司的流程或产品有助于实现提升生产力、降低成本和减少错误等整体业务目标。然而，为了确保成功，这些机器学习项目必须从一开始就正确启动。通过适当的业务指标来衡量影响至关重要，其次是确定正确的机器学习指标，以证明开发的模型能够提供预期价值，因为它们能够按要求工作。在确定这些细节后，制定一份路线图以明确POC实施方向将使项目保持正轨。该路线图还将确保投资回报率与努力的关系，从而确定一个平衡两者的合理放弃点。这些最佳实践是将业务目标转化为机器学习POC再到生产环境的多个步骤中的第一步。

要进一步了解以敏捷而稳健的方式开发ML POC所涉及的其他关键阶段，以及如何将最终成果投入生产，请浏览贸泽关于从概念验证到生产部署的系列博客。在这里，您将了解到如何识别并建立项目数据集、设置实验工具、开发构建POC所需的资源和方法（包括开源模型）、制定扩展至生产就绪版本时的指南和重点，以及部署后需预期和监控的事项。

作者简介

Becks是Rogo的全栈AI负责人，Rogo是一家总部位于纽约的初创公司，旨在构建一个平台，让任何人都可以在没有数据科学背景的情况下分析自己的数据并从中获得经验。在业余时间，她还与Whale Seeker合作，这是另一家运用AI对鲸鱼进行检测的初创公司，旨在让工业发展与这些温和的巨兽和谐共存。她从事深度学习和机器学习领域的工作，致力于研究新的深度学习方法并直接应用这些方法来解决现实世界的问题、构建渠道和平台来训练和部署人工智能模型，以及为初创公司的人工智能和数据战略提供咨询服务。