跳到主要内容

企业 AI 项目应该如何验收

作者
合肥深度智创科技有限公司
发布
更新

核心结论

用真实流程和代表性样本,检查业务目标、系统能力、权限、人工责任与失败回退,并约定上线后的持续评测方式。

一、把目标写成可检查的结果

明确要减少的重复工作、使用者、输出对象和完成标准,用处理时间、人工修改、遗漏或流程完成度衡量结果。

  • 明确流程入口、参与角色和输出去向
  • 区分建议、草稿、查询和自动执行
  • 写出不适用场景和必须停止的情况

二、准备代表性样本

样本应覆盖正常、边界、缺失、冲突和容易混淆的情况,并保留脱敏后的输入、期望结果和判定理由。只挑容易回答的问题,会掩盖知识缺失、资料版本冲突和接口异常。

  • 准备已确认答案或处理结果的样本
  • 记录错误类型、人工修改和拒答情况
  • 单独检查新资料、旧版本和权限受限资料

三、分别检查内容、系统和权限能力

分别验证回答质量、页面与接口、知识来源、工具调用、身份权限、日志和超时处理,避免用回答正确掩盖来源或权限缺失。

四、把人工责任写进验收流程

报价承诺、录用、付款、生产控制、敏感对外发送和正式发布等高影响动作,应明确由谁确认、看到哪些证据、确认后执行什么动作。验收要检查人工节点是否真的暂停了流程,而不是只在页面上显示提示语。

五、验证失败回退和运行维护

知识缺失、权限拒绝、接口超时、结果冲突或置信度不足时,系统应停止自动执行并把上下文交给人。项目还要说明监控、告警、知识更新、模型变更、数据修复和故障恢复由谁负责。

六、区分首期验证、上线验收和持续评测

首期验证回答‘是否值得继续’,上线验收回答‘是否满足约定范围’,持续评测回答‘变化后是否仍然可靠’。三者的样本、指标、参与人和通过条件可以不同,不应把一次演示结果当作长期质量证明。

知识库与 RAG 评测指标

以下为建议口径,并非统一行业标准或已取得成绩。固定样本、知识版本、k 值、授权与判定人,覆盖正常、缺失、版本冲突和权限受限情形,通过阈值由双方约定。

  • 检索命中率 Hit@k=前 k 条结果中至少包含一条已标注相关资料的问题数 ÷ 有相关资料标注的问题数
  • 有效引用覆盖率=具有可访问且实际支持结论的引用的事实断言数 ÷ 需要引用的事实断言总数
  • 无依据断言率=缺少授权资料支持的事实断言数 ÷ 输出的事实断言总数
  • 各指标同时保留分子、分母、失败样例和判定理由;分母为零记为不适用,权限违规与应当拒答的样本另行检查

验收清单

正式确认前,业务、IT、数据和交付人员应共同确认目标、样本、权限、人工节点、异常回退、日志、维护责任和未完成项。关键项没有负责人或证据时,应记录为未通过或待验证。

常见问题

企业 AI 项目只看回答准确率可以吗?

不可以。还要检查来源可追溯、权限、工具调用、异常处理、人工确认、日志和真实流程中的可用性。

没有大量历史数据可以验收吗?

可以先用少量脱敏的代表性样本,覆盖正常、边界、缺失和冲突情况,同时把样本不足记录为项目限制。

验收通过后还需要持续评测吗?

需要。模型、提示、知识、接口或业务规则变化后,应回归关键样本,并根据失败频率和任务风险安排持续抽查。

从一个业务问题开始

免费沟通需求与初步方向。