让 AI 功能可用：先建立评估闭环

接入模型接口通常不是 AI 功能最难的部分。难的是回答：在真实用户场景里，它什么时候有效，什么时候会误导用户，以及失败后系统该怎么办。

从任务定义开始

不要只写“回答更准确”。先描述用户任务：输入是什么、期望输出是什么、哪些错误不可接受。例如在信息提取任务里，漏掉关键字段与格式不规范的影响不同，应分别衡量。

评估样本最好来自真实问题，并覆盖常见输入、边界输入和失败案例。测试集可以小，但每个样本都应有明确的判定方式。对于开放式回答，可以采用人工评分规则，而不是假装存在唯一标准答案。

同时看质量与运行成本

上线决策至少需要四类指标：

• 任务完成度：结果是否解决了用户的问题。
• 错误类型：哪些错误可以提示修正，哪些必须阻断。
• 响应时间：用户是否愿意等待，超时后如何反馈。
• 调用成本：高峰流量下成本是否仍然可控。

模型升级、提示词变更、检索数据更新，都可能改变这些指标。因此每次改动都应该在同一批样本上回归，并保留结果差异。

给失败留出路径

AI 输出应允许用户检查、修改或重新生成。高风险操作需要明确的人工确认。系统日志应记录请求标识、版本、耗时和错误类型，但避免记录不必要的敏感原文。

评估不是发布前的一次考试，而是持续发现问题、补充样本、改进产品的循环。