知识库评测里的标准答案，不应该只有一句话
知识问答评测的标准答案不应只有一句固定文本。更有用的是一份判定说明：哪些信息必须出现，哪些表达可以变化，哪些结论不能从资料中推出，以及证据位于哪里。这样既能识别实质错误，也能避免把正确的不同措辞判成失败。
从用户任务反推必须点
假设问题是“外部培训报名需要准备哪些材料”。标准答案应覆盖必要材料、适用条件和已知例外，而不要求系统使用与标注者完全相同的句子。若用户只问截止日期，则不必因为答案没有展开所有材料而判为不完整。
同一份文件可以支持不同任务，因此标注应围绕具体问题建立。不要把整篇摘要当成每道题的参考答案，否则模型越长越容易得分，简洁正确的回复反而吃亏。答案的长度与任务完成度需要分开。
把判定说明写成四部分
| 部分 | 示例内容 |
|---|---|
| 必须包含 | 材料名称及特定人群的额外要求 |
| 可接受差异 | 同义表达、顺序变化、简洁解释 |
| 不可推出 | 原文没有承诺的完成时间 |
| 证据范围 | 对应文件版本、章节与条款 |
如果答案需要计算，还应记录运算口径和允许的精度；如果需要条件判断，应写明条件不足时的预期行为。不能只提供一个最终数值，让评测无法识别单位错误或偶然算对。
把部分正确与关键错误区分开
漏掉一个非必要背景说明，与把适用人群扩大到所有员工，影响不同。可以按业务影响设置判定规则，但规则应在看系统输出前确定。对于会改变结论的关键条件，即使其他部分完整，也不应被平均分掩盖。
建议用少量示例校准评审者：一条完全正确的答案、一条措辞不同但正确的答案、一条遗漏关键条件的答案，以及一条有依据外推断的答案。大家先对照同一依据讨论，再开始批量评分，能减少个人写作偏好造成的差异。
对模糊题目保留待核状态
两位评审者意见不同，可能是判断标准不清，也可能是源资料本身含糊。此时先记录分歧，不要强行通过投票生成一个看似确定的标准。让内容负责人补充解释后，再更新题目和依据版本。
自动评测器可以帮助筛选疑似问题，但其输出也需要用已人工核对的样本校准。特别是细微限定词、跨表格证据和多条件问题，不应仅凭一个相似度分数下结论。工具评分与人工裁定应各自保留记录。
当源文档修订时，同步检查哪些标准答案受到影响。保留旧版本评测，标明新版本生效范围，才能比较系统变化而非资料变化。标准答案真正的作用，是让团队对“怎样算正确”有可复查的一致理解。
在企业文档中验证
如果要把本文方法用于企业文档，可预约演示，结合实际资料核对协作、权限与集成方式。
需要在自己的环境中验证时，可先了解私有化部署方案，再确定试用范围与验收要求。