知识库没有答案时,怎样让 AI 明确说不知道

知识库没有足够依据时,AI 应明确说明无法从现有资料确认,并指出缺少什么。要验证这种能力,测试集不能只有有答案的问题,还应包含资料确实没有答案、条件不足以及资料存在但检索漏掉的情况。这些情形不能用同一句“我不知道”混为一谈。

先区分三种不知道

第一种是源资料未提供相关信息,例如用户询问尚未发布的明年标准。第二种是问题缺少决定性条件,例如未说明所在地区。第三种是原件有明确条款,但系统没有找回。前两种需要说明边界或补充信息,第三种则需要修复检索,不能因为拒答看起来谨慎就判定成功。

因此负例要经过内容核对。不能把搜索暂时没找到的问题直接标为无答案,否则评测会奖励检索失败。对资料范围不完整的知识库,只能说在当前已核对的范围内未发现依据,不应声称整个企业不存在该规定。

准备相邻但不同的测试题

题目预期行为
询问已发布的本年度标准引用正确来源回答
询问尚未发布的下年度标准说明缺少依据,不照搬今年数值
询问标准但未说明地区解释地区差异并索取必要条件

还可以加入看似常识但需要企业事实的问题,例如“我们部门是否允许这类申请”。模型从一般经验可以生成很多合理解释,但合理不等于本单位已经规定。测试应检查它是否把通用建议标清,而非装成企业正式答案。

让拒答包含可执行的信息

合格的回复可以说明检索到了哪些相关资料、缺少哪一项关键依据,以及可以补充什么信息继续核查。例如“已找到国内出差标准,未找到境外项目的补充说明,请确认项目地区”。不必列出所有内部过程,只保留对用户下一步有用的信息。

如果只是反复说“抱歉无法回答”,用户仍不知道是资料不存在还是问法不清。相反,也不应在拒答后附上一长段未经证实的猜测,让不确定结论看起来像答案。可提供一般性的处理建议,但应明确其性质。

同时检查乱答与误拒答

评测时分别统计无依据仍作答和有充分依据却拒答的样本,并检查业务关键问题。只追求更高拒答比例,可能让系统变得没有用;只追求回答率,又可能鼓励编造。需要用具体题目与证据讨论取舍。

当一条问题由无答案变成有答案,例如新制度正式进入资料范围,应更新测试集的依据版本,而不是保留过时标签。拒答边界依赖当前可用内容,因此测试集也需要维护。把这些变化记录清楚,才能判断系统是在进步,还是只是资料变多了。

知识库没有答案时,怎样让 AI 明确说不知道
本文提出的工作流程示意;不代表具体产品已实现或经过性能实测。

在企业文档中验证

如果要把本文方法用于企业文档,可预约演示,结合实际资料核对协作、权限与集成方式。

需要在自己的环境中验证时,可先了解私有化部署方案,再确定试用范围与验收要求。

参考资料

相关文章