先定义什么叫答对
选择一个试点业务范围，整理当前有效资料，并请负责人为每道题写出“必须包含什么、不能出现什么、应依据哪份资料”。答案可以换一种说法，但适用对象、金额、日期和限制条件不能被省略或改变。有多个合理答案时，应先约定判定规则，避免测试人员凭感觉打分。
没有现成题库时，可先准备二十至三十道题作为起步建议；这不是行业标准，也不足以覆盖所有风险。应按业务复杂度、用户角色与问题后果继续补题，保留一部分未参与调试的问题用于验收。
至少覆盖五种处理场景
- 正常问答：用原问法、口语改写和带前提条件的问题，检查答案是否都适用。
- 资料缺失：询问文档没有规定的费用或例外，检查是否说明缺少依据，并给出合理下一步。
- 资料冲突：放入不同版本的规则，检查能否按已确认的生效范围处理；无法判断时应提示人工确认。
- 权限隔离：以不同测试账号提问，检查无权访问者能否通过追问、摘要或引用获取受限内容。
- 资料更新：修改或撤下测试文档后重跑相关问题，检查是否仍使用失效内容，并记录实际生效情况。
以上是建议的验收范围，不表示任何具体产品已经实现这些能力。若业务还涉及查询接口，应另测查询失败、空结果和身份失效。
用一条完整记录开始测试
每条记录建议包含：题号、问题原文、测试身份、前置条件、资料版本、预期答案要点、预期来源、实际答案、实际引用、测试时间、系统配置标识、判定、风险等级与复测结果。系统配置标识用于区分不同测试批次，便于追查变化。
假设示例：题号 KB-01，普通员工问“试用期能申请远程办公吗？”；测试资料《远程办公规则》演示版只规定正式员工每周可申请一天。预期回答应说明资料未规定试用期，不推断允许或禁止，并指向规则负责人。若回答“所有员工都可以”，即使引用了该文件，也应判为不符合预期。
同一题可再用无访问权限的测试账号提问，预期不能泄露受限规则。测试资料和账号均使用演示数据，不将员工真实记录公开。
记录失败原因，再决定开放范围
把失败分为资料本身不完整、检索到错误内容、答案误读、引用不支持结论、权限失效等类别，分别交给资料或系统负责人处理。复测应同时跑修复题与原先通过的相关题，检查修改有没有引入新问题。
如需汇总通过率，写清测试题数、通过题数、判定规则与批次，同时单列越权、编造金额等高风险失败；总体比例不能掩盖关键问题。验收门槛由业务负责人按用途和风险确定，未通过的场景可以继续转人工。
让测试跟着资料一起维护
保留测试题、依据和结果；规则、权限或系统配置变化后，重跑受影响的题目。将使用中发现的新问题脱敏后补入测试集，指定负责人处理反馈。若正在准备客服知识库，可结合AI 客服资料准备清单整理输入；需要讨论试点范围时，可查看AI 应用服务。
常见问题
知识库测试一开始要准备多少道题？
没有现成题库时，可先准备二十至三十道题作为起步建议；这不是行业标准，也不足以覆盖所有风险。应按业务复杂度、用户角色与问题后果继续补题，并保留一部分未参与调试的问题用于验收。
测试至少要覆盖哪些场景？
五类：正常问答（原问法、口语改写、带前提条件）、资料缺失、资料冲突、权限隔离、资料更新。以上是建议的验收范围；若业务还涉及查询接口，应另测查询失败、空结果和身份失效。
怎样判断一条回答不符合预期？
有依据的问题应答对并指出来源，适用对象、金额、日期和限制条件不能被省略或改变。例如演示资料只规定正式员工每周可申请一天远程办公，回答“所有员工都可以”时，即使引用了该文件也应判为不符合预期。
说明需要实现的功能和现有系统情况，咨询开发范围、时间与费用。