这一页面向希望让 AI 依据企业自有文档回答问题的 IT 负责人、服务商与业务负责人。产品手册、内部制度、客服知识库都可能成为语料，但真正决定价值的不是模型名称，而是问题集是否真实、权限是否清晰、引用是否可核对。
CNPS 协助界定评估范围、准备评估题集与验收方式，并在需要时结合 FastGPT 等开源方案讨论实施。Dify、RAGFlow、Qwen 与 DeepSeek 等公开项目是研究起点，不是 CNPS 已交付的客户项目；实施范围与软件许可需另行约定。
适用场景
产品手册与技术支持问答
售后或技术支持团队需要从多版本手册中快速找到准确答案，并能看到出处。评估重点是版本冲突的处理，以及引用是否真正支持答案。
内部制度与流程查询
员工询问报销、审批或合规流程。评估重点是权限边界：不同角色只能检索到自己应当看到的文档，过时制度需被及时下线。
多语言询盘初筛
出海团队收到中、英、阿等语言的询盘，需要依据产品资料给出初步回答再交给人工复核。评估重点是目标语言表现与拒答行为。
预期产出
范围明确的知识助手评估
需要提供的信息
已获授权的示例文档、目标语言、预计用户、部署要求与业务负责人。
如何评估
- 建立包含参考答案的评估题集。
- 核验引用、模型版本与拒答行为。
- 测试文档权限和更新流程。
- 比较完整运行成本与人工审核时间。
评估怎么做：分步流程
- 确定单一任务与业务负责人
选一个流程、一批已授权文档和一位对答案质量负责的人。识别过时与相互矛盾的版本，先决定哪份文档是权威来源。 - 在调优前建立评估题集
参照资料中心的方法准备题集：日常事实题、跨文档比较题、证据不足应拒答的题，以及权限限制测试题。题集与阈值在看到结果前约定。 - 用同一题集比较候选方案
固定文档、提示与模型版本，由业务审核人比较正确性、引用支持、拒答与延迟，并记录人工修正每个答案所需的时间。 - 明确运营与成本后再扩大范围
记录由谁更新内容、批准访问、审核错误答案，并梳理每一次外部模型调用。把部署、推理、导入、支持与人工审核计入完整成本，再决定是否推广。
常见误区
- 用公开榜单代替自己的数据测试
模型排名反映的是通用任务，不是你们的文档、术语与语言。同一题集下的表现，才是选型依据。 - 在看到结果后替换难题
把失败案例从题集里删掉会让评估失真。保留失败结果，把调优题与留出测试题分开，才能知道助手上线后的真实表现。 - 把开源可用等同于可以随意商用
开源项目的许可各有附加条件，例如多租户与品牌展示限制。上线前应核对确切版本的许可与托管服务条款。
试点中要记录的指标
测试开始前先把这些指标定下来，让决策依据你们自己收集的数据，而不是印象。
- 评估集上的正确率
按业务审阅者的判断回答正确的问题占比，并分别报告日常问题、跨文档比较与目标语言问题的结果。 - 引用支持率
打开后确实支持答案的引用占比。带有装饰性引用的答案按“无支持”计算。 - 正确拒答次数
面对文档中没有答案的问题，助手拒答的次数，以及编造答案的次数。 - 权限测试结果
针对角色的问题中，用户能检索到权限之外文档的次数。可接受的数字是零。 - 每个答案的审阅分钟数与成本
审阅者检查或修正一个答案的平均时间，加上每月的托管、推理与文档导入成本。
本页术语对照
报价单、规格书与 SDK 文档通常使用英文术语，因此这里同时列出中文与英文，并说明我们在本页、资料与报价中使用它们的含义。
- 评估集 Evaluation set
- 在任何调优之前商定的固定问题清单，附带期望答案、来源与通过标准。它是衡量每个候选方案的统一尺子。
- 依据检索的生成（RAG） Retrieval-augmented generation (RAG)
- 助手先从你们的文档中检索段落，再据此回答，而不是只依赖通用训练数据的做法。
- 引用 Citation
- 助手为答案给出的来源。只有审阅者打开后确认被引段落确实支持该陈述，这条引用才算有效。
- 拒答行为 Refusal behavior
- 文档中没有答案时助手的表现。正确拒答算通过；编造答案即使听起来合理也算不通过。
- 权限边界 Permission boundary
- 每个用户角色只能检索其被允许查看的文档，需要用针对角色的问题来测试。
- 业务负责人 Business owner
- 对答案质量、文档更新以及扩大或停止决定负责的具名人员。
- 留出测试 Held-out test
- 在调优阶段不使用、只在最后运行的问题，用来观察助手面对未经调整的问题时的表现。
- 完整运行成本 Total running cost
- 每月的托管、推理、文档导入、许可、支持与人工审阅时间合计，而不只是模型 API 价格。
需要确认的事项
实施范围与软件许可需另行约定。开源可用并不代表拥有无限制转售权。
常见问题
需要多少文档才能开始评估？
从一个流程所需的已授权文档开始即可，通常几十份足以建立有意义的题集。范围小而权威，比大量未清理的资料更有价值。
评估会把我们的文档发给第三方吗？
取决于部署方式与所选模型服务。即使应用自托管，模型或语音调用也可能向外部服务发送数据。我们建议先用非敏感文档评估，并逐项梳理数据流向。
CNPS 会负责实施吗？
CNPS 先协助界定范围、题集与验收方式。实施能力、商业范围与软件许可根据具体需求另行约定，不会在评估阶段默认包含。
助手能完全运行在我们自己的服务器上吗？
多种开源应用支持自托管部署，但它调用的语言模型、向量模型与语音模型仍可能是外部服务。先梳理每一次调用，再定义“本地部署”对你们的数据意味着什么。
文档更新后如何保持答案是最新的？
指定内容更新负责人，明确废止文档如何从检索范围移除，并在每次重要更新后重跑部分评估集。没有更新机制的助手会悄悄过时。
可以评估哪些语言？
中文、英文与阿拉伯语问题都可以纳入，但表现会因问题语言和文档语言而不同。把目标语言的问题写进评估集，而不是假设结果可以迁移。
继续了解
行业参考案例不作为 CNPS 已交付客户项目展示。