文档 Agent 试用结束，怎样判断它真的省了时间？
评估文档 Agent 是否省时，要比较同等质量要求下，一批任务从开始到交付所需的人工投入。准备资料、写提示、核对来源、修改结果，以及失败后的人工补做，都应记入。只比较“手工写完”和“AI 生成完”的时间，容易把后续工作漏掉。
同时保留任务的经过时间：机器运行时，人可能已经转做别的事；人工投入下降，也不一定意味着交付更快。试用报告最好分别回答：结果是否合格、人少做了多少工作、交付是否及时。
先写两张任务卡，再开始计时
“帮我整理一下文档”没有明确终点。先为常用任务写出交付物、允许使用的资料和合格条件。下面是两种虚构的内部协作任务示例，可按实际业务替换。
任务 A：把项目会议记录整理成行动清单
- 输入
- 一份固定版本的会议记录，以及项目术语说明。
- 交付物
- 一份同事能够继续维护的行动清单。
- 合格条件
- 每项行动都有原文依据；责任人和期限与原文一致；未确定的事项明确留空，不推测补齐；不遗漏已确认的行动。
- 计时终点
- 核对者确认清单可交付。生成了表格或保存成功，都还不能单独算作完成。
任务 B：回答一项内部制度问题并给出依据
- 输入
- 限定范围内、指定版本的制度资料和一个具体问题。
- 交付物
- 结论、适用条件，以及可定位的文档段落。
- 合格条件
- 答案与引用相符，例外条件没有遗漏；资料不足时说明缺少什么，不编造结论。
- 计时终点
- 核对者确认答案有据可查。若必须继续找资料或重写答案，相关人工时间仍要累计。
这种区分与 Anthropic 的 Agent 评估说明一致：执行过程有助于诊断，最终结果则要通过任务结束后的状态核验。落实到协作文档，就是查看最后交付的内容，不能只听 Agent 报告“已完成”。
把“人花了多久”和“过了多久”分开
- 人工投入时间
- 累计所有参与者实际处理这项任务的时间，包括提交资料、提示调整、核对、修改和异常补做。两人同时各核对五分钟，应记十个人工分钟。
- 任务经过时间
- 从开始处理到合格交付的自然时间，包含机器运行、排队和等待。若任务最终失败，记录停止时间与失败状态，不把它记成已交付。
- 一次性准备成本
- 账号接入、资料整理、模板配置和学习操作另列。评估长期使用时，再说明按什么任务量分摊；不要把它悄悄省略，也不要与每次任务耗时混为一项。
用一张任务表保留成功与失败
一行记录一次完整业务任务执行。Agent 重试多次才得到一个交付物，仍是同一次任务中的多次尝试；不要拆成多个成功样本。任务开始后失败、由人接手或放弃，都保留在记录中。
| 记录项 | 需要留下什么 |
|---|---|
| 任务与材料 | 任务类型、输入版本、资料范围和难度分组。 |
| 执行条件 | 纯人工或 Agent 辅助；使用的模型、工具及配置版本，工具重试次数。 |
| 人工投入 | 准备、核对修改、异常补做分别记录，再求和。 |
| 经过时间 | 开始、合格交付或失败停止的时间；总经过时间包含排队，可另列等待时长。 |
| 结果与返工 | 合格、不合格或未完成；由谁核对，是否人工接手，缺陷在哪里。 |
| 运行费用 | 可取得的模型与工具费用；未取得时保留未知。 |
先报告“合格任务数／全部已开始任务数”，再报告整批人工投入和经过时间分布。若十二项任务中九项合格，应展示九／十二；不能先删除三项失败，再把结果写成全部成功。这里的数字仅用于解释分母，不是石墨产品测试数据。
比较节省的人工时间时，使用匹配任务集合的“纯人工总投入 − Agent 辅助总投入”。后者包含失败后的补做。若两组交付质量或完成数量不同，先说明差异，不直接据此宣称效率提升。
让两种做法接受同一套检查
- 先固定任务集合和合格条件。从准备落地的内部流程选任务，覆盖简单、复杂、资料缺失等情况。使用有权处理的材料，测试数据也遵守企业的信息边界。
- 保留人工基线。让熟悉业务的人按现有方式完成可比任务，使用同一套核对标准。不要用最快的一次 Agent 演示对比新人第一次手工操作。
- 控制熟悉程度的影响。同一个人第二次处理相同材料通常更熟悉。可使用难度相近的不同材料，并交叉安排执行顺序；无法消除的差异写入结果。
- 固定一轮中的工具版本。记录模型、提示模板和连接方式。版本变化后重新跑保留的任务集合，避免把不同配置的成绩拼成一组。
- 用结果回查过程。对合格与失败任务都抽查来源和交付物。必要时由不了解执行方式的同事核对，降低“AI 应该更好”的预期影响。
OpenAI 的评估建议强调任务相关的测试、代表性数据和持续评估。上面的记录表是面向文档协作的落地方法，不是某个厂商给出的统一达标线。任务少时保留逐项结果，先找问题，不急于推算全公司的节省比例。
试用报告最终要支持一个采用决定
结果可靠、人工投入下降：可在相同任务类型中逐步扩大试用，再观察更长周期。生成很快、核对返工很多：优先改善资料和交付要求，或缩小任务范围。只有少数任务有效：按任务分开采用，不用总体平均数掩盖差异。
越权读取、误写共享内容等问题应单独处理，不能被平均省时抵消。有关接入边界，可结合私有化文档 Agent 的五项验收检查；效率评估回答的是通过这些前提后，任务是否值得采用。
评估企业内部使用的石墨 Drive／办公套件私有部署时，可以从一项“读取已有文档—整理结果—同事继续维护”的任务开始，确认当前部署版本的连接方式与权限条件，再按同一口径记录。若需求是把文档能力嵌入已有业务系统，应另看石墨 Office SDK 私有部署。两条产品线的具体接口和 Agent 接入方式需分别核实。
准备评估内部文档协作方案，可以带着任务样例、部署要求和合格条件预约演示，沟通可行的产品范围和试用安排。
在企业文档中验证
需要在自己的环境中验证时，可先了解私有化部署方案，再确定试用范围与验收要求。