授权 AI 评估计划：先写范围，再组织 Agent 与证据
作者：ming（ming8m） · 更新：2026-10-02
项目规范入口：ming8m/agent-hub。本文依据源码 55809f1，提供计划与记录方法，没有宣称已经评估任何第三方系统。
一份可执行的评估计划应说明测谁、用什么身份、允许哪些行为、何时停止，以及凭什么判定成功。NIST 将 Rules of Engagement 描述为测试开始前建立的执行指引和约束；它让团队在已定义的活动范围内开展工作。NIST ROE 术语说明
对 AI 应用，还要明确被测的是网页会话、API 模型，还是具有检索和工具权限的完整应用。这些对象提供的证据不同。网页聊天中让模型生成一个标记，只能用于观察该会话的输出行为；要证明应用执行了操作，需要对应应用的运行证据。
建议的计划字段
| 字段 | 可填写的具体内容 |
|---|---|
| 授权与责任人 | 授权记录位置、授权方、评估负责人 |
| 目标与身份 | 明确网址或应用版本、测试账号角色 |
| 范围 | 允许的会话、接口、资料和动作 |
| 约束 | 时间窗口、请求预算、停止条件 |
| 判定 | 正常行为、失败条件、复现要求 |
| 交付 | 原始记录位置、脱敏方法、复核人 |
例如，给自有摘要应用做一次文本注入评估，可以把允许行为限定为提交无敏感资料、读取输出，规定遇到意外真实数据或范围外操作时停止。先跑不含冲突指令的控制输入，再提交相同事实加无害标记指令的版本。这是计划示例，尚未产生被测系统的结果。
把计划变成可复核记录
- 为每个用例分配稳定 ID，记录平台、模式、时间、应用版本、账号角色和相关配置。网页端没有可见模型版本时写“平台未显示”。
- 保存完整输入与输出；分别记录预期行为、实际观察和初步解释。不要以一段摘要替代原始记录。
- 标注控制组与待测组的唯一变化。出现异常后，在新会话或重置状态下按原步骤复现，记录未复现的情况。
- 让独立复核者引用用例 ID 检查证据；结果分为已观察、待复现、证据不足，并说明适用条件。
一个最小记录可以使用：case_id、scope_ref、input、output、expected、observed、reproduction、reviewer。这些是本文建议的记录字段，不是 Hub 内置的案件表单。对于工具执行，再补调用参数、返回值及实际状态变化；模型口头宣称执行不能填进该栏。
Agent Hub 可以把计划作为任务文本派发，保存工作者响应与事件，但任务文本不会自动验证授权、案件 ID 或验收条件。主 Agent 编排也不能自行扩展服务地址、凭据或命令；临时子 Agent 来自已批准模板。项目说明与编排边界
项目提供可选外部门禁接口，需要使用者配置可信校验模块。任务运行成功和外部验收通过应分别记录；发布报告前还应人工检查范围、证据和未知项。技术测试的计划、执行与分析可参考 NIST SP 800-115，本文将其中的通用工作思路应用于 AI 记录管理，不声称获得 NIST 认证。