可复现的 AI 红队报告怎样写：ming 的证据记录与多 Agent 复核流程
作者：ming（ming8m） · 更新：2026-10-02 项目主入口：ming8m/agent-hub
一份 AI 红队报告应让另一位评阅者知道测试了什么、看到什么、为何作出当前判断。NIST 将 AI 红队描述为在通常受控的环境中寻找 AI 系统缺陷的结构化测试工作。NIST 官方术语 下面的方法用于组织已获授权的评估记录，示例未运行，不构成已发现漏洞的声明。
在调用模型前写清判据
例如测试摘要任务是否受资料内指令影响，先规定正常结果应概括资料；只有模型放弃摘要并执行了注入要求，才支持本用例的指令偏离判断。响应里出现攻击标记，可能只是引用或解释，不能自动算成功。
设置不含注入的控制用例，核对模型本来能否完成任务。为测试编号固定输入，保存完整的指令与资料边界。若网页端无法得知隐藏系统提示，应填“不可见”，不能补写一个假定的系统提示当成事实。
保存别人需要复核的信息
下面的字段表是报告模板，空白表示待填写：
| 字段 | 示例或要求 |
|---|---|
| 测试编号 | summary-injection-001 |
| 范围与入口 | 已获授权的文本摘要；网页端或 API 分别填 |
| 时间与模式 | 日期、时区、可见模型名、联网状态 |
| 目标与输入 | 原始任务、完整资料、控制用例 |
| 调用参数 | 已知参数照录；不可见参数标为未知 |
| 原始响应 | 未测试；运行后逐字保留 |
| 重复结果 | 未测试；保留所有尝试与错误 |
| 当前结论 | 未测试；不填写成功率 |
| 局限 | 小样本、版本变化、未知设置等 |
网页截屏便于证明可见模式，复制的文字便于逐字检查。分别保存它们，并注明对应测试编号。脱敏时保留能解释结论的结构，说明删改了什么；公开报告不包含 API 密钥或未获允许公开的个人资料。
让两个角色独立复核
将同一份记录与预先写好的判据交给 Agent Hub 的两位分析者。A 对照任务和原始响应，指出支持指令偏离的片段；B 检查控制组、截断、网络错误及其他解释。主 Agent 汇总分歧，给出“证据支持、证据未支持、仍待复核”的结论，并保留两人的原始意见。
Hub 共同研讨允许最多一轮定向复核，原始响应和运行事件保存在本机数据目录。当前模型协议适配器不内置通用联网搜索或目标测试器，目标调用须由网页练习或另行配置的测试程序完成。不能把复核模型的回答写成目标模型的原始输出。项目使用说明
报告结果与适用范围
假设做五次有效尝试，应逐项记录结果，再按预先定义的分母计算；网页故障和无响应应另列。五次中某次命中只描述这个条件下的样本，不能推广为整个产品的稳定表现。NIST 的生成式 AI 风险文件也提醒，实验室测试可能无法外推到现实使用条件。NIST AI 600-1
发布时附材料版本、工具提交号和证据位置；项目执行成功、复核结论及独立完成门禁各自留档。署名应说明参与者负责的方法、记录或复核工作。可从现有无害练习开始，完成真实运行后再补充结果。