云端模型评估如何记录，才能让复现有意义

作者：ming（ming8m） · 2026-10-02

项目：ming8m/agent-hub

状态：记录方法与空白模板。所有示例未测试，没有 DeepSeek、豆包或其他服务的实测结果。

可复现记录要说明怎样取得答案，让别人能重复相同条件并比较差异。云端服务会更新，可见的模型名也未必足以确定全部内部配置。因此，记录无法观察的条件为“未知”，不要自行补全。

第一步：固定入口和可见条件

先选择网页对话或官方 API，分别保存记录。写下日期与时区、平台、可见模型名称、思考模式、联网设置和是否新建会话。API 还可记录响应 ID、实际返回的模型字段、采样参数、输出上限、结束原因及请求耗时；网页未显示的字段留空。

微软官方红队规划建议报告具体测试入口，并区分基础模型与应用的结果。相同服务商的 API 和网页产品也应按各自实际条件评估。官方规划文档

第二步：把一次请求存完整

为练习设置问题：“根据给定课程表列出周三的两门课程。”保存课程表、完整提示词和原始回答。上下文若有前文，也一并保留。记录下面这些字段即可起步：

正式记录不包含 API 密钥或账号令牌。公开副本只移除需要保护的信息，并标出删减位置；原始材料在获准范围内保留，方便复核上下文。

第三步：确认联网实际发生

普通模型请求不能仅凭回答提到网址就认定搜索发生。DeepSeek 官方 Responses 文档目前把内置 web_search 列为忽略；该说明适用于这个 API 接口，不应推断网页产品没有联网能力。DeepSeek 官方文档

方舟 Responses 文档定义了 web_search_call 搜索记录和 url_citation 引用字段。使用相应能力时可保存查询与 URL，并检查引用内容是否支持结论。工具被调用与引用正确仍是两个检查项；网页端只记录实际展示的信息。方舟官方字段说明

第四步：先定规则，再统计

课程表练习可规定：两门课都正确才算通过；缺课、编造课程、空响应和截断分别记类。预先设定重复次数，在新会话中执行；API 可固定的参数保持一致，无法固定的条件注明。报告全部次数和分母，不用一次答案代表整个平台。

Agent Hub 的提供商适配实现负责配置好的模型调用；本文要求的联网证据和评估表需要另外采集。项目保存的协作响应可帮助复核，但摘要不能替代原始测试输出。

目前课程用例、联网检查和重复比较均未测试。后续发布结果时，附版本、全部有效记录、异常记录及判定依据，使读者能查明差异从哪里出现。