Skip to content

浏览器评测证据绑定实现后的运行与代码快照 #84

Description

@mindcarver

结果

浏览器评测证据绑定实现后的运行与代码快照。

用户问题

浏览器记录只校验字符串,缺失文件也可通过;证据在实现前加载。

产品追溯

  • 权威:当前对话批准的审计建议,v0.16.0 基线。
  • PRD / FR:不适用,既有插件修复。

项目协调

范围内

evals/thinloop/**、tests/thinloop-current-eval.test.mjs、EVALUATION.md

范围外

其他审计建议、权限/生产配置、全模型 benchmark 和无关重构。

已确认决策

保留自主交付和独立验收;采用上述最小修复;结果不表示真实模型整体增益。

方案确认

  • 需要确认:否
  • 状态:默认免确认;当前对话已授权实施。

失败与边界场景

已知反例及缺失证据不可提升为 PASS。

验收条件

  • A1:实现完成后再采集/导入浏览器证据,并绑定精确 runId、case、condition 和实现代码快照;旧记录或跨运行记录拒绝。
  • A2:证据产物必须存在且内容哈希匹配;变更产物或实现后证据失效;缺少真实浏览器记录保持 BLOCKED。
  • A3:支持有明确步骤的先实现、后采集、再评分路径;离线重评分使用冻结证据,不能跳过校验。
  • A4:真实浏览器在修复后的 fixture 完成 Save 交互,观察 Saved Ada,保存并校验证据;负例覆盖缺失/过期/错运行/错条件。

实施方案

先写针对性失败用例,再修改实际检查路径,并同步直接耦合文档。

实施任务

  • T1:复现并补回归用例。
  • T2:最小实现及直接耦合文档。
  • T3:完整工程检查、独立验收、PR、合并及清理;适用时刷新安装。

验证与最终完成审计

  • A1/A2/A3/A4:PASS。独立真实Chrome交互Save→Saved Ada、截图与trace复核、实际导入与冻结;15个负例拒绝,移除fixture后离线重评分PASS。完整215/215与精确head CI通过。
  • T1/T2/T3:DONE。
  • PR:修复浏览器评测证据的实现后绑定与离线复验 #89 MERGED,验收head 037427e;合并提交 f626d59
  • 精确差异:仅8个授权evals/tests/docs文件。页面证据见独立验收评论;未修改产品fixture源码。
  • main:本地与origin/main同步为上述合并提交,包含独立验收head(祖先校验通过)。
  • 安装处置:没有安装载荷修改,不要求刷新。
  • 清理:Execute已删除任务工作树thinloop-84-browser、本地和远端codex/84-browser-evidence;无任务连续性文件。
  • 剩余阻塞:无。
  • 证据边界:真实浏览器测试证明fixture流程和证据导入;未运行真实模型benchmark,哈希不独立证明动作真实性。

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions