要点
- Collinear AI / HF（2026-11-03）：CWE-bench v2 公开 100 个 Harbor 任务、91 个 CWE；程序化评分；另有 held-out。
- 质量门：真实工单感、可从指令推断评分点、行为而非补丁形态、起失败/参考过、功能保持、防背上游补丁；全手审。
- Gemini 4 Argon 67.8% pass@1 / 81.0% pass@4 领先；Opus 5.5 67.3%/78.0%；95 题被至少一模型解过，榜首仍约 19% 全败。
- 成本帕累托：DeepSeek V4.1 Flash 57.0%@$0.04；Opus +~10pt@$1.83；Gemini @$3.92。
Collinear AI 经 Hugging Face 博客在 2026 年 11 月 3 日公开 CWE-bench v2：100 个可公开跑的 Harbor 任务，覆盖 91 类 CWE。代理拿到真实开源仓库检出与短指令，目标是在不破坏既有功能的前提下找到并修复弱点；评分全程序化、可复现。
命题：开放网络攻防代理评测正在从私密红队黑箱转向可复现任务包；即便榜首在 pass@4 仍留下约 19% 从未过线，『修漏洞已被模型解决』与记分板不符。
[1]发生了什么
任务设计核对六问：指令是否像真实工单、可评分行为是否都能从指令推出、验证器是否看行为而非某一补丁形态、起始码失败/参考修复通过、功能仍在、已知上游补丁不能靠背答案过关。另有手审与 held-out 集（联系 cyber@collinear.ai）。
开源权重榜在数据集页靠 PR 结果文件更新；含 API 模型的总榜在 Space。公开集、grader 与 harness 开放；可用 Harbor 直接从 Hub 跑 cwe-bench@2.0。
证据有多硬
11 个已评模型中，Gemini 4 Argon 以 67.8% pass@1 / 81.0% pass@4 领先，Claude Opus 5.5 为 67.3% / 78.0%。95 题至少被一模型解过，说明并非无解；但榜首仍有约 19% 在所有尝试上失败。
成本帕累托：DeepSeek V4.1 Flash（1017）57.0% pass@1 @ $0.04/rollout，Opus 再加约十点 @ $1.83，Gemini 微领先 @ $3.92。程序化校验 + held-out 是相对私密「演示一次」更硬的设定——但仍是单一实验室策展的 100 题，不是全互联网漏洞分布。
[1]钢人与缺口
钢人：防御方必须穷尽攻击面；把 91 个 CWE 做成可复现 Docker 任务，比博客里的红队轶事更接近可审计能力声明。
缺口：公开集可被训练污染（held-out 部分缓解）；「真实工单感」仍是策展判断；pass@k 与美元成本来自作者运行配置，换 agent 脚手架可能移动名次；任务是找并修，不覆盖 exploit 武器化或供应链投毒全谱。
[1]谁付钱、下一步看什么
付钱的是安全产品与模型实验室的对外能力叙事：若营销写「自主修洞」，应用指向 CWE-bench 长尾与 $/point。监管与采购也可把「可复现 harness + held-out」当成最低透明度要求。
六个月盯：社区 PR 是否抬高开源权重；held-out 是否定期换血；RL 把同一环境当奖励是否缩小 19% 长尾。
[1]收束
CWE-bench v2 可辩护的句子是：公开、程序化、多 CWE 的代理修洞基准，正在让「网络安全能力」变得可复核——而当前前沿仍未吃掉约五分之一任务。 它不证明模型无用，也不证明 67% pass@1 可直接换生产自动补丁；它证伪的是「已经解决」的口号。
[1]