对照的是他们上一套大模型

GitHub 今天说明了密钥扫描里的新分类器。线上 A/B 相对原先调用大模型的流水线,仓库所有者加权的告警接受率高 11.5%。按所有者加权,是为了避免有人一次批量处理大量告警把平均数拉歪。推送之后扫描的中位执行时间低 86%。紧凑分类器的服务成本比远程大模型低 98% 以上。

同一批公开流量上的离线比较,新流水线的精度高 13%,召回高 19%。

[1]
一只合上的炭黑色文件夹,侧面能看见页边,页边有一小块赭红。
一只合上的炭黑色文件夹,侧面能看见页边,页边有一小块赭红。, AI 生成插画,不是新闻照片

正则先捞,小模型再分辨

扫描仍是两段。正则先高召回地找出像凭证的字符串。微调过的 ModernBERT 再看候选值和文件路径、变量名、周围代码,决定它像不像真密钥。模型导出成 8 位量化的 ONNX。

因为推送后的扫描变快,通用密钥检测才扩到推送保护,在变更进入仓库之前返回结果。GitHub 写明,模型没有取代正则。

[1]

训练样本里有合成的难例

训练数据包括产品里的反馈和人工复核、正则捞出的候选,以及针对文档占位符、测试夹具和校验和准备的合成样本。合成样本要先过确定性检查和模型质量检查。阈值先离线选,再在类似生产的流量上验证。

这些提升都相对 GitHub 自己的旧流水线。文章没有给误报的绝对比例,也没有外部审计。

[1]