Rohan Paul
@rohanpaul_ai
本文发现,大约有十分之一的座席技能要求座席跳过人工检查,而现有的技能扫描仪会忽略其中的大部分。
代理技能是代理按需加载的共享 SKILL.md 指令文件。像“推送而不确认”或“继续直到完成”这样的一行会从加载它的每个代理中删除人工检查点。
他们分析了公共 GitHub 存储库中的 153 万条英语技能,然后测试了来自 Cisco 和 NVIDIA 的 2 个可以调用 GPT-5.4 的开源扫描仪。
大约 88,000 项技能包含这样一条线,其中 70.1% 的线适用于所有上下文,而不仅仅是 CI 等情况。扫描仪在低于 0.4 的精度下捕获最多 46%,而同一个法学硕士,询问监督而不是恶意,在 0.71 的精度下捕获 61%。
将技能中的每一条“不要问”行限制在特定环境中,例如仅限 CI,并筛选监督技能,而不仅仅是恶意软件。