Rohan Paul

本地模型可以将所有内容保留在云端，但仍然通过 CPU 缓存泄漏其答案。 因此，敏感部署应使不受信任的软件远离同一物理 CPU 核心。 泄漏来自常规步骤：将每个生成的令牌转换为可读文本。 该查找在 CPU 缓存中留下可重复的模式，另一个本地进程可以很好地学习这些模式，以便在不读取模型内存的情况下重建以后的响应。 在所有测试中，文本任务的全面响应攻击成功率约为 56% 至 93%。 在一种代码设置中它达到了 95.87%，而对 OpenClaw 的端到端攻击仍然达到了 30.12%。 该攻击针对的是本地 LLM 推理的正常部分，而不是特殊的模型设计。 有一个重要的限制。 攻击者必须已经在同一台机器上，共享相关的 CPU 资源，并分析相同的长期 LLM 进程。 因此，将模型远离云端并不能完全保证隐私。 对于敏感代理，本文指出更强的 CPU 隔离、更短的进程寿命以及在安全权衡合理的情况下禁用 SMT。