Sebastian Raschka

目前正在准备一篇更大的开源 LLM 盘点。不过眼下先分享其中一个格外醒目的有趣趋势。也就是说，从全注意力向混合注意力的过渡看起来仍在继续。 2025 年时，仍有许多全注意力模型，同时开始转向“部分全注意力”混合架构。 2026 年上半年，“部分全注意力”混合架构的趋势仍在延续。 而现在，到了 2026 年下半年，“部分全注意力”混合架构与完全不再使用全注意力的模型已经各占一半。而且是的，现在已经没有全注意力模型了。 这里的图例含义是： - 全程全注意力 = 每一层都使用全局 MHA、GQA、稠密 MLA、CCA。 - 部分全注意力 = 全局部注意力与以下方法混合：滑动窗口/分块注意力、Gated DeltaNet、KDA、Mamba-2、Lightning Attention、卷积、稀疏注意力。 - 无全注意力 = 零个稠密全局层。 主要含义是，这一趋势正走向让长上下文用起来更便宜。这意味着这些架构更适合长文档和长对话、大型代码库，当然还有大量依赖工具调用的智能体用例。 具体来说，这里有两种不同的效率收益： 1) 更少的注意力计算，因为稀疏注意力等方法会从上下文中选择 token 或块，只对该子集执行昂贵的注意力运算。（注意，它仍然可以从远处位置检索信息。） 2) 在某些架构中保留上下文所需的内存更少，也就是说像 Gated DeltaNet 这样的循环层会维持一个固定大小的状态。这当然能节省内存，但压缩历史会给精确检索带来挑战，所以它们通常会与传统注意力方法（稀疏或全注意力）交织使用。