Tri Dao

SSM具有良好的渐近性，但不断错过Transformers免费获得的推理优点，如规格解码和量化。事实证明，我们只是没有缓存正确的内容。FlashAttention、Mamba扫描、分页KV背后的相同IO感知技巧。许多重大胜利并不是新的架构，只是人们认真对待内存IO。