Rohan Paul

决策模型值得比现在更多关注。 看看 @subquadratic 的 SubQ Snap 延迟数字 10 万 token 660ms，38.4 万 token 2.5 秒。输入大约 3.84 倍，时间大约 3.8 倍——这就是线性缩放的样子。若用标准二次注意力，仅注意力成本在这段区间就会涨约 15 倍。 这种缩放让决策模型能在一次调用里装下 38.4 万 token 的代码、文档、日志和截图；多数模型卡在 3.2 万到 6.4 万，逼你切块。 输入每百万 token 0.05 美元，输出免费。 许多现有决策模型基本是短上下文工具。3.2 万 token 够给工单分类，但不够对照整个代码库来判断一次改动。 现在情况变了。