StepFun

我们的技术博客“Inside Step 5 Preview: Architecture and Training for agent Work”，介绍了如何为更长、更复杂的agent任务共同设计架构和培训。 •用于隐式多跳推理的92层窄深架构 •稀疏GQA减少百万令牌上下文成本，使用8个令牌块索引将索引和top-k开销减少到1/8 •FP32精度的关键状态加上细粒度的梯度裁剪稳定的训练 •百万规模的可验证环境 •RL用于长期任务，在策略训练中内置上下文压缩 https://t.co/dbES4vwaFQ