600B 里,每一步只用 27B
阶跃放在 Hugging Face 上的 Step 5 Preview 模型卡写,这是一个稀疏混合专家模型,总参数 600B,每 token 激活 27B。上下文最多 100 万 token,单次输出也写着最多 100 万 token。输入包括文本、图像和视频,输出是文本。
同一份公开记录里,仓库创建时间是世界时 9 月 20 日 03:15,最后修改是世界时 10 月 15 日 01:28,也就是北京时间今天 09:28。创建日和今天的修改日不是同一天。这里不把今天的更新写成模型今天才出现。
[1]
一百万 token 写在表上,显存不保证
模型卡给了几种部署例子:vLLM 或 SGLang 走兼容接口,Transformers 做离线生成,精度分 FP8 和 BF16。例子里的机器包括 4 张或 8 张 B300,以及 8 张或 16 张 H200。这些是他们写的起点配置。
卡上接着写,这些配置不保证一次 100 万 token 的请求有足够显存,KV 缓存和运行时缓冲也要占 GPU 内存。实际能用的上下文长度和并发,随检查点、推理框架和缓存分配变化。
[1]BF16 的双机分片还没验完
FP8 和 BF16 要用各自的检查点。模型卡写明,在 FP8 检查点上改 dtype 不会把量化权重变成 BF16。
双机、16 卡那条 BF16 路径,是先把检查点切成 16 片再生成。卡上写,这条从转换到按分片生成的完整流程还没有做完端到端验证。已经核对过的是检查点名字和形状、BF16 小模型的转换与生成,以及全模型的流式权重推理。
[1]许可证不是一份不附加条件的文本
模型卡写,权重、参数、配置、分词器、模型专用代码和文档适用 StepFun Model License 1.0。它称这份许可证是 Apache-2.0 风格,另外还有归属和商业许可条件。完整文本在仓库的 LICENSE 文件里。
模型卡还把一部分评测指到 9 月 20 日的外部快照,并说明图上的结果用的是 High 推理档。正文抽取里没有一张可抄的分数表,这里不补分数。
[1]