209M 称三项第一,技术报告还没来
页面可见日期是 10 月 15 日。正文写,今天放出 Timestral,Mistral 的第一组时间序列基础模型。最大的一个只有 209M 参数,在 GIFT-Eval、TIME 和 fev-bench 三项公开基准上排第一,并且只用了此前最强大约三分之二的参数。在预训练、零样本模型里,它称五项指标都是第一,来自同一个检查点,没有做集成。结果已经提交到 GIFT-Eval 和 TIME 排行榜。技术报告写着随后才会来。
所以这里的“第一”是他们自己的评测,加上一次提交。它还不是排行榜页面上已经能点开、由榜单方确认的名次。页面结构化数据里另有一个 7 月 15 日,正文和可见日期都是 10 月 15 日,正文也写了今天发布。这篇按页面上的发布说明来写。
[1]
四个尺寸,CPU 上是几十到一百多毫秒
四个尺寸是 5M、28M、123M 和 209M,架构和训练配方相同。他们写,每个尺寸都处在准确率对模型大小的前沿上:同样大小,没有公开模型预报得更好。这句话的对照范围是他们画出的那张图,正文没有把图上每个点的分数列成表。
在 8 线程的普通服务器 CPU 上,用三周、每 15 分钟一条的历史去预报未来一天,5M 要 10 毫秒,209M 要 140 毫秒。28M 比 209M 快五倍。123M 的分数离 209M 在 0.2% 以内,延迟大约是 209M 的四分之三。他们还写,28M 在 GIFT-Eval 和 TIME 上胜过大约四倍大的 Chronos-2;209M 以更少参数胜过 TimesFM-3 和 Falcon-2.0。除了零样本、单检查点、不集成,这些对照的硬件条件正文没有再列。模型不需要用图形处理器做推理。
[1]先用合成数据,上下文从 8192 拉长四倍
训练数据的大部分是合成的。先在纯合成数据上预训练,上下文 8192,再用真实和合成混合的数据后训练,上下文是预训练的 4 倍。目标是 21 个分位数上的 pinball 损失。模型卡写,上下文长度 32768 个时间步,输出是 21 个分位数的概率预报,输入可以是多变量目标、只有过去的协变量,以及事先已知的未来协变量。许可证是修改过的 MIT。部署可以在本地、专有网络或与外网隔开的环境里。
他们举的例子是工厂里成千上万的传感器:振动、温度和压力一起预报,而不是每条序列各算各的。这是用法说明,不是一家工厂的实测误差。
[1]