Rohan Paul

从一份 300 页的 PDF 里抽出截止日期，不该需要一个会「写字」的模型。 决策模型现在有了 100 万 token 的窗口，还能吃图片。 ScaleDown 发布了 3 个小模型（Classify、Extract、Summarize），专门干那些智能体通常甩给昂贵大模型的简单、重复活儿。 比前沿 LLM API 快 200 倍、便宜 467 倍。每百万输入 token 只要 0.05 美元，输出免费。 更大的变化是：同一套设计现在覆盖分类、抽取和摘要。 和普通 LLM 的区别是：这些模型不是按 token 逐个写出答案。它们一次性读最多 100 万 token 的文本和图片，直接从输入里挑出答案，所以输出免费，结果也锁在你给的标签或原文里。 ScaleDown 的约束解码模型（Constrained Decoding Models）对输入做一次 prefill，再从中选出答案：一个标签、带原文偏移的片段，或该进摘要的段落。 https://x.com/neal_k_patel/status/2109978626124898587/video/1