Rohan Paul
@rohanpaul_ai
通过 TypeLLM，开源与类型安全 AI 相遇。
聊天模型为您提供回复，决策模型为您提供选择，但 TypeLLM 旨在通过一次 API 调用运行您的整个工作流程。
大多数生产管道需要介于两者之间的东西：几个键入的答案，一些依赖于其他答案，一些只应在某些条件下存在。
TypeLLM 将整个形状作为一个 JSON 模式，并将其作为单个共享上下文上的依赖关系图执行。
类型化 LLM 输出，内置开放式。
您可以从库存 Qwen 检查点获取架构保证的输出，而无需触及其权重。
保证来自请求的构建和解码方式。
TypeLLM 位于 SGLang 上，并将 JSON 模式转换为受限解码：一个用于枚举或布尔值的评分标记、用于数字的有界数字以及一个重用缓存前缀的依赖关系图。
因此，字段不能返回其枚举之外的值，因为解码器只考虑允许的候选值。
https://x.com/TypeLLM/status/2110281195380736292/video/1
