Rohan Paul

斯坦福大学的新论文发现，向小型人工智能语言模型展示更多示例并不能教给它尚未注意到的模式，例如单词的第三个字母。 发现法学硕士通过查找存储的标签从少数样本中学习，并且仅在标签重复时才打开该查找。 仅当某些标签重复时，早期信号才会打开此查找。每类有 1 个示例时，模型的正确率约为 20%，而每类有 6 个示例时，模型的正确率为 96%。 给一个模型十几个带有 foo 和 bar 等虚构标签的句子，它就可以在没有权重更新的情况下学习映射。早期的工作发现了其中的一部分，但没有发现它们是如何组合在一起的。 他们追踪了 Qwen3-4B、SmolLM3-3B 和 Llama-3.2-3B 的完整路径。每个标签标记都存储其句子的类别，并且大约 90 个后面的头将新句子与这些存储的类别进行匹配。 对于少样本提示，请重复每个标签几次并选择模型已经可以区分的类别，因为示例无法教授它所缺少的功能。 – arxiv。组织/abs/2611.05344 标题：“情境学习电路”