Rohan Paul
@rohanpaul_ai
这篇论文发现，用一条简短、直接、带少量示例的提示（上下文学习）就能让小型开源大语言模型在自然语言推理任务上，赶上更复杂的提示方法。
这项名为 NLI 的任务要求判断一个句子是由另一句推出、与之矛盾，还是无关。早期针对该任务的大语言模型研究依赖复杂的提示和采样技巧，并假定示例越多越好。
他们在 3 个 NLI 数据集上测试了 5 个小型开源模型，包括 Gemma 2 9B、Mistral 7B 和 Llama 3.1 8B。每个模型都只得到 1 条简短直接的提示，示例数量从 0 到 15 个不等，且没有推理步骤。
Mistral 7B 超过了同一模型用已发表的上下文采样方法所达到的 63.4% MNLI 准确率。Gemma 2、Llama 3.1 和 Mistral 在 MNLI 和 SciTail 上，用 1 个示例和用 15 个示例的得分大致相同。
