训练
上下文学习 (In-Context Learning)
上下文学习是指大语言模型仅凭提示词中给出的示例或说明即可学会执行新任务的能力,整个过程无需更新任何权重,而是依靠少样本或零样本示范在推理时直接完成,因此被视为一种涌现能力。
上下文学习(In-Context Learning,ICL)是指大语言模型仅凭提示词中提供的示例或说明便能完成新任务的能力,整个过程不更新任何权重。与永久改变模型参数的微调不同,上下文学习是临时性的:模型只在当前会话中”学习”,并在推理时直接运用这些知识。
按所给示例数量可分为不同形式:在零样本提示中,模型仅获得任务描述;而少样本提示则提供若干输入—输出对,模型据此推断出所需的模式。该术语因 GPT-3(Brown 等,2020)而广为人知——它证明了足够大的模型能够”纯粹通过文本、无需任何梯度更新”来解决新任务。
上下文学习通常被视为随模型规模增长而增强的涌现能力。在 2025 至 2026 年间,随着上下文窗口不断扩大,其实用价值日益凸显:包含数百个示例的多样本上下文学习在部分任务上已接近微调模型的水平,同时也是思维链等提示技术的基础。