Tag: In-Context Learning

All the papers with the tag "In-Context Learning".

• Rethinking Invariance in In-context Learning

  grok-3-latest

  Score: 0.66

  Published:2025年5月8日 at  at 06:59

  #LLM, #In-Context Learning, #Permutation Invariance, #Attention Mask, #Generalization

  本文提出 Invariant In-Context Learning (InvICL) 算法，通过设计不变性注意力掩码和两阶段编码策略，实现上下文学习对顺序的不变性，同时确保信息不泄露和上下文相互依赖，显著提升性能和泛化能力。

• Frog Soup: Zero-Shot, In-Context, and Sample-Efficient Frogger Agents

  grok-3-latest

  Score: 0.61

  Published:2025年5月6日 at  at 19:51

  #LLM, #Reinforcement Learning, #Zero-Shot Learning, #In-Context Learning, #Sample Efficiency

  本文展示了推理型 LLM 在零样本 Atari 游戏 Frogger 中的潜力，并通过 LLM 示范数据提升传统 DQN 智能体 35.3% 的样本效率。

• Bye-bye, Bluebook? Automating Legal Procedure with Large Language Models

  grok-3-latest

  Score: 0.59

  Published:2025年5月5日 at  at 16:18

  #LLM, #Legal Citation, #Procedural Rules, #In-Context Learning, #Rule Following

  本文通过原创数据集和实证评估，揭示了大型语言模型在《Bluebook》法律引用格式化任务上的局限性（准确率仅 69%-74%），为 LLMs 在法律程序性任务中的应用提供了重要基准和研究方向。

• $ extit{New News}$: System-2 Fine-tuning for Robust Integration of New Knowledge

  grok-3-latest

  Score: 0.75

  Published:2025年5月3日 at  at 12:49

  #LLM, #Fine-Tuning, #In-Context Learning, #Knowledge Integration, #Data Augmentation

  本文提出 System-2 Fine-tuning（Sys2-FT）方法，通过自我生成数据显著提升大型语言模型对新知识的权重内学习能力，并揭示上下文遮蔽效应对微调的影响。

• On the generalization of language models from in-context learning and finetuning: a controlled study

  grok-3-latest

  Score: 0.84

  Published:2025年5月1日 at  at 17:02

  #LLM, #In-Context Learning, #Finetuning, #Generalization, #Data Augmentation

  本文通过控制实验揭示上下文学习在系统性泛化任务上优于微调，并提出通过上下文推理增强微调数据的方法，显著提升了微调的泛化能力。