Tag: Attention Mask

All the papers with the tag "Attention Mask".

• Rethinking Invariance in In-context Learning

  grok-3-latest

  Score: 0.66

  Published:2025年5月8日 at  at 06:59

  #LLM, #In-Context Learning, #Permutation Invariance, #Attention Mask, #Generalization

  本文提出 Invariant In-Context Learning (InvICL) 算法，通过设计不变性注意力掩码和两阶段编码策略，实现上下文学习对顺序的不变性，同时确保信息不泄露和上下文相互依赖，显著提升性能和泛化能力。