Tag: Knowledge Integration

All the papers with the tag "Knowledge Integration".

• $ extit{New News}$: System-2 Fine-tuning for Robust Integration of New Knowledge

  grok-3-latest

  Score: 0.75

  Published:2025年5月3日 at  at 12:49

  #LLM, #Fine-Tuning, #In-Context Learning, #Knowledge Integration, #Data Augmentation

  本文提出 System-2 Fine-tuning（Sys2-FT）方法，通过自我生成数据显著提升大型语言模型对新知识的权重内学习能力，并揭示上下文遮蔽效应对微调的影响。

• Memorization and Knowledge Injection in Gated LLMs

  grok-3-latest

  Score: 0.71

  Published:2025年4月30日 at  at 00:28

  #LLM, #Continual Learning, #Memory Embedding, #Gating Mechanism, #Knowledge Integration

  本文提出MEGa框架，通过门控LoRA模块将新记忆嵌入大型语言模型权重中，有效缓解持续学习中的灾难性遗忘，并在记忆回忆与知识整合任务上取得显著成果。