Tag: Regularization

All the papers with the tag "Regularization".

• On the Robustness of Reward Models for Language Model Alignment

  grok-3-latest

  Score: 0.63

  Published:2025年5月12日 at  at 06:48

  #LLM, #Reward Model, #RLHF, #Over-Optimization, #Regularization

  本文揭示了奖励模型过优化的根源在于隐藏状态范数分散，并提出批次和为零正则化（BSR）方法，显著提升了奖励模型的分布鲁棒性和 RLHF 对齐效果。

• SEFE: Superficial and Essential Forgetting Eliminator for Multimodal Continual Instruction Tuning

  grok-3-latest

  Score: 0.64

  Published:2025年5月5日 at  at 09:09

  #LLM, #Multimodal Learning, #Continual Learning, #Instruction Tuning, #Regularization

  本文提出 SEFE 方法，通过 ASD 范式和 RegLoRA 分别解决多模态持续指令微调中的表面遗忘和本质遗忘问题，显著提升模型性能并实现最先进的遗忘缓解效果。