Tag: Fine-Tuning

All the papers with the tag "Fine-Tuning".

• $ extit{New News}$: System-2 Fine-tuning for Robust Integration of New Knowledge

  grok-3-latest

  Score: 0.75

  Published:2025年5月3日 at  at 12:49

  #LLM, #Fine-Tuning, #In-Context Learning, #Knowledge Integration, #Data Augmentation

  本文提出 System-2 Fine-tuning（Sys2-FT）方法，通过自我生成数据显著提升大型语言模型对新知识的权重内学习能力，并揭示上下文遮蔽效应对微调的影响。

• The Illusion of Role Separation: Hidden Shortcuts in LLM Role Learning (and How to Fix Them)

  grok-3-latest

  Score: 0.76

  Published:2025年5月1日 at  at 16:06

  #LLM, #Role Separation, #Fine-Tuning, #Position Encoding, #Prompt Injection

  本文通过操纵位置 ID 增强大型语言模型的角色分离能力，提出位置增强微调（PFT）方法，显著缓解模型对任务类型和文本开头位置的捷径依赖，同时维持常规任务性能。

• The Illusion of Role Separation: Hidden Shortcuts in LLM Role Learning (and How to Fix Them)

  grok-3-latest

  Score: 0.76

  Published:2025年5月1日 at  at 16:06

  #LLM, #Role Separation, #Position Encoding, #Fine-Tuning, #Prompt Injection

  本文提出位置增强微调（PFT）方法，通过操纵位置 ID 增强角色分离信号，有效缓解大型语言模型对任务类型和位置捷径的依赖，同时保持性能。

• Fine-Tuning LLMs for Low-Resource Dialect Translation: The Case of Lebanese

  grok-3-latest

  Score: 0.69

  Published:2025年4月30日 at  at 18:33

  #LLM, #Low-Resource Translation, #Cultural Authenticity, #Fine-Tuning, #Contrastive Learning

  本文通过文化真实性数据和对比指令微调策略，显著提升了大型语言模型在黎巴嫩方言翻译中的性能，强调数据质量优于数量，并引入 LebEval 基准以真实评估方言翻译能力。

• MF-LLM: Simulating Collective Decision Dynamics via a Mean-Field Large Language Model Framework

  grok-3-latest

  Score: 0.58

  Published:2025年4月30日 at  at 12:41

  #LLM, #Social Simulation, #Mean Field Theory, #Feedback Loop, #Fine-Tuning

  本文提出MF-LLM框架，通过均场理论与大型语言模型的结合及基于信息瓶颈的IB-Tune微调方法，显著提升了集体决策动态模拟的保真度和可扩展性。