Tag: Scaling Law

All the papers with the tag "Scaling Law".

• Learning Dynamics in Continual Pre-Training for Large Language Models

  grok-3-latest

  Score: 0.77

  Published:2025年5月12日 at  at 17:47

  #LLM, #Continual Pre-Training, #Scaling Law, #Distribution Shift, #Learning Rate Annealing

  本文提出一个 CPT 缩放法则，通过解耦分布偏移和学习率退火的影响，量化持续预训练过程中损失变化规律，并预测任意训练步骤下的性能表现，为超参数优化提供指导。

• Agent RL Scaling Law: Agent RL with Spontaneous Code Execution for Mathematical Problem Solving

  grok-3-latest

  Score: 0.69

  Published:2025年5月12日 at  at 17:23

  #LLM, #Reinforcement Learning, #Tool Integration, #Mathematical Reasoning, #Scaling Law

  本文通过ZeroTIR框架，揭示了Agent RL Scaling Law，验证了基础LLM可通过强化学习自发学习代码执行工具，显著提升数学推理能力。