Papers

All the papers so far.

• Learning Dynamics in Continual Pre-Training for Large Language Models

  grok-3-latest

  Score: 0.77

  Published:2025年5月12日 at  at 17:47

  #LLM, #Continual Pre-Training, #Scaling Law, #Distribution Shift, #Learning Rate Annealing

  本文提出一个 CPT 缩放法则，通过解耦分布偏移和学习率退火的影响，量化持续预训练过程中损失变化规律，并预测任意训练步骤下的性能表现，为超参数优化提供指导。

• Overflow Prevention Enhances Long-Context Recurrent LLMs

  grok-3-latest

  Score: 0.79

  Published:2025年5月12日 at  at 17:45

  #LLM, #Long Context, #Recurrent Models, #Memory Overflow, #Inference Optimization

  本文提出 OPRM，一种训练无关的推理方法，通过分块处理缓解循环模型内存溢出问题，显著提升长上下文任务性能，并保持亚二次方复杂度优势。

• Agent RL Scaling Law: Agent RL with Spontaneous Code Execution for Mathematical Problem Solving

  grok-3-latest

  Score: 0.69

  Published:2025年5月12日 at  at 17:23

  #LLM, #Reinforcement Learning, #Tool Integration, #Mathematical Reasoning, #Scaling Law

  本文通过ZeroTIR框架，揭示了Agent RL Scaling Law，验证了基础LLM可通过强化学习自发学习代码执行工具，显著提升数学推理能力。

• Lightweight End-to-end Text-to-speech Synthesis for low resource on-device applications

  grok-3-latest

  Score: 0.56

  Published:2025年5月12日 at  at 16:10

  #TTS, #End-to-End, #Lightweight Model, #Speech Synthesis, #Low Resource

  本文提出了一种轻量级端到端文本转语音模型（LE2E），通过联合训练声学模型和声码器，在低资源设备上实现了高质量实时语音合成，参数量减少90%且速度提升10倍。

• QuantX: A Framework for Hardware-Aware Quantization of Generative AI Workloads

  grok-3-latest

  Score: 0.58

  Published:2025年5月12日 at  at 13:13

  #LLM, #Quantization, #Hardware Awareness, #Post-Training, #Compression

  QuantX 提出了一种硬件感知的量化框架，通过针对权重分布差异和硬件约束设计多种量化策略，将大型语言模型和视觉语言模型量化到3比特，同时保持性能损失在6%以内，显著优于现有方法。

• ToolACE-DEV: Self-Improving Tool Learning via Decomposition and EVolution

  grok-3-latest

  Score: 0.71

  Published:2025年5月12日 at  at 12:48

  #LLM, #Tool Learning, #Self-Evolution, #Task Decomposition, #Data Generation

  本文提出 ToolACE-DEV 框架，通过任务分解和自进化机制显著提升大型语言模型的工具调用能力，减少对高级模型的依赖，并在多个基准数据集上取得优异性能。