Tag: Pre-Training

All the papers with the tag "Pre-Training".

• Rewriting Pre-Training Data Boosts LLM Performance in Math and Code

  grok-3-latest

  Score: 0.81

  Published:2025年5月5日 at  at 07:38

  #LLM, #Pre-Training, #Data Quality, #Code Generation, #Mathematical Reasoning

  本文通过系统性重写预训练数据，构建 SwallowCode 和 SwallowMath 数据集，显著提升了大型语言模型在代码生成和数学推理任务上的性能，提出了一种创新的‘改造并保留’数据处理范式。