Tag: Data Quality

All the papers with the tag "Data Quality".

• Bielik v3 Small: Technical Report

  grok-3-latest

  Score: 0.67

  Published:2025年5月5日 at  at 10:39

  #LLM, #Parameter Efficiency, #Tokenizer Optimization, #Data Quality, #Training Strategy

  本文通过创新架构设计、高质量波兰语数据处理和高效训练策略，开发了参数高效的 Bielik v3 模型（1.5B 和 4.5B），为资源受限语言的语言模型开发树立了新标杆。

• Rewriting Pre-Training Data Boosts LLM Performance in Math and Code

  grok-3-latest

  Score: 0.81

  Published:2025年5月5日 at  at 07:38

  #LLM, #Pre-Training, #Data Quality, #Code Generation, #Mathematical Reasoning

  本文通过系统性重写预训练数据，构建 SwallowCode 和 SwallowMath 数据集，显著提升了大型语言模型在代码生成和数学推理任务上的性能，提出了一种创新的‘改造并保留’数据处理范式。

• Bielik 11B v2 Technical Report

  grok-3-latest

  Score: 0.66

  Published:2025年5月5日 at  at 07:03

  #LLM, #Language Adaptation, #Parameter Efficiency, #Instruction Tuning, #Data Quality

  本文提出 Bielik 11B v2，一个针对波兰语优化的高效语言模型，通过深度扩展、创新训练方法和高质量数据，在波兰语任务上实现与更大模型相当的性能，同时保持参数效率和部署灵活性。