Tag: Self-Distillation

All the papers with the tag "Self-Distillation".

• FineScope : Precision Pruning for Domain-Specialized Large Language Models Using SAE-Guided Self-Data Cultivation

  grok-3-latest

  Score: 0.63

  Published:2025年5月1日 at  at 16:05

  #LLM, #Domain Adaptation, #Pruning, #Data Cultivation, #Self-Distillation

  FineScope 提出了一种通过 SAE 指导数据集构建、结构化剪枝和自数据蒸馏的框架，显著提升了大型语言模型在领域特定任务中的性能和计算效率。