Tag: Context Extension

All the papers with the tag "Context Extension".

• FreqKV: Frequency Domain Key-Value Compression for Efficient Context Window Extension

  grok-3-latest

  Score: 0.66

  Published:2025年5月1日 at  at 14:53

  #LLM, #Context Extension, #KV Cache, #Frequency Domain, #Compression

  本文提出 FreqKV 方法，通过频率域中 KV 状态的低频分量保留实现高效压缩，显著扩展大型语言模型的上下文窗口，同时保持性能和降低计算与内存开销。