Tag: Embedding Layer

All the papers with the tag "Embedding Layer".

• Parameter-Efficient Transformer Embeddings

  grok-3-latest

  Score: 0.84

  Published:2025年5月4日 at  at 21:47

  #LLM, #Embedding Layer, #Parameter Efficiency, #Fourier Transform, #Token Representation

  本文提出一种参数高效的 Transformer 嵌入方法，通过傅里叶展开和轻量 MLP 替代传统嵌入矩阵，显著减少参数量和训练时间，同时在小规模实验中保持竞争性能。