Tag: Private Inference

All the papers with the tag "Private Inference".

• Comet: Accelerating Private Inference for Large Language Model by Predicting Activation Sparsity

  grok-3-latest

  Score: 0.62

  Published:2025年5月12日 at  at 05:29

  #LLM, #Activation Sparsity, #Private Inference, #MPC, #Sparse Computation

  本文提出 *Comet* 系统，通过预测激活稀疏性并设计高效私有推理协议，在保护隐私的同时显著加速大型语言模型的推理，实现了 1.87× 到 2.63× 的性能提升。