Summary: 本文提出了一种物理启发的能量转移神经网络（PETNN），通过模拟能量状态动态更新，显著提升了序列建模中长期依赖的捕捉能力，并在性能和效率上超越传统 RNN 和 Transformer 模型。
Keywords: RNN, Sequence Modeling, Long-Term Dependency, Neural Architecture, Computational Efficiency
Authors: Zhou Wu, Junyi An, Baile Xu, Furao Shen, Jian Zhao
Institution(s): Nanjing University, State Key Laboratory for Novel Software Technology
Problem Background
序列建模是机器学习中的核心任务之一，传统循环神经网络（RNN）由于梯度消失问题在处理长期依赖性（Long-Term Dependency）时表现不佳，而 Transformer 模型虽然有效捕捉长期依赖，但计算复杂度高，限制了其在资源受限场景下的应用。 本文旨在重新审视 RNN 的潜力，提出一种新型循环结构，以解决长期依赖问题，同时保持较低的计算开销。
Method
- 核心思想: 提出一种名为 Physics-inspired Energy Transition Neural Network (PETNN) 的新型循环神经网络架构，灵感来源于物理学中的能量转移模型（Energy Transition Model），通过模拟原子能量状态的吸收与释放过程，实现对序列信息的动态存储和更新。
- 神经元设计: 将神经元状态类比为原子的能量状态，定义了三个关键变量：剩余时间（Remaining Time, T_t）表示能量状态的持续时间，单元状态（Cell State, C_t）表示当前能量水平，隐藏状态（Hidden State, S_t）作为记忆输入到下一步。神经元根据输入信号和前一状态更新这些变量。
- 更新过程: 引入自选择信息混合方法（Self-Selective Information Mixing Method），允许神经元根据当前状态和输入动态决定信息的存储比例和遗忘时机，而非依赖预定义的门控机制（如 LSTM）。更新过程包括时间衰减（Time Decay）和能量注入（Energy Injection），当剩余时间小于零时，状态重置为基态（Ground State），释放冗余信息。
- 物理启发: 通过时间衰减率（Time Decay Rate）和基态水平（Ground State Level）等参数，将量子物理中的放松时间（Relaxation Time）和能量转移过程融入模型设计，确保更新规则符合物理约束，同时保持计算可行性。
- 优势: 这种自适应控制机制避免了传统 RNN 的信息遗忘问题，同时比 Transformer 的全对建模（pairwise modeling）具有更低的计算复杂度。
Experiment
- 有效性: 在时间序列预测任务中，PETNN 相比传统模型（RNN, LSTM, GRU, Transformer）平均降低了约 60% 的 MSE 和 MAE 误差；在文本情感分类任务（ACL-IMDB 数据集）中，PETNN 准确率达到 89%，显著优于 TextCNN (84%)、LSTM (83%) 等基线模型。
- 全面性: 实验覆盖多种数据集（ETT, Electricity, Traffic, Weather, Exchange, ACL-IMDB 等）和不同序列长度，验证了模型在不同领域和任务中的泛化能力。此外，PETNN 在非序列任务（如 MNIST 图像分类）中也表现出色，准确率达 99.03%，优于 CNN 和 LSTM。
- 效率: 计算效率分析表明，PETNN 的 FLOPs (170.21M) 和参数量 (0.045M) 远低于 Transformer (1188.54M, 10.54M) 及其变体（如 Informer, FEDformer），适合实时应用场景。
- 消融研究: 验证了自选择信息混合方法的有效性，相比传统门控方法和线性变换方法，该方法在准确率和稳定性上表现更优；鲁棒性测试显示 PETNN 能有效过滤噪声，捕捉长期依赖。
- 局限性: 实验中与 Mamba 模型的对比因技术问题（Nan 错误）未完全完成，可能影响部分结果的全面性。
Further Thoughts
PETNN 的跨学科设计思路令人启发，将物理学中的能量转移模型引入神经网络架构，提示我们可以在其他自然科学领域（如生物学中的神经元放电机制、化学中的反应动力学）寻找类似灵感，设计更具动态适应性的模型。此外，自选择信息混合方法表明，未来的神经网络可以更多地探索自适应更新机制，而非依赖固定规则，这可能为解决长期依赖问题提供新路径。最后，PETNN 在非序列任务中的成功应用启发我们，循环结构可能在更广泛的领域（如图像处理、图网络）中具有潜力，值得进一步研究其通用性。