时间序列模型是专门用于分析和预测按时间顺序排列的观测值序列的统计或机器学习方法，LSTM、GRU和Transformer代表了深度学习在时序建模领域的 核心架构演进。LSTM通过门控机制（遗忘门、输入门、输出门）和细胞状态设计，有效解决了长期依赖问题，但其计算复杂度较高。 Abstract 摘要 时间序列模型的特殊之处 中金研究 机器学习模型中有一类模型被称为时间序列模型（简称时序模型）如LSTM，GRU和Transformer等。因为其门控制单元可以更好地同时记忆、集成和 理解长期和短期序列上的信息。我们以GRU和Transformer以及其变体为例，探讨此类时间序列模型和不同数据的匹配程度，以及优化此类时序模型的 可能的探索方向。我们提出了一种结合轻量化自注意力机制的GRU模型结构：AttentionGRU(Res)，实现兼顾Transformer的序列学习能力与样本外稳定 性。 点击小程序查看报告原文 GRU作为早期优化变体，采用更新门与重置门的精简结构，在保持长期记忆能力的同时显著提升运算效率，更适用于实时性要求较高的预测场景。 Transformer则通过自注意力机制和位置编码实现了序列建模范式的革 ...