解决时间序列预测中的预测延迟问题，实现更精准的金融和天气趋势预测

时间序列预测在经济分析、气象等领域至关重要，传统模型多基于均方误差（MSE）训练。MSE训练导致预测延迟，即真实值在预测之前，影响金融和天气预测的实用性。本文提出一种新方法，通过基于神经常微分方程（NODE）的连续时间门控递归单元（GRU）来减少预测延迟。该方法通过时间导数正则化来优化GRU架构，提升了MSE、动态时间规整（DTW）和时间扭曲指数（TDI）等指标。实验表明，该方法在多种数据集上具有

Python_金钱豹

1426人浏览 · 2024-09-18 20:21:05

Python_金钱豹 · 2024-09-18 20:21:05 发布

“Addressing Prediction Delays in Time Series Forecasting: A Continuous GRU Approach with Derivative Regularization”

论文地址：https://arxiv.org/pdf/2407.01622

摘要

简介

时间序列预测在天气、股票等领域重要，面临多种挑战。研究集中于短期和长期预测，提出了从简单线性网络到先进的变换器架构的多种模型。主要评估指标为均方误差（MSE）和平均绝对误差（MAE），但MSE的成功存在预测延迟的局限性。预测延迟指实际观察值在预测之前，导致模型输出与最近观察相似，虽然MSE或MAE值合理，但实际意义不大。

实验结果显示，SOTA模型（如PatchTST和DLinear）存在预测延迟，尽管其均方误差（MSE）较小。CONTIME模型在相似MSE下无预测延迟，提供更及时的预测。预测延迟对投资者决策影响显著：依赖SOTA模型的投资者在8月25日预测股价上限，导致延迟卖出；而依赖CONTIME的投资者则提前在8月24日卖出，获利约$6,000。本研究引入时间序列预测的新指标：时间扭曲指数（TDI）和动态时间规整（DTW），以解释预测延迟现象。

本文提出一种新方法，通过将GRU重新定义为反映过去观察的微分方程，来减轻时间序列预测中的延迟。本文提出基于神经常微分方程（NODE）的双向GRU网络，并通过显式时间导数正则化进行训练，以解决预测延迟问题。扩展双向GRU以高效捕捉时间序列的时间依赖性，减少延迟。

CONtinuous GRU（CONTIME）解决时间序列预测中的延迟问题，通过扩展双向GRU架构，监督观察值的时间导数。计算GRU的隐藏状态、重置门、更新门和更新向量的时间导数，利用双向GRU生成更有效的隐藏表示。通过时间导数正则化实现最小预测延迟的时间序列预测。CONTIME在6个基准数据集上表现优异，减少预测延迟，并在TDI、DTW和MSE三项指标上均表现出色。

背景

时间序列预测模型

时间序列预测模型可以分为基于ODE的模型、基于Transformer的模型。目前的SOTA模型包括PatchTST和DLinear。PatchTST采用基于补丁的表示，增强局部与全局模式捕捉，分段时间序列后使用Transformer，表现优于现有模型。DLinear探索线性模型在时间序列预测中的应用，挑战复杂非线性模型的主流观点，展现出高效性与互操作性。从Neural ODE到PatchTST和DLinear，深度学习模型在时间序列预测中的发展持续追求更高效的表现，强调基于均方误差的新评估方法。

评估和训练指标

深度模型时间序列预测评估常用MAE、MSE等指标，但需关注形状和时间位置。动态时间规整（DTW）用于形状度量，时间扭曲指数（TDI）用于预测延迟估计，但二者不可微，无法作为深度学习的损失函数。发展替代损失函数的研究已在多个领域展开，尤其是计算机视觉。最近研究探讨了DTW的无缝近似以训练深度神经网络，尽管DTW有效评估形状误差，但忽视了时间变化的定位。Le Guen和Thome尝试结合DTW和TDI的损失函数，以同时考虑形状和时间扭曲。本文引入时间导数正则化，改进传统MSE损失，旨在减少预测延迟，增强深度神经网络在实时序列数据上的训练效果。

时间序列预测中的预测延迟

时间序列预测面临预测延迟问题，影响准确性和及时性。研究探讨神经网络在缓解预测延迟方面的策略，评估延迟对预测准确性的影响。

预测延迟有两个主要原因：

时间序列数据的时间依赖性未被准确捕捉。
MSE模型对突变的适应能力有限。

本文提出CONTIME模型，通过时间导数正则化来消除预测延迟。

方法

本文提出一种方法解决时间序列预测中的预测延迟问题。该方法基于NODE的双向连续GRU模型。模型可以针对时间导数进行显式监督。

整体框架

CONTIME方法的工作流程：

通过Hermite-cubic-spline算法生成离散时间序列样本路径𝑋。
采用双向结构，进行前向（𝑠 → 𝑇）和后向（𝑇 → 𝑠）积分操作。
将后向操作得到的隐藏向量h₂(𝑠)在前向方向重排为h₂(𝑇 − 𝑠)。
通过加和h₁(𝑇)和h₂(𝑇 − 𝑠)得到最终隐藏向量h(𝑇)。
从h(𝑇)生成未来预测。
显式计算预测的时间导数𝑑𝑑𝑌𝑡ˆ以监督时间导数（𝐿Δ𝑡）。
设定损失函数以保持时间序列预测准确性（𝐿𝑇𝑎𝑠𝑘）和防止预测延迟的时间导数调节项（𝐿Δ𝑡）。

双向CONTIME

本文提出了基于双向连续GRU策略的CONTIME模块，用于时间导数的监督。

使用双向积分操作生成长序列的隐藏表示。最终隐藏表示为：

GRU的时间导数表示为：

权重矩阵W和U以及偏置向量b用于计算隐藏状态h(t)的导数。

为什么是连续的GRU？

选择GRU作为CONTIME的主要网络架构，利用过去的隐藏表示来减少预测延迟。GRU的隐藏表示h(t)结合了时间t和t-τ的隐藏向量，重新定义为时间的导数。引入连续ODE-based GRU，替代传统离散GRU，允许在离散时间点之间进行更细致的建模。该设计旨在监督时间导数，消除预测延迟。

如何训练？

CONTIME模型结合均方误差（MSE）和时间导数正则化，以准确预测时间序列并防止预测延迟。最终损失函数L_CONTIME是L_task和时间导数损失L_Deltat的总和。

时间导数损失的目的是确保时间序列预测无延迟，通过调整增减模式来实现。

FC 𝜃 𝑝 是一个全连接层，可以表示为 W 𝜃 𝑝 (h(𝑇)) + b 𝜃 𝑝。𝑑h(𝑇) 由 ODE 函数 𝑓 1 定义，𝑑𝑡。使用自动微分法计算方程 (12)。通过均方误差 (MSE) 损失监督时间导数，定义 𝑌Δ 𝑡 := 𝑌𝑡𝑖 − 𝑌𝑡𝑖−1。损失函数为：

CONTIME训练过程稳定。常见激活函数（如ReLU、Tanh等）Lipschitz常数为1，其他层（如dropout、batch normalization）也有明确的Lipschitz常数。因此，相关函数的Lipschitz连续性得以满足。

实验

实验设置

基线模型：

DLinear：线性网络，时间序列分解。
Neural ODE：基于初值问题的连续时间模型。
Neural CDE：基于受控微分方程的NODE增强模型。
Autoformer：基于变换器的周期模式自相关注意力方法。
FEDformer：结合季节性趋势分解的变换器方法。
PatchTST：基于补丁处理的时间序列预测技术。

数据集：

股票数据集：包含四家公司（AAPL, AMZN, GOOG, MSFT）的六个指标（开盘价、最高价、最低价、收盘价、调整后收盘价、成交量），时间范围为2019年1月17日至2024年1月4日。
交换数据：涉及8个国家的交换数据。
天气数据：2020年每10分钟测量21个天气指标。

评估指标：

DTW：评估预测结果整体形状差异，适用于波动性数据，小值表示形状相似，但忽略延迟。
TDI：量化预测路径差异，较小值表示预测延迟小，关键于精确预测。

结果

概述。分析六个数据集的时间序列预测，使用三种评估指标（MSE、DTW、TDI），结果见表3。

股票数据。AAPL、AMZN、GOOG、MSFT的五年数据适合时间序列预测。PatchTST在MSE上表现优异，Autoformer在DTW上表现合理，CONTIME在所有指标上均表现最佳，且标准差最低。

交易所数据。大多数模型MSE值较小，NODE和NCDE在TDI上表现优越，CONTIME在MSE上仅比DLinear差0.005，且在TDI上表现良好。

天气数据。CONTIME在所有指标上优于其他模型，TDI平均减少0.168，NODE和NCDE在减小预测延迟方面表现突出，CONTIME在三项指标上均表现最佳。

可视化

CONTIME在AAPL、AMZN、Exchange和Weather预测中表现优于SOTA模型（如PatchTST和DLinear）。在AAPL的预测中，SOTA模型未能及时识别2023年8月28日的价格下跌，而CONTIME准确捕捉了这一变化。对于Exchange数据，SOTA模型在2010年1月6日的高OT值预测延迟至1月11日，而CONTIME及时预测。在Weather预测中，CONTIME详细预测了温度波动，而基线模型则存在轻微延迟。

敏感性分析和消融分析

损失函数消融研究。使用三种损失函数评估CONTIME模型的有效性，包括MSE损失（𝐿𝑇 𝑎 𝑠 𝑘）、基于TDI的正则化（𝐿𝑇 𝐷 𝐼）和显式时间导数损失（Δ𝑡）。结果显示Δ𝑡损失在MSE上表现合理，但在TDI和DTW上效果不佳；而𝐿𝑇 𝐷 𝐼和Δ𝑡在TDI上表现优异。

𝐿𝑇 𝐷 𝐼与Δ𝑡的关系。CONTIME (Δ𝑡)在TDI值上优于CONTIME (𝐿𝑇 𝐷 𝐼)，且在DTW和DLinear上表现更佳。

**敏感性分析。**通过调整超参数α和β，CONTIME在DTW和TDI上始终优于基线模型，MSE表现稳定，表明Δ𝑡损失有效消除预测延迟。

其他数据集实验。在ILL、ETTh1和ETTh2数据集上，CONTIME在MSE上略优于PatchTST和DLinear，但在TDI和DTW上表现优秀。

处理分布偏移问题。采用NLinear中的方法解决时间序列预测中的分布偏移问题。通过简单地将移位项添加到预测结果𝑌ˆ，我们可以减少分布移位问题。

总结

本文建议双向GRU，并从其他角度对𝑡损失对时间的自然序列预测进行Δ监督研究。为减轻时间序列预测中的预测延迟，本文提出CONTIME，一种独特的架构，通过不断泛化双向GRU，能够对连续时域中观测值的时间导数进行显式监督。通过这种独特的架构，有效地解决了长期以来困扰时间序列预测的预测延迟问题。通过引入时间导数，CONTIME缓解了预测延迟问题。本文不仅通过测量MSE，还通过测量TDI和DTW作为评估指标来量化这些现象。与来自不同领域的6个数据集的6个最先进的基线相比，表现出了优越的整体性能。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述