文章信息文章题为“Auto-Regressive Moving Diffusion Models for Time Series Forecasting”该文作者JiaxinGao来自上海交通大学发表至“第25届AAAI Conference on Artificial Intelligence”。摘要时间序列预测在众多领域中都有着十分重要的作用。近年来基于扩散模型的时间序列预测方法取得了明显进展。不过现有模型大多沿用传统的扩散范式将时间序列预测看作一类基于噪声的条件生成任务。这类做法忽略了时间序列本身固有的连续序列特性使得扩散机制与时间序列预测的目标之间存在本质上的不匹配进而严重影响了预测效果。为解决这一问题本文借鉴经典的自回归移动平均ARMA理论 —— 该理论将时间序列视作由历史数据点逐步演化而来的连续过程 —— 提出一种全新的自回归移动扩散ARMD模型首次实现了面向连续序列特性的扩散式时间序列预测。与以往从高斯白噪声出发生成序列的方法不同本文模型采用基于链式先验的扩散方式能够更精准地刻画时间序列的演化规律并借助中间状态信息提升预测的精度与稳定性。具体而言该方法将未来序列作为初始状态、历史序列作为最终状态重新定义了扩散过程在前向扩散阶段通过滑动方式生成中间序列。这一设计让扩散模型的采样过程与预测目标高度契合从而构建出无约束的连续序列扩散时间序列预测模型。在七个常用公开数据集上开展的大量实验结果表明本文所提模型达到了当前最优性能明显优于现有的各类基于扩散的时间序列预测方法。贡献1受经典时间序列理论特别是ARMA的启发将时间序列的演化视为完整的扩散过程本文提出了自回归移动扩散ARMD模型作为首个基于连续序列扩散的TSF模型。2通过采用简单的滑动操作本文的方法将时间序列宝贵的中间信息用作扩散过程中的中间状态。这种方法成功地将扩散机制与时间序列的真实演化相对齐自然带来了性能提升。3所提出的ARMD在通用TSF基准上进行了广泛评估实验结果表明本文的方法达到了最先进的预测性能。方法论1. 模型构建本节介绍自回归移动扩散ARMD一种新颖的基于连续序列扩散的TSF模型。ARMD的整体架构如下图所示。2. ARMD的前向扩散演化过程在ARMD中时间序列的演化被概念化为一个扩散过程。这里未来序列X01:T作为前向扩散演化过程的初始状态。相反历史序列XT−T1:0代表最终状态这与传统扩散模型中常用的白高斯噪声不同。与传统方法逐步添加噪声不同ARMD中的中间状态Xt1−t:T−t对应于将X01:T滑动t步逐步接近历史序列XT−T1:0。这种方法利用了时间序列的特性即扩散过程中的每个中间状态反映了时间序列演化中的中间序列。Xt-12−t:T−t1扩散到Xt1−t:T−t的过程代表向历史序列的单步移动如上图所示类似于去噪扩散概率模型DDPM中的q过程。该过程可形式化表示为其中Slide(X,k)表示序列窗口X向历史序列的k步移动。此外在任何时间步tXt1−t:T−t都可以直接使用X01:T获得类似于DDPM中的过程。基于DDPM的基础假设本文将这一原理扩展到滑动采样过程。这种扩展使本文能够有效计算演化趋势并训练逆演化网络。具体而言t步前向过程可重写为其中zt表示从序列X01:T到Xt1−t:T−t的演化趋势功能上类似于原始DDPM中添加的噪声。鉴于Xt1−t:T−t的每个时间步都是确定性的zt可计算为这里zt作为每个时间步优化目标的真实值。在此扩散方案中最大扩散步数T等于待预测序列的长度。3.ARMD的反向去噪逆演化过程ARMD中的反向过程利用历史序列XT−T1:0迭代生成预测未来序列X01:T。在每个逆演化步骤中基于线性的逆演化网络R(⋅)预测演化趋势zt用于将Xt1−t:T−t逆演化为Xt-12−t:T−t1。给定中间状态序列Xt1−t:T−t和扩散步tR(⋅)预测未来序列X01:T的X^0(Xt,t,θ)。更具体地说在逆演化网络R(⋅)中线性模块首先提供从输入Xt1−t:T−t到X01:T的距离D的预测然后利用扩散步t自适应地平衡距离预测D与输入Xt1−t:T−t之间的交互使网络能够产生更准确的预测。特别地随着t减小输入Xt1−t:T−t更接近目标X01:T因此模型的输出应越来越类似于输入减少对D的依赖。相反随着t增加模型更加依赖D。这种自适应平衡可数学表达为其中W(t)表示随t增加而减小的权重系数范围从0到1。本文用DDPM的预定义系数αˉt初始化W(t)并在训练期间与线性模块的参数一起更新。超参数b、c和d用于平衡距离预测D与输入Xt1−t:T−t之间的交互。为了增加采样多样性并防止过拟合在训练过程中向R(⋅)的输入添加小偏差。获得预测X^0(Xt,t,θ)后预测的演化趋势z^(t,θ)可计算为4.ARMD的采样/预测过程在采样阶段从历史序列XT−T1:0开始ARMD迭代生成未来序列X01:T这成功地将采样过程与TSF目标对齐使模型成为无条件扩散TSF模型。该方法遵循DDIM的采样方法将预测的噪声ϵθ(xt,t)替换为预测的演化趋势z^(t,θ)。从t到t−1的采样过程类似于DDPM/DDIM中的p过程可表示为其中z^(t,θ)是时间步t的预测演化趋势ϵt∼N(0,I)。由于ARMD中的序列演化是确定性的本文去除噪声项σtϵt。第一项括号内的内容实际上是X^0(Xt,t,θ)。因此简化后的方程为实验ARMD在七个广泛使用的基准数据集上进行评估包括SolarEnergy、Exchange、Stock以及四个ETT数据集。本文将ARMD与五种先进的基于扩散的TSF模型进行比较Diffusion-TS、MG-TSD、TSDiff、D3VAE、TimeGrad。此外ARMD还与一些其他先进的TSF模型进行了比较包括iTransformer、TimesNet、DLinear、PatchTST和Client。对于所有数据集历史长度和预测长度均设置为96。遵循先前研究采用的评估方法本文在z-score归一化数据上计算均方误差MSE和平均绝对误差MAE以实现对各变量的一致评估。1基于扩散模型的比较下表总结了本文的ARMD与各种先进基于扩散的TSF模型的多变量预测结果比较每个模型的结果取10次采样运行的平均值。值得注意的是ARMD展现出卓越的预测性能在14个实验设置中有12个取得了最优结果。本文的大量实验表明虽然其他基于扩散的TSF模型在特定数据集上能够取得有效结果但它们往往存在不稳定性在某些场景下表现良好但在其他场景下与真实值偏差显著这表明其缺乏对不同数据的泛化能力。相比之下ARMD在所有数据集上始终表现出稳健的性能表明其对各种多变量预测挑战具有更高的可靠性和适应性。具体而言在ETTm1数据集上ARMD相比第二优模型D3VAEMSE大幅降低47.7%MAE降低30.1%。在Stock数据集上ARMD超越该设置下的第二优模型TSDiffMSE降低28.8%MAE降低26.3%。此外在SolarEnergy、ETTh1和Exchange数据集上ARMD相比最接近的竞争对手MSE和MAE均实现了超过10%的降低。这些结果表明ARMD是最佳的基于扩散的TSF模型。2与其他TSF模型的比较如下表所示ARMD在多变量TSF任务中始终优于其他先进模型。其他TSF模型的比较结果主要来源于iTransformerLiu等2024Stock数据集除外该数据集使用官方实现进行了额外评估以确保全面分析。ARMD取得了最多数量的最佳结果表明其在多个基准上一致超越其他TSF方法的能力。这些结果不仅确立了ARMD作为领先的基于扩散的TSF模型的地位还突显了其对现有模型的优越性。总体而言这些发现突出了ARMD作为多变量TSF任务稳健有效解决方案的前景。3定性分析如下图所示本文通过将ARMD与先进的基于扩散的模型Diffusion-TS进行比较对ARMD的性能进行定性分析。给定相同的历史序列两个模型对未来序列进行10次独立预测。本文的分析表明ARMD始终产生更稳定和准确的预测特别是在涉及高峰值的场景中。这与Diffusion-TS形成对比后者在类似设置下显示出更大的变异性和较低的精度。本文将ARMD的优越性能归因于其确定性的训练过程和推理期间所需的减少的采样步骤。ARMD的这些特征不仅增强了模型生成与实际序列紧密对齐的预测的能力还导致更窄的不确定性分布。结论受经典ARMA理论的启发本文创造性地引入了用于TSF的自回归移动扩散ARMD模型将时间序列的演化重新诠释为扩散过程。特别是将目标未来序列视为初始状态历史序列视为最终状态中间序列通过序列滑动操作生成以完成扩散过程。通过这种方式扩散模型的采样过程变为序列预测这意味着扩散机制成功地与TSF目标对齐进一步形成一个无条件的、连续序列扩散TSF模型。所提出的ARMD在七个广泛使用的数据集上进行了验证实验结果表明本文的方法有效地适应了时间序列数据的独特特征并实现了优越的预测性能。欢迎关注微信公众号《当交通遇上机器学习》如果你和我一样是轨道交通、道路交通、城市规划相关领域的也可以加微信Dr_JinleiZhang备注“进群”加入交通大数据交流群希望我们共同进步往期回顾重磅发布 | 《Artificial Intelligence for Transportation》新刊上线团队研究成果|大型活动期间城轨短时客流预测团队研究成果|城市轨道交通短时交通客流OD预测团队研究成果|城市轨道交通新线客流预测团队研究成果|城市轨道交通疫情期间短时客流预测团队研究成果|基于物理信息引导的突发事件期间的城市轨道交通短时OD需求预测我知道你在看哟
AAAI-25 | 基于自回归移动扩散模型的时间序列预测方法
文章信息文章题为“Auto-Regressive Moving Diffusion Models for Time Series Forecasting”该文作者JiaxinGao来自上海交通大学发表至“第25届AAAI Conference on Artificial Intelligence”。摘要时间序列预测在众多领域中都有着十分重要的作用。近年来基于扩散模型的时间序列预测方法取得了明显进展。不过现有模型大多沿用传统的扩散范式将时间序列预测看作一类基于噪声的条件生成任务。这类做法忽略了时间序列本身固有的连续序列特性使得扩散机制与时间序列预测的目标之间存在本质上的不匹配进而严重影响了预测效果。为解决这一问题本文借鉴经典的自回归移动平均ARMA理论 —— 该理论将时间序列视作由历史数据点逐步演化而来的连续过程 —— 提出一种全新的自回归移动扩散ARMD模型首次实现了面向连续序列特性的扩散式时间序列预测。与以往从高斯白噪声出发生成序列的方法不同本文模型采用基于链式先验的扩散方式能够更精准地刻画时间序列的演化规律并借助中间状态信息提升预测的精度与稳定性。具体而言该方法将未来序列作为初始状态、历史序列作为最终状态重新定义了扩散过程在前向扩散阶段通过滑动方式生成中间序列。这一设计让扩散模型的采样过程与预测目标高度契合从而构建出无约束的连续序列扩散时间序列预测模型。在七个常用公开数据集上开展的大量实验结果表明本文所提模型达到了当前最优性能明显优于现有的各类基于扩散的时间序列预测方法。贡献1受经典时间序列理论特别是ARMA的启发将时间序列的演化视为完整的扩散过程本文提出了自回归移动扩散ARMD模型作为首个基于连续序列扩散的TSF模型。2通过采用简单的滑动操作本文的方法将时间序列宝贵的中间信息用作扩散过程中的中间状态。这种方法成功地将扩散机制与时间序列的真实演化相对齐自然带来了性能提升。3所提出的ARMD在通用TSF基准上进行了广泛评估实验结果表明本文的方法达到了最先进的预测性能。方法论1. 模型构建本节介绍自回归移动扩散ARMD一种新颖的基于连续序列扩散的TSF模型。ARMD的整体架构如下图所示。2. ARMD的前向扩散演化过程在ARMD中时间序列的演化被概念化为一个扩散过程。这里未来序列X01:T作为前向扩散演化过程的初始状态。相反历史序列XT−T1:0代表最终状态这与传统扩散模型中常用的白高斯噪声不同。与传统方法逐步添加噪声不同ARMD中的中间状态Xt1−t:T−t对应于将X01:T滑动t步逐步接近历史序列XT−T1:0。这种方法利用了时间序列的特性即扩散过程中的每个中间状态反映了时间序列演化中的中间序列。Xt-12−t:T−t1扩散到Xt1−t:T−t的过程代表向历史序列的单步移动如上图所示类似于去噪扩散概率模型DDPM中的q过程。该过程可形式化表示为其中Slide(X,k)表示序列窗口X向历史序列的k步移动。此外在任何时间步tXt1−t:T−t都可以直接使用X01:T获得类似于DDPM中的过程。基于DDPM的基础假设本文将这一原理扩展到滑动采样过程。这种扩展使本文能够有效计算演化趋势并训练逆演化网络。具体而言t步前向过程可重写为其中zt表示从序列X01:T到Xt1−t:T−t的演化趋势功能上类似于原始DDPM中添加的噪声。鉴于Xt1−t:T−t的每个时间步都是确定性的zt可计算为这里zt作为每个时间步优化目标的真实值。在此扩散方案中最大扩散步数T等于待预测序列的长度。3.ARMD的反向去噪逆演化过程ARMD中的反向过程利用历史序列XT−T1:0迭代生成预测未来序列X01:T。在每个逆演化步骤中基于线性的逆演化网络R(⋅)预测演化趋势zt用于将Xt1−t:T−t逆演化为Xt-12−t:T−t1。给定中间状态序列Xt1−t:T−t和扩散步tR(⋅)预测未来序列X01:T的X^0(Xt,t,θ)。更具体地说在逆演化网络R(⋅)中线性模块首先提供从输入Xt1−t:T−t到X01:T的距离D的预测然后利用扩散步t自适应地平衡距离预测D与输入Xt1−t:T−t之间的交互使网络能够产生更准确的预测。特别地随着t减小输入Xt1−t:T−t更接近目标X01:T因此模型的输出应越来越类似于输入减少对D的依赖。相反随着t增加模型更加依赖D。这种自适应平衡可数学表达为其中W(t)表示随t增加而减小的权重系数范围从0到1。本文用DDPM的预定义系数αˉt初始化W(t)并在训练期间与线性模块的参数一起更新。超参数b、c和d用于平衡距离预测D与输入Xt1−t:T−t之间的交互。为了增加采样多样性并防止过拟合在训练过程中向R(⋅)的输入添加小偏差。获得预测X^0(Xt,t,θ)后预测的演化趋势z^(t,θ)可计算为4.ARMD的采样/预测过程在采样阶段从历史序列XT−T1:0开始ARMD迭代生成未来序列X01:T这成功地将采样过程与TSF目标对齐使模型成为无条件扩散TSF模型。该方法遵循DDIM的采样方法将预测的噪声ϵθ(xt,t)替换为预测的演化趋势z^(t,θ)。从t到t−1的采样过程类似于DDPM/DDIM中的p过程可表示为其中z^(t,θ)是时间步t的预测演化趋势ϵt∼N(0,I)。由于ARMD中的序列演化是确定性的本文去除噪声项σtϵt。第一项括号内的内容实际上是X^0(Xt,t,θ)。因此简化后的方程为实验ARMD在七个广泛使用的基准数据集上进行评估包括SolarEnergy、Exchange、Stock以及四个ETT数据集。本文将ARMD与五种先进的基于扩散的TSF模型进行比较Diffusion-TS、MG-TSD、TSDiff、D3VAE、TimeGrad。此外ARMD还与一些其他先进的TSF模型进行了比较包括iTransformer、TimesNet、DLinear、PatchTST和Client。对于所有数据集历史长度和预测长度均设置为96。遵循先前研究采用的评估方法本文在z-score归一化数据上计算均方误差MSE和平均绝对误差MAE以实现对各变量的一致评估。1基于扩散模型的比较下表总结了本文的ARMD与各种先进基于扩散的TSF模型的多变量预测结果比较每个模型的结果取10次采样运行的平均值。值得注意的是ARMD展现出卓越的预测性能在14个实验设置中有12个取得了最优结果。本文的大量实验表明虽然其他基于扩散的TSF模型在特定数据集上能够取得有效结果但它们往往存在不稳定性在某些场景下表现良好但在其他场景下与真实值偏差显著这表明其缺乏对不同数据的泛化能力。相比之下ARMD在所有数据集上始终表现出稳健的性能表明其对各种多变量预测挑战具有更高的可靠性和适应性。具体而言在ETTm1数据集上ARMD相比第二优模型D3VAEMSE大幅降低47.7%MAE降低30.1%。在Stock数据集上ARMD超越该设置下的第二优模型TSDiffMSE降低28.8%MAE降低26.3%。此外在SolarEnergy、ETTh1和Exchange数据集上ARMD相比最接近的竞争对手MSE和MAE均实现了超过10%的降低。这些结果表明ARMD是最佳的基于扩散的TSF模型。2与其他TSF模型的比较如下表所示ARMD在多变量TSF任务中始终优于其他先进模型。其他TSF模型的比较结果主要来源于iTransformerLiu等2024Stock数据集除外该数据集使用官方实现进行了额外评估以确保全面分析。ARMD取得了最多数量的最佳结果表明其在多个基准上一致超越其他TSF方法的能力。这些结果不仅确立了ARMD作为领先的基于扩散的TSF模型的地位还突显了其对现有模型的优越性。总体而言这些发现突出了ARMD作为多变量TSF任务稳健有效解决方案的前景。3定性分析如下图所示本文通过将ARMD与先进的基于扩散的模型Diffusion-TS进行比较对ARMD的性能进行定性分析。给定相同的历史序列两个模型对未来序列进行10次独立预测。本文的分析表明ARMD始终产生更稳定和准确的预测特别是在涉及高峰值的场景中。这与Diffusion-TS形成对比后者在类似设置下显示出更大的变异性和较低的精度。本文将ARMD的优越性能归因于其确定性的训练过程和推理期间所需的减少的采样步骤。ARMD的这些特征不仅增强了模型生成与实际序列紧密对齐的预测的能力还导致更窄的不确定性分布。结论受经典ARMA理论的启发本文创造性地引入了用于TSF的自回归移动扩散ARMD模型将时间序列的演化重新诠释为扩散过程。特别是将目标未来序列视为初始状态历史序列视为最终状态中间序列通过序列滑动操作生成以完成扩散过程。通过这种方式扩散模型的采样过程变为序列预测这意味着扩散机制成功地与TSF目标对齐进一步形成一个无条件的、连续序列扩散TSF模型。所提出的ARMD在七个广泛使用的数据集上进行了验证实验结果表明本文的方法有效地适应了时间序列数据的独特特征并实现了优越的预测性能。欢迎关注微信公众号《当交通遇上机器学习》如果你和我一样是轨道交通、道路交通、城市规划相关领域的也可以加微信Dr_JinleiZhang备注“进群”加入交通大数据交流群希望我们共同进步往期回顾重磅发布 | 《Artificial Intelligence for Transportation》新刊上线团队研究成果|大型活动期间城轨短时客流预测团队研究成果|城市轨道交通短时交通客流OD预测团队研究成果|城市轨道交通新线客流预测团队研究成果|城市轨道交通疫情期间短时客流预测团队研究成果|基于物理信息引导的突发事件期间的城市轨道交通短时OD需求预测我知道你在看哟
