本文基于ACM Computing Surveys 2025年发表的综述论文《A Survey on Spatio-Temporal Prediction: From Transformers to Foundation Models》系统梳理时空预测领域的最新进展。什么是时空预测为什么它如此重要想象一下• 早高峰时导航软件精准预测15分钟后的路况• 气象台提前一周预警台风路径• 自动驾驶汽车预判行人的下一步动作这些场景背后都离不开时空预测Spatio-Temporal Prediction技术。时空数据是同时包含时间维度和空间维度信息的数据。随着物联网传感器的普及和智能设备的爆发式增长我们正处于一个时空大数据时代。从交通流量、天气变化到人体运动时空预测在众多领域扮演着关键角色。ST data classification, prediction methods, and application domains时空数据的核心挑战时空数据的复杂性体现在三个方面动态时间序列数据随时间不断变化空间相关性不同位置的数据相互影响复杂非线性关系传统线性模型难以捕捉传统统计方法如ARIMA和早期机器学习算法往往假设数据独立难以有效捕捉时空关联。这正是深度学习尤其是Transformer架构大显身手的地方。为什么Transformer成为时空预测的王者深度学习方法演进史FIGURE TO DRAW: 时空预测方法演进时间线时空预测方法经历了几个关键阶段时期主流方法特点局限性早期ARIMA、统计方法简单、可解释假设线性无法处理复杂依赖2010sRNN/LSTM能处理时序数据长序列梯度消失难以并行2014CNN提取空间特征局部感受野远距离依赖差2017Transformer全局注意力并行计算计算复杂度高2022基础模型通用表示迁移能力强资源消耗大Transformer的三大优势全局依赖建模自注意力机制可以直接连接序列中任意两个位置不受距离限制并行计算能力不像RNN需要逐步处理Transformer可以同时处理整个序列灵活的架构设计编码器-解码器结构可以根据任务需求灵活调整实践提示注意力机制的计算代价标准自注意力的时间复杂度为 O(N²d)其中N是序列长度d是隐藏层维度。当处理长时间序列或高分辨率空间数据时显存消耗会急剧增加。实践中常用的解决方案包括• 稀疏注意力Sparse Attention• 线性注意力Linear Attention• 滑动窗口注意力在8GB显存的GPU上标准注意力通常只能处理约2000-4000长度的序列。综述的核心分类体系这篇综述提出了一个清晰的三层分类框架将基于Transformer的时空预测模型分为三大类A comprehensive taxonomy of Transformers for ST prediction in background, techniques and methods, application domains, model evaluation, and future directions第一类模块增强Module Enhancement在保持Transformer基本架构不变的前提下对核心模块进行改进。1. 自注意力机制改进改进类型核心思想代表方法稀疏注意力限制注意力范围减少计算量滑动窗口、随机采样线性注意力重排计算顺序实现线性复杂度自适应注意力多头注意力多个注意力头学习不同模式标准配置可调整头数2. 位置编码增强原始Transformer使用固定的正弦位置编码但对于时空数据我们需要更灵活的方案•动态位置编码可学习的位置参数随训练更新•相对位置编码编码元素间的相对距离而非绝对位置•层次位置编码不同层级使用不同的编码策略•多模态位置编码为不同类型的输入设计专门的编码3. 前馈网络与归一化• 激活函数从ReLU到GELU、GLU• 归一化策略LayerNorm → GroupNorm → InstanceNorm• 残差连接可学习的残差权重The architecture of Vanilla Transformer and its main variants第二类架构调整Architecture Adjustment对Transformer的整体结构进行更大幅度的修改。1. 层次化架构将输入序列分层处理从细粒度到粗粒度逐步聚合原始特征 → 初级Transformer → 聚合 → 高级Transformer → 最终输出代表模型•Informer通过最大池化层降低时间维度•Deepnet跨尺度注意力机制2. 附加模块集成最常见的是与图神经网络GNN的结合方案一GNN作为独立模块• GNN负责空间依赖• Transformer负责时间依赖• 代表GraphTrans方案二GNN与注意力深度融合• 在注意力计算中引入图结构信息• 代表Graphformers、Crossformer工程实践提示如何选择架构• 如果数据有明确的图结构如交通网络、社交网络→ 优先考虑GNNTransformer• 如果数据是规则网格如气象栅格数据→ CNNTransformer或纯Transformer• 如果序列特别长 → 层次化架构 稀疏注意力• 资源受限场景 → 优先模块增强避免复杂架构第三类基础模型Foundation Models基础模型通过大规模预训练获取通用表示能力然后微调适应下游任务。纯文本输入方式策略描述代表模型数值作为数值直接将时序数据作为数值输入TimeGPT、TimesFM数值作为Token将数值离散化为类别标签TDML金融领域文本对齐通过对比学习将时序与文本对齐Time-LLM、TEST多模态输入方式策略描述代表模型纯视觉将时空数据转为图像PanGu、FengWu多模态对齐文本引导多模态数据理解ImageBind、PandaGPT实践提示基础模型的选择•零样本/少样本任务优先考虑基础模型•领域数据充足传统Transformer可能更高效•实时推理要求基础模型通常太重考虑蒸馏或模块增强方法•计算资源FengWu等大模型需要32张A100训练17天三大核心应用领域详解领域一城市交通交通预测是时空预测最成熟的应用场景包括• 交通流量预测• 车速预测• 拥堵检测• 行人流量预估代表模型对比模型核心特点优势局限Traffic Transformer多种位置编码策略捕捉全局-局部时间依赖未考虑空间相关性Lastjormer时空联合注意力线性注意力计算高效可解释性差ASTGCN层次化注意力整合短期/日/周周期依赖缺乏外部信息融合CorrSTN空间/时间相关信息考虑变量相关性模型结构复杂常用数据集数据集规模时间范围采样间隔METR-LA207传感器2012.3-65分钟PEMS-BAY325检测器2017.1-55分钟PeMSD4307检测器59天5分钟LargeST8600传感器5年-实践提示交通预测的数据泄露陷阱时空数据的划分需要特别注意时间泄露训练集不能包含测试时间段之后的数据空间泄露如果使用邻接矩阵确保测试节点的邻居信息处理正确周期性按时间顺序划分而非随机划分推荐划分比例7:1:2训练:验证:测试按时间顺序切分领域二气候监测气象预测对各行业和公共健康至关重要• 天气预报• 降水预测• 风速预测• 空气质量预测代表模型对比模型类型核心创新参数量AirFormer模块增强引入潜在随机变量246KEarthformer架构调整立方体注意力机制3.61MClimaX基础模型Vision Transformer7.76MFengWu基础模型多模态多任务4.53GFengWu是目前最强大的气象预测模型之一但训练成本极高32×A10017天。常用数据集•ERA5欧洲中期天气预报中心的全球大气再分析数据覆盖1979年至今•CMIP6全球气候模型对比项目数据用于气候变化研究领域三运动预测运动预测包括两个主要方向1. 轨迹预测• 行人轨迹预测• 车辆轨迹预测• 无人机路径规划2. 人体动作预测• 3D人体姿态预测• 动作识别与预测• 骨骼运动预测代表模型对比模型任务核心特点优势TrajFormer轨迹分类语义位置编码精确经纬度处理SGTN行人轨迹多模态预测融合多模态特征STCT人体运动交叉Transformer时空特征连贯性BEVGPT自动驾驶鸟瞰图输入输入简洁直观常用数据集轨迹预测• ETH/UCY行人轨迹数据集包含5个场景• Waymo自动驾驶场景含LiDAR和图像标注人体运动• Human3.6M大规模3D人体姿态数据集• PoseTrack视频中的人体姿态跟踪模型评估指标与性能分析常用评估指标指标英文全称适用场景解释MAEMean Absolute Error通用平均绝对误差越小越好RMSERoot Mean Squared Error通用均方根误差对大误差敏感MAPEMean Absolute Percentage Error通用平均绝对百分比误差ADEAverage Displacement Error轨迹预测所有时间步的平均欧氏距离FDEFinal Displacement Error轨迹预测最终时间步的欧氏距离MPJPEMean Per Joint Position Error人体姿态关节点平均位置误差METR-LA数据集性能对比模型15分钟30分钟60分钟Vanilla Transformer2.98/6.04/8.883.65/7.03/9.644.25/7.96/12.41Traffic Transformer2.43/4.73/6.572.79/5.61/7.453.28/6.68/9.08Lastjormer2.64/5.11/6.742.99/6.01/8.133.36/7.03/9.67格式MAE/RMSE/MAPE(%)关键发现Traffic Transformer通过多种位置编码策略在各时间尺度上都取得最佳性能。实践提示基线选择建议必须包含的基线• Vanilla Transformer证明改进有效• 领域内SOTA模型如交通用ASTGCN• 简单基线如Historical Average公平对比原则• 相同的数据划分• 相同的输入窗口和预测窗口• 相同的超参数搜索预算避免的陷阱• 只在单一数据集上报告结果• 选择性报告最好的预测步长• 忽略模型复杂度和推理速度五大未来研究方向方向一低质量时空数据预测问题实际场景中数据常有缺失、噪声和错误但大多数研究使用高质量公开数据集。研究方向• 缺失值感知的预测框架• 噪声鲁棒的注意力机制• 分布外OOD场景的泛化方向二模型压缩与实时性问题Transformer模型参数量大难以部署到边缘设备实时性不足。研究方向• 低秩近似 结构化剪枝• 知识蒸馏• 混合专家MoE架构受DeepSeek启发模型压缩技术对比图方向三可解释性与可信度问题深度学习模型被视为黑箱用户难以理解预测依据。研究方向• Relevance Rollout可视化• 注意力权重解释• 物理模型与数据驱动模型融合方向四模型泛化能力问题模型容易在特定数据集上过拟合难以迁移到新场景。研究方向• 大规模预训练• 因果推理增强如NuwaDynamics• 数据增强策略• 多源多任务学习方向五外部信息融合问题仅靠历史时空数据难以捕捉所有影响因素。可融合的外部信息• 物理规律约束• 地理位置特征• 地形地貌数据• 气候特征• 卫星遥感数据融合方式• 多模态融合• 结构化注意力机制• 定制神经网络结构应该记住的5件事1. 时空预测的本质时空预测需要同时建模时间依赖和空间关联传统方法难以处理这种复杂的非线性关系。2. Transformer的核心优势自注意力机制能够捕捉全局依赖并行计算带来效率提升灵活架构支持多种变体。3. 三类改进范式•模块增强改进注意力、位置编码等模块•架构调整层次化结构、GNN融合•基础模型大规模预训练 微调4. 应用领域各有特点•交通预测图结构明显GNNTransformer常见•气象预测数据量大基础模型潜力大•运动预测需要多模态信息融合学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
从Transformer到基础模型：时空预测技术全景解读
本文基于ACM Computing Surveys 2025年发表的综述论文《A Survey on Spatio-Temporal Prediction: From Transformers to Foundation Models》系统梳理时空预测领域的最新进展。什么是时空预测为什么它如此重要想象一下• 早高峰时导航软件精准预测15分钟后的路况• 气象台提前一周预警台风路径• 自动驾驶汽车预判行人的下一步动作这些场景背后都离不开时空预测Spatio-Temporal Prediction技术。时空数据是同时包含时间维度和空间维度信息的数据。随着物联网传感器的普及和智能设备的爆发式增长我们正处于一个时空大数据时代。从交通流量、天气变化到人体运动时空预测在众多领域扮演着关键角色。ST data classification, prediction methods, and application domains时空数据的核心挑战时空数据的复杂性体现在三个方面动态时间序列数据随时间不断变化空间相关性不同位置的数据相互影响复杂非线性关系传统线性模型难以捕捉传统统计方法如ARIMA和早期机器学习算法往往假设数据独立难以有效捕捉时空关联。这正是深度学习尤其是Transformer架构大显身手的地方。为什么Transformer成为时空预测的王者深度学习方法演进史FIGURE TO DRAW: 时空预测方法演进时间线时空预测方法经历了几个关键阶段时期主流方法特点局限性早期ARIMA、统计方法简单、可解释假设线性无法处理复杂依赖2010sRNN/LSTM能处理时序数据长序列梯度消失难以并行2014CNN提取空间特征局部感受野远距离依赖差2017Transformer全局注意力并行计算计算复杂度高2022基础模型通用表示迁移能力强资源消耗大Transformer的三大优势全局依赖建模自注意力机制可以直接连接序列中任意两个位置不受距离限制并行计算能力不像RNN需要逐步处理Transformer可以同时处理整个序列灵活的架构设计编码器-解码器结构可以根据任务需求灵活调整实践提示注意力机制的计算代价标准自注意力的时间复杂度为 O(N²d)其中N是序列长度d是隐藏层维度。当处理长时间序列或高分辨率空间数据时显存消耗会急剧增加。实践中常用的解决方案包括• 稀疏注意力Sparse Attention• 线性注意力Linear Attention• 滑动窗口注意力在8GB显存的GPU上标准注意力通常只能处理约2000-4000长度的序列。综述的核心分类体系这篇综述提出了一个清晰的三层分类框架将基于Transformer的时空预测模型分为三大类A comprehensive taxonomy of Transformers for ST prediction in background, techniques and methods, application domains, model evaluation, and future directions第一类模块增强Module Enhancement在保持Transformer基本架构不变的前提下对核心模块进行改进。1. 自注意力机制改进改进类型核心思想代表方法稀疏注意力限制注意力范围减少计算量滑动窗口、随机采样线性注意力重排计算顺序实现线性复杂度自适应注意力多头注意力多个注意力头学习不同模式标准配置可调整头数2. 位置编码增强原始Transformer使用固定的正弦位置编码但对于时空数据我们需要更灵活的方案•动态位置编码可学习的位置参数随训练更新•相对位置编码编码元素间的相对距离而非绝对位置•层次位置编码不同层级使用不同的编码策略•多模态位置编码为不同类型的输入设计专门的编码3. 前馈网络与归一化• 激活函数从ReLU到GELU、GLU• 归一化策略LayerNorm → GroupNorm → InstanceNorm• 残差连接可学习的残差权重The architecture of Vanilla Transformer and its main variants第二类架构调整Architecture Adjustment对Transformer的整体结构进行更大幅度的修改。1. 层次化架构将输入序列分层处理从细粒度到粗粒度逐步聚合原始特征 → 初级Transformer → 聚合 → 高级Transformer → 最终输出代表模型•Informer通过最大池化层降低时间维度•Deepnet跨尺度注意力机制2. 附加模块集成最常见的是与图神经网络GNN的结合方案一GNN作为独立模块• GNN负责空间依赖• Transformer负责时间依赖• 代表GraphTrans方案二GNN与注意力深度融合• 在注意力计算中引入图结构信息• 代表Graphformers、Crossformer工程实践提示如何选择架构• 如果数据有明确的图结构如交通网络、社交网络→ 优先考虑GNNTransformer• 如果数据是规则网格如气象栅格数据→ CNNTransformer或纯Transformer• 如果序列特别长 → 层次化架构 稀疏注意力• 资源受限场景 → 优先模块增强避免复杂架构第三类基础模型Foundation Models基础模型通过大规模预训练获取通用表示能力然后微调适应下游任务。纯文本输入方式策略描述代表模型数值作为数值直接将时序数据作为数值输入TimeGPT、TimesFM数值作为Token将数值离散化为类别标签TDML金融领域文本对齐通过对比学习将时序与文本对齐Time-LLM、TEST多模态输入方式策略描述代表模型纯视觉将时空数据转为图像PanGu、FengWu多模态对齐文本引导多模态数据理解ImageBind、PandaGPT实践提示基础模型的选择•零样本/少样本任务优先考虑基础模型•领域数据充足传统Transformer可能更高效•实时推理要求基础模型通常太重考虑蒸馏或模块增强方法•计算资源FengWu等大模型需要32张A100训练17天三大核心应用领域详解领域一城市交通交通预测是时空预测最成熟的应用场景包括• 交通流量预测• 车速预测• 拥堵检测• 行人流量预估代表模型对比模型核心特点优势局限Traffic Transformer多种位置编码策略捕捉全局-局部时间依赖未考虑空间相关性Lastjormer时空联合注意力线性注意力计算高效可解释性差ASTGCN层次化注意力整合短期/日/周周期依赖缺乏外部信息融合CorrSTN空间/时间相关信息考虑变量相关性模型结构复杂常用数据集数据集规模时间范围采样间隔METR-LA207传感器2012.3-65分钟PEMS-BAY325检测器2017.1-55分钟PeMSD4307检测器59天5分钟LargeST8600传感器5年-实践提示交通预测的数据泄露陷阱时空数据的划分需要特别注意时间泄露训练集不能包含测试时间段之后的数据空间泄露如果使用邻接矩阵确保测试节点的邻居信息处理正确周期性按时间顺序划分而非随机划分推荐划分比例7:1:2训练:验证:测试按时间顺序切分领域二气候监测气象预测对各行业和公共健康至关重要• 天气预报• 降水预测• 风速预测• 空气质量预测代表模型对比模型类型核心创新参数量AirFormer模块增强引入潜在随机变量246KEarthformer架构调整立方体注意力机制3.61MClimaX基础模型Vision Transformer7.76MFengWu基础模型多模态多任务4.53GFengWu是目前最强大的气象预测模型之一但训练成本极高32×A10017天。常用数据集•ERA5欧洲中期天气预报中心的全球大气再分析数据覆盖1979年至今•CMIP6全球气候模型对比项目数据用于气候变化研究领域三运动预测运动预测包括两个主要方向1. 轨迹预测• 行人轨迹预测• 车辆轨迹预测• 无人机路径规划2. 人体动作预测• 3D人体姿态预测• 动作识别与预测• 骨骼运动预测代表模型对比模型任务核心特点优势TrajFormer轨迹分类语义位置编码精确经纬度处理SGTN行人轨迹多模态预测融合多模态特征STCT人体运动交叉Transformer时空特征连贯性BEVGPT自动驾驶鸟瞰图输入输入简洁直观常用数据集轨迹预测• ETH/UCY行人轨迹数据集包含5个场景• Waymo自动驾驶场景含LiDAR和图像标注人体运动• Human3.6M大规模3D人体姿态数据集• PoseTrack视频中的人体姿态跟踪模型评估指标与性能分析常用评估指标指标英文全称适用场景解释MAEMean Absolute Error通用平均绝对误差越小越好RMSERoot Mean Squared Error通用均方根误差对大误差敏感MAPEMean Absolute Percentage Error通用平均绝对百分比误差ADEAverage Displacement Error轨迹预测所有时间步的平均欧氏距离FDEFinal Displacement Error轨迹预测最终时间步的欧氏距离MPJPEMean Per Joint Position Error人体姿态关节点平均位置误差METR-LA数据集性能对比模型15分钟30分钟60分钟Vanilla Transformer2.98/6.04/8.883.65/7.03/9.644.25/7.96/12.41Traffic Transformer2.43/4.73/6.572.79/5.61/7.453.28/6.68/9.08Lastjormer2.64/5.11/6.742.99/6.01/8.133.36/7.03/9.67格式MAE/RMSE/MAPE(%)关键发现Traffic Transformer通过多种位置编码策略在各时间尺度上都取得最佳性能。实践提示基线选择建议必须包含的基线• Vanilla Transformer证明改进有效• 领域内SOTA模型如交通用ASTGCN• 简单基线如Historical Average公平对比原则• 相同的数据划分• 相同的输入窗口和预测窗口• 相同的超参数搜索预算避免的陷阱• 只在单一数据集上报告结果• 选择性报告最好的预测步长• 忽略模型复杂度和推理速度五大未来研究方向方向一低质量时空数据预测问题实际场景中数据常有缺失、噪声和错误但大多数研究使用高质量公开数据集。研究方向• 缺失值感知的预测框架• 噪声鲁棒的注意力机制• 分布外OOD场景的泛化方向二模型压缩与实时性问题Transformer模型参数量大难以部署到边缘设备实时性不足。研究方向• 低秩近似 结构化剪枝• 知识蒸馏• 混合专家MoE架构受DeepSeek启发模型压缩技术对比图方向三可解释性与可信度问题深度学习模型被视为黑箱用户难以理解预测依据。研究方向• Relevance Rollout可视化• 注意力权重解释• 物理模型与数据驱动模型融合方向四模型泛化能力问题模型容易在特定数据集上过拟合难以迁移到新场景。研究方向• 大规模预训练• 因果推理增强如NuwaDynamics• 数据增强策略• 多源多任务学习方向五外部信息融合问题仅靠历史时空数据难以捕捉所有影响因素。可融合的外部信息• 物理规律约束• 地理位置特征• 地形地貌数据• 气候特征• 卫星遥感数据融合方式• 多模态融合• 结构化注意力机制• 定制神经网络结构应该记住的5件事1. 时空预测的本质时空预测需要同时建模时间依赖和空间关联传统方法难以处理这种复杂的非线性关系。2. Transformer的核心优势自注意力机制能够捕捉全局依赖并行计算带来效率提升灵活架构支持多种变体。3. 三类改进范式•模块增强改进注意力、位置编码等模块•架构调整层次化结构、GNN融合•基础模型大规模预训练 微调4. 应用领域各有特点•交通预测图结构明显GNNTransformer常见•气象预测数据量大基础模型潜力大•运动预测需要多模态信息融合学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
