解析时空图神经网络在城市预测学习中的应用

随着复杂传感器和大型数据库技术的发展，城市系统中越来越多的时空数据被记录和存储。对这些时空数据的演化模式进行预测学习是城市计算中一个基本但重要的循环，可以更好地支持城市智能管理决策，特别是在交通、环境、安全、公共卫生等领域。由于传统的统计学习和深度学习方法难以捕捉城市时空数据中的复杂关联，近年来提出了时空图神经网络(STGNN)框架。STGNN通过整合图神经网络(GNNs)和各种时间学习方法，使复杂时空依赖关系的提取成为可能。然而，对于不同的预测学习任务，如何在STGNN框架中有效设计空间依赖学习模块、时间依赖学习模块和时空依赖融合方法，是一个具有挑战性的问题。本文对城市计算中用于预测学习的STGNN技术的最新进展进行了全面的综述。我们首先简要介绍了时空图数据的构建方法和stgnn中使用的流行深度学习模型。然后我们从现有文献中梳理出主要的应用领域和具体的预测学习任务。接着分析了STGNN框架的设计方法以及近年来与一些先进技术的结合;最后总结了现有研究的局限性，并提出了一些潜在的方向。

1. 引言

随着传感和数据流处理技术的快速进步，城市系统中越来越多的数据被高效地收集和存储，为城市计算时代的到来奠定了基础。城市计算旨在从大数据爆发的不同应用领域(如交通、环境、安全等)了解城市的模式和动态。根据城市计算理论[1]，基于这些海量城市数据的预测学习是最重要的循环，其中是智慧城市智能决策、调度和管理的基础。此外，城市大数据的可预测性也可以为数字孪生、元宇宙[2]等一些新技术的发展提供可能。

大多数城市数据是时空数据，即它们不仅与空间位置相关，而且随着时间的推移而变化。相关性和异质性是时空数据在城市系统[3]中普遍存在的属性。相关性是指数据不仅在时间维度上而且在空间维度上具有自相关性的属性;异质性是指数据在不同的时间或空间范围内呈现出不同模式的属性。为了更直观地说明时空异质性，我们在图1中给出了一个例子。如图1(a)所示，给定的城市网络中存在不同的区域，如住宅区、休闲区和商业区。图1(b)显示了不同区域在不同节点的人流统计情况。我们可以发现，虽然所有选取的节点都呈现出明显的峰值模式，但不同区域节点的人群流量统计存在较大差异。但是，在相同的区域，即使在不同的节点，如节点3和节点4，人群流量的统计也是相似的。由于这些复杂的时空特性，增加了特征工程的难度，一些在传统数据预测中表现良好的方法，如支持向量回归(SVR)[4]、随机森林(RF)[5]、梯度提升决策树(GBDT)[6]等，难以取得更准确的预测结果。近十年来，由于深度学习技术的快速发展，一些基于卷积神经网络(CNN)[7]和循环神经网络(RNN)[8]的混合神经网络，如ConvLSTM[9]、PredRNN[10]等，逐渐被应用于城市时空数据的预测学习，并获得了显著的优势。然而，这些方法最大的局限性在于无法直接从存在于非欧氏空间的数据中进行学习，如交通网络数据、传感器网络数据、语义网络数据等。

近年来，以图为代表的深度学习技术神经网络(GNN)在非欧氏空间数据的表示学习方面取得了重大突破，为多样化和复杂的城市数据的预测学习奠定了基础。考虑到一些典型城市数据的时空特性，如交通网络流量、环境监测数据等，之前的一些工作将图神经网络与各种时间学习网络相结合，以捕获空间和时间维度上的动态[3]。这种类型的混合神经网络架构被统称为时空图神经网络(STGNN)。通过过去五年的发展，时空图神经网络已经被广泛应用于城市计算的预测学习场景，包括交通、环境、安全、公共卫生、能源、经济等领域。基于谷歌学者搜索引擎，通过关键词进行精准搜索，统计近5年相关论文的发表情况。如图2所示，我们可以发现，关于STGNN的相关论文呈现逐年递增的趋势。2018年相关论文不足20篇，而2022年论文接近140篇。这一发展趋势表明，与STGNN相关的应用已成为近年来的研究热点。此外，过去五年的文献大多集中在预测性学习任务上。

相关调研近年来，关于基于STGNN的预测学习技术在不同领域的应用已经有了一些相关调研。Wang et al.[3]综述了截至2020年的时空数据挖掘深度学习方法，其中涉及到预测学习中的一些STGNN技术。之前的调查[11]-[13]都调查了应用于交通领域的STGNN技术。其中，[11]分析了多个实际问题，综述了城市交通系统中预测、检测和控制问题的相关工作。[12]和[13]重点介绍了STGNN在交通预测任务中的最新技术。工作[14]研究了生成式对抗技术在时空中的应用数据学习，包括一些与时空图数据相结合的方法。

我们的贡献与之前的调研相比，我们调查的贡献总结为:

据我们所知，这是第一个全面的综述，回顾了最近探索STGNN在城市计算中的预测性学习任务的工作。我们通过充分的文献，主要从应用和方法的角度回顾了STGNN的进展。

我们首先根据现有文献对STGNN在城市计算中的主要应用领域和特定预测学习任务进行了分类。此外，我们还整理了一些与之前关于STGNN的工作附带的公开数据集。

对STGNN的时间依赖学习、空间依赖学习和时空依赖融合方法进行了深入分析。我们还回顾了近年来一些流行的与STGNN结合的先进方法。

我们总结了STGNN为城市计算中的预测性学习任务所分享的一些挑战，并为解决这些具有挑战性的问题提出了一些未来方向。

本调研的组织本调研的其余部分组织如下。第二节介绍了时空图的构建。第三节概述了不同领域的各种预测性学习任务，这些任务可以通过STGNN来解决。第四节介绍了在STGNN框架中广泛采用的基本深度学习架构。第五节深入分析了STGNN框架的神经架构设计方法和一些可以结合的流行先进技术。第V节讨论了现有工作的局限性，并提出了未来的方向。最后，我们在第VI节中总结了这一调查。

时空图神经网络

在本节中，我们介绍STGNN的基本神经架构。如图7所示，用于预测学习的STGNN的基本框架包含三个主要模块——数据处理模块(DPM)、时空图学习模块(STGLM)和任务感知预测模块(TPM)。对于城市计算中的预测学习任务，DPM旨在从原始数据中构建时空图数据，STGLM旨在从复杂社会系统中捕获隐藏的时空依赖关系，TPM旨在将来自STGLM的时空隐藏表示映射到下游预测任务的空间中。STGLM是STGNN中最关键的部分，STGNN通常通过一定的时空融合神经架构将空间学习网络和时间学习网络有机结合。对于空间学习网络，谱图卷积网络(spectral GCNs)、空间图卷积网络(spatial GCNs)和图注意力网络(GATs)都可以作为选择对象。对于时间学习网络，循环神经网络(RNNs)、时间卷积网络(TCNs)和时间自注意力网络(tans)都可以作为替代方案。与STGLM相比，TPM是一个相对简单的神经网络，因此几乎所有现有工作都集中在STGLM中神经架构的设计上

改进的STGNN时空依赖学习方法

在第四节中，我们介绍了STGNN的基本神经架构，增强了对STGNN中时空学习泛化范式的理解。然而，近年来出现了许多前沿方法来改进时空依赖关系的学习。在本节中，我们总结并分析了最近STGNN模型中一些改进的时空依赖学习方法。

我们对预测学习的时空图神经网络(STGNNs)进行了综述，重点关注其在城市计算中的应用。虽然STGNNs在近年来取得了很大进展，但其应用仍存在挑战性问题，为探索未来方向提供了启示。

首先，STGNNs的模型可解释性有待提高。大多数相关工作仅专注于提高预测性能，较少考虑模型可解释性，因此建立因果关系的时空图建模可能是增强其可解释性的一个方向。

其次，STGNNs缺乏校准方法，需要适当的模型校准技术，以提高模型的可信度。

第三，STGNNs忽略了对不同应用领域物理约束的考虑，而在之前的研究中，STGNNs通过深度神经网络的集成来捕获复杂的时空依赖关系，这使得模型在一些专业领域的认可度较低，需要加强在这些专业领域的可解释性和物理约束。

第四，缺乏STGNNs的预训练技术，在时间序列和图表示学习领域得到了很大发展，但在STGNN的应用中缺乏探索。因此，长程空间和长期时间学习的预训练技术是非常必要和有价值的。

第五，由于时空数据存在分布转移，需要探索新的训练策略，例如课程学习等。

第六，设计高效的STGNNs是具有挑战性的，如在传感器网络中处理大量时空数据。因此，需要提高其可扩展性，探索具有高效率的AI解决方案。

综上所述，这些挑战和潜在的未来方向提供了有益的启示，以促进STGNNs技术的发展和应用的拓展。