揭示噪声先验的力量：增强扩散模型在移动流量预测中的应用
原文链接见文末
一、研究背景与问题提出
移动通信网络是智慧城市的重要基础设施。由于智能设备和通信技术的快速发展，移动流量呈现复杂的时间‑空间动态，包含周期性规律和突发变化。准确预测移动流量有助于动态调整基站功率、避免拥塞并降低能耗。然而，传统的深度学习方法（如CNN、RNN、GCN或Transformer）常采用确定性映射，难以处理流量数据中的不确定性。扩散模型则提供了一种概率生成框架，能够通过前向扩散和反向去噪捕捉复杂分布，适合非平稳时序数据。
现有时序扩散模型主要关注设计去噪网络，但通常假设噪声为独立同分布的高斯噪声。这忽视了移动流量噪声本身所包含的周期性和局部波动信息。论文提出在扩散过程中引入噪声先验（Noise Prior）的概念，将噪声分解为“来源于数据动力学的先验部分”和“剩余噪声”，从而更好地利用噪声结构改善预测。
小编的同学，大三预推免，有志于科研事业，计科的老师们感兴趣可以联系哦（邹同学独立完成简历中发表论文的选题、实验、投稿和意见修改，能力很强。夏令营因绩点不突出，邮件联系的老师们几乎没有回应，没能有机会展现相关材料和能力，预推免在即希望寻得一位方向契合的导师）。本篇推文是由他提供的研究方向的范文。这篇时空序列预测的”论文精读“也是他完成的：论文精读 | 时空序列预测模型之ConvLSTM。简历如下（已经批评他简历丑了，发文时他正在全力整理新版。微信同手机号，亦可私信本公众号）
二、噪声可视化与现象观察
研究者首先通过DDIM反演技术获得扩散过程中的噪声图，并用t‑SNE进行可视化。下图显示了噪声的两个重要现象：
跨扩散步长的一致性：对于某一时间点，在不同去噪步数中得到的噪声向量几乎沿一条直线变化，呈现明显的连贯性，说明噪声不是随机的而是受到时序条件约束。
跨周周期性：同一时间点在不同周的噪声高度重叠，呈现周期性的重现，说明噪声与人类活动的周期节奏相关。
图2：噪声可视化
这两点发现表明噪声与时间动态高度相关，因此在扩散模型中利用噪声先验具有理论价值。
三、NPDiff框架：利用噪声先验提升扩散模型
3.1 框架概述
论文提出的 NPDiff 框架将移动流量的周期与局部动态作为噪声先验，并在扩散反演中融合先验噪声与网络预测的残余噪声。整体框架由两部分组成：①提取数据动力学，②带噪声先验的去噪过程。
(a) 数据动力学提取：通过快速傅里叶变换(FFT)从历史序列中选择最重要的频率分量形成周期动态，同时利用相邻时刻的Lag‑1值作为局部动态。这两类动态与真实值的余弦相似度均接近0.8。 (b) 带噪声先验的迭代去噪：在每个反向扩散步，将数据动力学映射成噪声先验，然后通过加权系数将先验噪声与去噪网络预测的残余噪声融合，得到目标噪声用于更新采样点。
3.2 数学推导
假设目标序列在第步为，对应的先验动态为（包含周期动态和局部动态），噪声日程为。扩散模型的前向过程为：
若将真实值表达为，其中为与先验差异的残差，则可将噪声重写为：
令
其中为残余噪声。在反向去噪过程中，利用网络预测对残余噪声进行估计，并通过权重融合先验和残余：
这种融合策略既利用了动态先验提供的规律性，又允许网络捕获难以建模的突发变化。
3.3 训练与推理
与传统扩散模型不同，NPDiff的损失函数最小化：
在训练时，模型随机采样扩散步数 和噪声 ，计算先验噪声 ，然后通过网络预测残余噪声，并进行梯度下降。推理时，从随机噪声开始，模型迭代执行带有噪声先验的去噪过程，直到得到最终预测值 ，即：
由于引入了噪声先验，模型能够在早期阶段估计出大部分噪声，这显著提升了训练的收敛速度和效率。
四、NPDiff的灵活性
框架可以与不同类型的去噪网络结合。作者选用：
CSDI：基于Transformer的扩散模型，在时序任务中表现优良。 ConvLSTM：经典的时空卷积网络，可捕获局部结构。 STID：简单高效的多变量时序预测模型，基于MLP。
这些模型展示了NPDiff在不同网络结构上的通用性。
五、实验设置与基线
5.1 数据集
论文使用四个真实的移动流量数据集（MobileBJ、MobileNJ、MobileSH14、MobileSH16），覆盖北京、南京及上海多个区域，采样间隔分别为1小时或15分钟。每个样本包含空间网格个基站在过去个时间步的流量矩阵，预测未来步的流量。
5.2 评价与基线模型
评价指标采用平均绝对误差(MAE)和均方根误差(RMSE)。对比基线包括：
经典模型：历史平均(HA)、ARIMA等。 时间序列模型：PatchTST、iTransformer、Time-LLM等。 时空模型：STResNet、ATFM、STNorm、STGSP等。 视频预测模型：TAU、PromptST、MIM和MAU等。
同时用CSDI、ConvLSTM和STID作为去噪网络的扩散模型基线，并测试引入噪声先验后的效果。
六、实验结果与分析
6.1 整体性能提升
在12‑12多步预测任务中，NPDiff相较于无噪声先验的CSDI取得明显提升：平均MAE降低41.6%，RMSE降低54.4%。在MobileBJ和MobileNJ数据集上，引入噪声先验后各模型MAE平均改善40.6%和47.2%，而在MobileSH14和MobileSH16上也有21.1%和25.5%的提升。这些结果表明噪声先验对数据动态更复杂的城市尤为有效。
在一步预测任务中，将周期动态和局部动态分别作为先验，发现局部动态的效果更好——平均MAE减少35.1%。这是因为局部动态能更好地反映短期的突然变化。
6.2 消融研究
论文深入分析两个超参数：噪声融合系数和FFT选取的频率分量。
噪声融合系数：随着从0增加，模型性能先上升后略微下降，在附近达到最佳。过高的导致对先验过度依赖而忽略残余噪声，表现反而下降。 FFT分量数目：随着选取的频率分量增多，模型性能逐渐提升，达到5个分量后趋于稳定。
下图展示了和的消融曲线：
6.3 训练效率与鲁棒性
含噪声先验的模型在前五个训练epoch内迅速收敛，其验证集误差明显低于不带先验的模型。作者还在不同历史长度和预测步数（例如12‑6、24‑24等）以及添加不同强度噪声的情况下测试了模型。结果显示NPDiff在所有场景下都有稳定的优势，且对外部噪声更具鲁棒性。
图6显示加入噪声先验后训练更快；图7给出不同噪声扰动下模型性能的变化；图8则通过50次独立实验构建置信区间，表明NPDiff在预测中的不确定性明显降低。
6.4 案例分析
作者选取MobileNJ数据集，用CSDI模型比较加入噪声先验前后的预测结果。加入噪声先验后，预测均值更接近真实值，灰色阴影所表示的90%置信区间明显缩小，表明预测的稳定性和可信度大幅提升。
七、结论与展望
本文提出的NPDiff框架揭示了噪声先验在扩散模型中的重要价值，突破了传统认为噪声为白噪声的假设。通过从数据中提取周期动态和局部动态，构建噪声先验并与残余噪声融合，NPDiff在移动流量预测中显著提高了精度、训练效率和鲁棒性。
未来工作可围绕以下方向展开：
噪声先验融合策略：进一步探索先验与残余噪声的融合形式，使先验适应更复杂的数据动态。 更丰富的先验设计：针对不同城市或应用场景，设计适配其特征的先验，或构建通用的自适应先验。 跨领域应用：将噪声先验思路推广到其他时空预测任务，如交通流预测、能源负荷预测等。
通过重新审视和利用噪声结构，这项工作为扩散模型在时空数据上的应用提供了新的思路与工具。
