原文链接见文末，或扫下方交流群二维码。群内实时更新推文及原文 pdf，方便专家学者随时获取（若二维码失效，请翻阅扫描最新文章的二维码）。

智慧航运市场：Transformer架构与稀疏注意力机制的船舶价格预测模型

一、研究背景与问题提出

1.1 航运市场的重要性与挑战

国际贸易与经济全球化促进了航运业的快速发展，全球超过 80% 的贸易量依赖海上运输。干散货、集装箱、油轮以及综合船舶市场构成了国际航运的主要子市场，船舶价格既反映市场供需状况，也是投资决策的重要参考。然而，由于全球经济、贸易环境和地缘政治的多重影响，船价呈现出高度波动与周期性变化。新造船与二手船价格的走势差异也说明不同市场受影响的程度不同，这对船公司和投资机构提出了更高的预测与风险管理要求。

1.2 传统方法的不足

现有船价预测研究大多采用统计模型（如ARIMA、SARIMA）或机器学习方法（如随机森林、人工神经网络、LSTM等）。论文总结了这些方法的主要局限：

  • 模型适用性有限：传统模型通常针对特定任务设计，缺乏跨任务的泛化能力。
  • 依赖线性及平稳性假设：统计模型要求数据满足平稳性，难以捕捉船价数据中复杂的非线性结构和长期依赖。
  • 特征覆盖范围有限：过去研究常采用单一市场或少量特征变量，使模型难以学习复杂模式，预测准确度和泛化能力受限。
  • 对多市场缺乏综合框架：现有研究多聚焦某一市场或某一船型，缺乏同时覆盖干散货、集装箱、油轮及整体市场的系统框架。

1.3 研究目标

为弥补上述不足，论文提出了 SPPformer（Ship Price Prediction Transformer）模型，旨在构建一个覆盖所有船型且具备强解释性与高预测精度的统一框架。其目标包括：

  • 利用跨域预训练和分段微调，提升模型对时序模式的理解与泛化能力；
  • 引入稀疏注意机制，提高 Transformer 在处理长序列时的效率并降低过拟合风险；
  • 集成 SHAP 解释方法，实现对模型预测结果的特征贡献分析；
  • 系统评估模型在干散货、集装箱、油轮和综合市场的新造船及二手船价格预测中的表现。

二、模型设计与算法原理

SPPformer 基于 Transformer 架构，结合了预训练—微调框架、稀疏注意机制和可解释性分析。整体流程如图1所示（取自Fig.2）。

下图展示了SPPformer的总体框架与训练流程。图中包含基础模型预训练、分段模型微调以及稀疏注意机制的组成模块。

图1 SPPformer总体框架与训练流程示意（取自Fig.2）
图1 SPPformer总体框架与训练流程示意（取自Fig.2）

2.1 总体框架：Base Model与Sectional Model

SPPformer的训练分为两阶段：

  1. 基础模型（Base Model）预训练：在包含海洋经济、气象、金融、政策等12个领域的大规模时间序列数据上进行预训练，使模型获得通用的时序建模能力。
  2. 分段模型（Sectional Model）微调：在航运金融领域的特定数据上对基础模型进行微调，使其适应船舶价格预测任务。通过这种逐步缩小数据域的训练策略，可以有效缓解过拟合并提高对特定任务的表现。

该模型结构由编码器和解码器堆叠而成，每个子模块都采用下面描述的技术。

2.2 位置编码

由于 Transformer 缺乏内建的顺序信息，SPPformer 在输入层加入了可调的正弦—余弦位置编码：

其中  表示序列位置索引， 为维度索引， 是模型维度， 和  为可调节的波长参数。相比传统 Transformer 固定的 10000 常数，这种自适应波长更适合不同频率的船价数据。

2.3 稀疏注意机制

标准自注意机制的计算复杂度为 ，当输入序列较长时会带来巨大的内存和计算开销。SPPformer结合膨胀自注意（Atrous Self Attention）和局部自注意（Local Self Attention）形成稀疏注意机制。两者的注意力计算分别为：

  • 膨胀自注意：

其中  为膨胀间隔，只有间隔为  的位置才参与注意力计算。

  • 局部自注意：仅在窗口宽度  范围内计算注意力，以捕捉短期依赖：
  • 组合注意：将两种注意力结合形成稀疏注意矩阵：

这种稀疏注意设计既保留了对长程依赖的敏感性，又显著减少了计算量，在实验中能有效降低训练时间和显存消耗。

下图展示了稀疏注意机制的原理示意，包括膨胀注意、局部注意及组合策略。

图2 稀疏注意机制原理示意（取自Fig.3）
图2 稀疏注意机制原理示意（取自Fig.3）

2.4 前馈网络与正则化

在注意层之后，Transformer 引入了全连接前馈网络：

其中 、， 为隐藏层维度。为了稳定训练和增强非线性表达能力，每层还引入残差连接和层归一化：

其中  和  分别为均值和标准差，、 为可学习参数， 为小常数。

三、数据与特征工程

3.1 船价指数数据

研究选取 Clarkson 数据库 2000 年 1 月至 2024 年 10 月的月度船舶价格数据，涵盖干散货、集装箱、油轮和整体市场的 新造船价格指数与二手船价格指数。针对少量缺失值，作者采用均值填补和滑动平均法处理，并对特征进行标准化，对目标变量取自然对数以稳定方差。

3.2 12大领域特征及MIC筛选

为了丰富输入信息，论文从经济、金融、气象、公共卫生、地缘政治等 12 个领域收集了一百余个特征，并利用最大信息系数（MIC）筛选与船价指数相关性较高的指标。MIC 分值高于特定阈值的特征被纳入模型的不同阶段输入。根据 SHAP 分析，重要特征包括：

  • 铁矿石进口量（反映干散货需求）
  • 综合价格指数/商品价格指数（反映宏观经济及市场情绪）
  • 全球经济政策不确定性（GEPU）
  • 海面温度和气象警报
  • 传染病股市波动指数
  • 航运行业订单簿与成交量

这些特征在不同市场中的重要性将在下文解释性分析中详细讨论。

四、实验设计与结果分析

4.1 评价指标与训练策略

论文采用 平均绝对误差（MAE）、均方根误差（RMSE）和 对称平均绝对百分比误差（SMAPE） 评估预测性能，计算公式如下：

其中  和  分别为实际值和预测值， 为测试样本数。模型训练采用Adam优化器，学习率 ，一阶和二阶动量初始值分别为0，动量衰减因子 ，，最大迭代次数 。

4.2 多市场船价预测结果

下图展示了SPPformer在干散货、集装箱、油轮和整体市场的新造船与二手船价格预测结果。每张图左右分别对应新造船和二手船，折线为预测值与实际值，下面的区域图表示残差波动。

图3 干散货市场船价预测（取自Fig.7）
图3 干散货市场船价预测（取自Fig.7）
图4 集装箱市场船价预测（取自Fig.8）
图4 集装箱市场船价预测（取自Fig.8）
图5 油轮市场船价预测（取自Fig.9）
图5 油轮市场船价预测（取自Fig.9）
图6 综合市场船价预测（取自Fig.10）
图6 综合市场船价预测（取自Fig.10）

从图中可以看出，SPPformer 在四个市场中均能较好捕捉船价走势，预测值与实际值吻合度高，残差波动较小。论文指出，集装箱市场的二手船残差在 2020 年后波动较大，而干散货市场在 2021 年底出现明显异常。总体而言，SPPformer 在干散货和综合市场的预测精度略优于其他市场。

4.3 自注意与稀疏注意的对比

为验证稀疏注意机制的优势，作者比较了 SPPformer 在自注意与稀疏注意两种模式下的训练时间、显存消耗和预测精度。结果表明，稀疏注意机制将训练时间和内存消耗分别降低约 22.91% 和 26.12% ，并在 MAE、RMSE 和 SMAPE 等指标上取得更好表现。图7展示了在八类船价指标上的误差比较：

图7 稀疏注意与自注意的精度对比（取自Fig.22）
图7 稀疏注意与自注意的精度对比（取自Fig.22）

可以看到，无论是平均绝对误差、均方根误差还是对称平均绝对百分比误差，稀疏注意版本的 SPPformer 均优于自注意版本。其中新造散货（BCSPI）和综合新造（ONPI）收益最为明显。

4.4 与其他模型的比较

论文将 SPPformer 与经典统计模型（ARIMA、SARIMA）、机器学习模型（随机森林、ANN、GRU、CNN等）和先进深度学习模型（Autoformer、Informer、LogTrans、Transformer等）进行了对比。根据表 9 的统计结果，SPPformer 的 MAE、RMSE 和 SMAPE 分别为 0.5775、0.7257 和 14.4889%，均优于其他模型。这证明了该模型在航运价格预测领域的性能优势。

五、模型解释性分析

为了提升预测结果的可解释性，论文在 SPPformer 中嵌入了 SHAP（SHapley Additive exPlanations）方法，分析各特征对模型输出的贡献。以下从不同市场总结主要发现。

5.1 干散货市场

对于新造船价格，铁矿石进口量是最重要的影响因素，其次是散货船销售总量和商品价格指数。在宏观层面，铁矿石作为主要货物直接反映干散货需求，进口量增加通常推高新造船价格。微观层面上，原油价格和海面温度等因素对预测值也具有正面影响。对于二手船价格，传染病股市波动指数和铁矿石进口量的贡献最大；海事事故会通过提高监管力度和保险成本影响二手船价格。

5.2 集装箱市场

新造船价格的主要驱动因子包括社区价格指数、海面温度、GEPU指数等。这些指标反映了宏观经济景气度、气候条件及政策不确定性，直接影响集装箱船舶建造需求。在二手船价格方面，铁矿石进口量、社区价格指数和石油政策不确定性指数等因素排名靠前。该市场中，舱位订单量和工业生产指数的作用相对较弱。

5.3 油轮市场

油轮市场的新造船价格主要受Handysize油轮订单簿、传染病股市波动指数和商品价格指数影响。与干散货和集装箱市场相比，工业生产对油轮新造船价格的影响更为显著。二手油轮价格则主要受到GEPU和Handysize订单簿的驱动；感染性市场波动、海面温度和铁矿石进口量的影响在该市场较弱。

5.4 综合市场

综合市场的新造船价格受到铁矿石进口量、GEPU、原油价格、天然气价格和海事事故的综合影响；二手船价格则更依赖商品价格指数、总销售量和传染病股市波动指数。这些差异反映出新造船与二手船投资决策的不同侧重。

下图给出了利用SHAP分析得到的某市场（示例为干散货新造船）特征影响图，左侧为特征对预测值的贡献分布，右侧为特征-样本影响热图。

图9 干散货新造船价格的SHAP解释（取自Fig.11）
图9 干散货新造船价格的SHAP解释（取自Fig.11）

另外，下图展示了另一市场的SHAP热力图示意，反映不同特征在样本上的影响分布。

图10 二手船价格预测的SHAP热力图示意（取自Fig.14）
图10 二手船价格预测的SHAP热力图示意（取自Fig.14）

通过这些可解释分析，研究揭示了关键宏观经济指标、海洋环境变量和行业订单簿在不同市场中的相对重要性，为船东和投资者提供了决策依据。

六、模型适应性与稳健性研究

6.1 意外事件影响分析

航运市场经常受到突发事件的影响，例如 COVID‑19、俄罗斯–乌克兰冲突、硫排放法规和银行破产等。论文在预测实验中设置了“无微调”和“微调”两种模式，比较模型在突发事件发生前后的表现。下图展示了新造干散货市场在各类突发事件期间的预测轨迹及残差对比。

图8 突发事件下模型适应性分析（取自Fig.23）
图8 突发事件下模型适应性分析（取自Fig.23）

蓝色背景代表模型在基础预训练阶段，绿色/黄色等色块代表微调阶段。可以看到，微调后的模型不仅减小了残差，而且对2020年硫排放法规实施、2022年俄乌冲突、2023年硅谷银行危机以及欧盟碳排放交易体系扩展等事件表现出更强的适应性。

6.2 训练时间、内存与准确性

稀疏注意机制大幅降低了Transformer的计算复杂度，使模型在保持或提升预测精度的同时，训练时间和显存占用显著降低。论文报告稀疏注意相比全局自注意将训练时间减少约22.91%，显存占用减少约26.12%，且在各船价指标上实现更低的MAE、RMSE和SMAPE。上述结果进一步说明，针对航运这种长序列预测任务，稀疏注意是提升效率和稳健性的有效途径。

七、结论与启示

综上所述，SPPformer通过结合跨域预训练、分段微调、稀疏注意机制与SHAP解释方法，在船舶价格预测和可解释性分析方面取得了显著成果。主要贡献包括：

  • 全市场覆盖与高预测精度：模型能够同时预测干散货、集装箱、油轮及综合市场的新造船与二手船价格，在MAE、RMSE和SMAPE等指标上全面优于传统统计、机器学习和其他Transformer类模型。
  • 稀疏注意机制提升效率：通过膨胀与局部自注意的组合，模型显著降低了训练时间和内存消耗，同时保留了对长短期依赖的建模能力。
  • 跨域预训练与微调策略：利用海量异质时序数据预训练，再在航运数据上分段微调，有效缓解过拟合，提升模型泛化能力。
  • 可解释性分析：通过嵌入SHAP，模型能够识别不同市场和船型价格的关键驱动因素，为政策制定者和投资者提供依据。

管理启示：

  1. 关注宏观经济和政策变量：铁矿石进口量、商品价格指数、GEPU和能源价格等指标对船价影响显著，航运企业和金融机构应密切跟踪这些变量以优化投资策略。
  2. 强化数据整合与模型更新：跨域数据融合和持续微调可以提高模型在突发事件下的适应性，建议企业建立动态更新的预测体系，以应对市场震荡。
  3. 推广稀疏注意机制：在其他经济预测和长序列场景中，稀疏注意机制亦具有广阔的应用前景，可为处理高维时序数据提供新的思路。

文章须知 

推文编辑：单子叶 

责任编辑：弓仪长

原文链接：https://doi.org/10.1016/j.tre.2025.104136