智慧交通应急场景：异质多智能体强化学习实现多模式协同疏散优化

一、研究背景与问题提出

随着城市人口密集度增加，突发性客流外溢（outburst passenger flow，OPF）经常发生于大型活动、铁路出站高峰或临时线路停运等场景，原有单一运输模式的疏散措施往往无法及时化解危险。论文指出，传统研究主要集中于单模式或离线优化，忽略了系统间的协同及实时调度。不同模式具有各自特点：

• 出租车：容量小、调度灵活，适合短距离点到点服务。
• 公交车：容量中等，可通过应急线路实现集群运输，但需考虑终点站聚集和末端步行时间。
• 地铁：运能大，适合长距离输送，但受固定线路和车次限制。

疏散行动会抽调在营车辆或挤压地铁容量，对正常乘客造成干扰（乘客“放弃”）。文献针对出租车、公交、地铁三种模式分别分析了被抽调车辆的常规乘客损失。为提高运输系统的鲁棒性、快速性和资源性，论文提出在一个框架内协调三种模式，在满足疏散效率的同时，尽量减少对正常运营的影响。

二、问题形式化与模型

2.1 总体目标

论文将疏散问题表述为多阶段动态资源分配问题，目标是在整个OPF期间最大化系统弹性并最小化常规乘客放弃。整体目标函数写成：

其中为时间步集合，表示三种运输模式。是对模式在时间的弹性贡献，代表对常规乘客造成的放弃损失。

2.2 决策变量与约束

在每个时间步，智能体需要决定各模式的调度能力，约束包括：

• 调度能力不能超过可调度容量：

• 被疏散乘客人数不能超过调度车辆容量。以出租车为例：

对于公交模式与地铁模式的类似约束见式(5)–(7)。

• 调度变量为自然数。

该问题组合复杂且随着时间递增，难以通过传统精确算法在大规模实例中求解。

三、数据驱动的多模式疏散环境

论文利用出租车 GPS 数据、公交刷卡与车辆定位数据以及地铁 OD 矩阵构建了动态环境：

• 出租车环境：通过定位找出某范围内的空载出租车；若将该车调度去疏散，则原本等候的乘客将无法搭乘，被视为“放弃”。
• 公交环境：仅从停车场调度公交，并通过刷卡数据统计每辆公交车相关的常规乘客数，调度该车时这些乘客将被放弃。
• 地铁环境：以时间依赖 OD 矩阵模拟常规客流，若因疏散导致列车满员，下游站的乘客会被拒绝上车，从而计算放弃乘客。

此外建立动态乘客环境，记录每个乘客群的入站时间、预期离开时间、目的地和初选模式。图1展示了模型中各模式及其服务范围，图2则定义了弹性指标（鲁棒性、快速性和资源性）。

下图展示多模态疏散示意，橙色线为出租车、蓝色为应急公交、绿色为地铁，黑色圆点为乘客终点，蓝色虚线圆表示公交终点站服务区，虚线代表末端步行。

弹性框架示意图显示随时间变化的容量缺口与拥挤阈值，阴影区域量化了鲁棒性（避免容量缺口的起始高度）、快速性（网络清空时间、风险暴露时间）和资源性（运载能力与需求间的面积）。

四、独立与协作疏散策略

4.1 独立策略

在独立策略中，各模式单独执行疏散，乘客不能换乘。分配遵循先到先服务原则，即依据入站时间顺序对调度车辆进行匹配。状态变量包括：

• 当前模式可调度能力、已疏散乘客数和乘客滞留人数等。
• 动作为选择调度能力。

该策略简单但容易导致某些模式超负荷而其他模式闲置。

4.2 协作策略与乘客换乘

协作策略允许乘客在模式间转换。当初选模式容量用尽，而其他模式仍有剩余运能时，乘客可根据Logit 模型选择替代模式：

其中为模式的行程成本函数；行程成本由旅行时间、票价、末端步行成本及模式忠诚因子决定：

乘客换乘前，首先根据原出行方式对滞留乘客进行初始分配。若在该分配后仍存在可调度余量，则计算各交通方式在时段  的剩余容量，并将其用于支持换乘乘客的重新分配。各模式的剩余容量计算如下：

• 出租车（Taxi）：剩余容量为已派遣出租车的总运力与初始分配乘客需求之差：

• 公交（Bus）：对每条应急线路 ，其剩余容量为单车容量减去已初分配乘客需求：

• 地铁（Metro）：剩余容量由当前可调度运力与初始分配乘客数量差值得到：

奖惩设计

为了让智能体在训练过程中关注弹性和对正常服务的影响，论文将总体目标转化为逐时刻的反馈函数：

其中：

• 拥挤惩罚分配给各模式的比例与其调度能力相关：

• 需求满足奖励考虑滞留乘客数量及其滞留时间，以滞留时间因子  表示乘客组  在时刻  的正向激励。滞留时间计算与正向因子定义如下：

  在此基础上，模式  在时段  的需求满足奖励由滞留时间因子与乘客需求的加权和计算得到：

•  放弃惩罚（Impact on regular services） 分别针对出租车、公交和地铁计算常规乘客的放弃数量：

  （1）出租车：

  （2）公交：

  （3）地铁：首先定义从 OPF 区域上游站   发车的列车  在下游各站  的 OD 需求：

  据此得到时步  的常规乘客放弃量：

4.3 独立与协作策略的难点

• 客流动态性强：抵达时间、滞留时间及目的地不确定，需要实时数据更新。
• 异质性：三种模式容量、费用和速度不同，导致奖励分配容易失衡，需在设计反馈时兼顾公平性。
• NP-难问题：决策变量离散且时间相关，传统方法无法快速求解大规模实例。论文通过多智能体强化学习来近似最优策略。

五、异质多智能体强化学习框架

5.1 DTDE：独立策略的去中心化训练

对独立策略，论文采用深度确定性策略梯度的去中心化训练/执行（DTDE） 框架。每个模式对应一个独立智能体，拥有自己的actor和critic网络；通过动作噪声探索并用经验回放更新网络参数。该方法结构简单，易于并行化，但无法利用模式间协同信息。

5.2 H‑CTDE：协作策略的混合集中训练

协作策略需要各智能体共享信息，于是采用混合集中训练/分布式执行（H‑CTDE） 框架。各智能体有本地 actor 和 critic 网络；同时存在一个联合 critic 网络对所有模式的联合状态–动作对进行价值评估。训练时 critic 网络获得各模式的状态和动作，执行时每个智能体只用自己的局部信息。该结构既能协调模式间行动，又保持分布式决策的效率。

下图展示了H‑CTDE结构，左侧为各模式的 actor，右侧为局部 critic 与中央 critic。

5.3 滞留时间因子曲线

为加快训练，论文通过实验设定滞留时间因子与实际滞留时间之比为负指数函数，如图6所示：时间越长，奖励因子下降越快。

六、案例研究：西安北站客流爆发

6.1 环境与数据

选取西安北站及周边为实验区，涵盖地铁站、出租车待泊区和公交站。研究区域与客流分布如图所示。图8(a)展示了研究区域与公交应急终点，图8(b)用三维柱状图描述了某时期各小时的进站旅客数量。

在无疏散方案下，滞留乘客数迅速增长，如图9所示。灰色曲线为真实情况，从10:00 的5590人上升到10:25的1391人后继续增加，超过拥挤阈值的时间长达近9小时。

应急公交线路的服务区和终点站由空间聚类方法确定，如图10所示，蓝色区域对应候选线路，终点站靠近乘客群集中区域。

6.2 训练结果与策略学习

6.2.1 训练效率

论文将多智能体强化学习与遗传算法进行比较。在峰时环境下（12:00–16:00），DTDE 和 H‑CTDE 在约800次迭代内收敛，而遗传算法需3000次以上才能达到稳定水平，奖励也更低，如图11所示。

6.2.2 策略收敛分析

图12展示了需求满足奖励和已疏散乘客数量的收敛情况。协作策略（黑线）在1000次训练后实现更高的需求满足（64835 vs. 57165）和更多疏散人数（29276 vs. 23513），说明模式换乘机制有效利用了剩余运能。

图13给出了拥挤惩罚随训练迭代的变化。初期协作策略因调度大量运能而产生更多拥挤，但随着训练，协作策略的平均拥挤惩罚降至899，低于独立策略的1263。

图14比较了常规乘客放弃情况，协作策略放弃平均为8511人次，而独立策略为14199人次，降低了40%。

6.3 弹性分析与结果

在最大奖励策略下，对比有无疏散策略和独立/协作策略的弹性表现，图15绘制了容量缺口随时间的变化。协作策略在前20分钟将滞留人数从5590人降至1218人，网络在70分钟内达到平衡，只剩37名乘客滞留；独立策略需350分钟才能清空，且最大滞留人数达1391人。表5总结了三种策略的弹性指标（鲁棒性、网络清空时间、风险暴露时间和资源性），协作策略的资源性比独立策略提高约6%。

6.4 需求分配与模式利用

图16展示了无疏散情况下各时间步的总需求（红点）与各模式满足的需求（柱状），由于运能有限，滞留人数持续累积。

独立策略下，乘客不能换乘，导致公交和出租车多次拥挤，放弃乘客持续出现，如图17所示。

协作策略利用剩余运能快速疏散，只有第一时间步放弃数量较大，之后各模式在满足紧急需求的同时几乎不再影响常规服务。如图18所示，地铁贡献最大，出租车提供灵活运力，公交仅在个别时段投入，显示其辅助作用。

七、迁移性能与敏感性分析

7.1 新环境需求传播

为了验证预训练智能体在不同场景的适用性，论文通过对乘客数量施加高斯扰动（标准差为3、6、10）生成新环境。图19显示三种扰动下滞留需求随时间的传播：变异因子越大，OPF持续时间越长，需求峰值越高。

7.2 在线应用性能

在新环境中，将高峰期训练和全周期训练的智能体用于独立和协作策略。图20的箱线图比较了不同时间截止点的奖励分布。协作策略整体表现优于独立策略；高峰期训练的智能体在短期表现较好，而全周期训练的智能体在长周期环境下有更强适应性。

7.3 敏感性分析

论文进一步考察了训练数据长度与变异因子对策略迁移的影响。图21为独立策略下，三种变异因子与不同时长（2h、8h、12h）的组合；图22为协作策略下的对应结果。横坐标为训练数据集（峰前2小时、峰后6小时和全10小时），纵坐标为在线应用奖励。结果显示，训练时间越长，协作策略越能适应复杂环境，且变异因子越大时，全周期训练具有明显优势。

八、研究贡献与管理启示

论文提出的多模态疏散框架具备以下创新与启示：

• 系统性整合：首次在一体化框架内协同出租车、公交和地铁，解决了单模式疏散无法灵活调配运力的问题。
• 数据驱动环境：利用 GPS、刷卡和 OD 数据构建实时动态环境，实现对调度能力和乘客需求的准确估计。
• 异质多智能体强化学习：针对各模式运能差异引入混合集中训练，将集中评价与分布执行结合，解决 MADDPG 在异质系统中“懒惰”与过度保守的问题。
• 弹性评估与奖惩设计：将系统弹性指标转化为逐时刻的奖励，引入滞留时间因子和拥挤惩罚，在加速训练的同时保证了对正常服务的保护。
• 案例验证与迁移性：在西安北站实证验证了框架的有效性，协作策略使网络清空时间缩短至独立策略的1/5，资源性提升6%；预训练智能体在新的需求分布下依然表现出色，证明了方法的可迁移性。

对于管理者，该研究建议：

• 优先调度大容量模式，如地铁快速输送主流客流，同时通过出租车灵活调度解决“最后一公里”。
• 设置多层次应急响应：高峰期可预先集结公交车作为备用运力，平峰期则重点保护常规服务。
• 实时监控滞留人数并动态调整调度决策，避免局部模式过载。
• 长期训练与场景迁移：建议运输主管部门建立长期、多样化训练数据库，为未来类似事件提供可直接部署的智能体。

九、结论与未来展望

本文针对城市公共交通突发客流提出了基于异质多智能体强化学习的在线多模式疏散框架。该框架在数据驱动的动态环境下，协调出租车、公交和地铁三种模式，优化疏散运能分配，并通过精细化的奖惩设计平衡疏散效率与常规服务影响。实证结果显示，协作策略显著提升了系统鲁棒性、快速性和资源性，且训练完成的智能体可迁移到不同需求场景。

未来工作可考虑：

• 将乘客路径选择和信息传播纳入模型，研究乘客行为对疏散效果的影响。
• 公平性和优先权问题，如优先保护老年人或低收入群体的出行权益。
• 深入探讨安全强化学习方法，在确保系统稳定和安全约束下提升算法性能。
• 在更大范围（多车站或跨城市）验证模型的可扩展性。

通过这项研究，作者证明了多模式协同与强化学习相结合的巨大潜力，为城市交通系统应对突发客流提供了一种高效、可部署的解决方案。

文章须知 

推文编辑：单子叶 

责任编辑：弓仪长

原文链接：https://doi.org/10.1016/j.tre.2025.104411