即时外卖配送：多阶段风险感知多智能体强化学习框架的探索

论文题目：Real-time coordination of human couriers and drones for on-demand food-delivery platforms: A multi-stage risk-aware multi-agent reinforcement learning framework

第一作者：Yulong Hu 香港科技大学博士生，研究方向主要集中在强化学习（RL）控制，应用于交通和能源系统，如智能出行和分布式能源资源。

E-mail：yulong.hu@connect.ust.hk

通讯作者：Sen Li 香港科技大学土木与环境工程系助理教授，研究聚焦智慧城市、智能交通系统、智能电网。

E-mail：cesli@ust.hk

即时外卖配送：多阶段风险感知多智能体强化学习框架的探索

论文摘要

本文关注 人力骑手与无人机协同的即时外卖配送平台。得益于无人机航电技术的快速发展，混合式配送模式已有先行实践，但如何在 动态、大规模且充满不确定性的环境 中协调骑手与无人机，实现订单捆绑、任务分派、路线规划和无人机再定位仍然是挑战。针对这些难题，作者提出了一个 多阶段风险感知多智能体强化学习框架（MSRA‑MARL）。该框架将系统视为包含骑手与无人机两类异质智能体的 多智能体马尔可夫决策过程（MAMDP），通过 动态风险感知二部图匹配 在中枢层做任务分派，同时引入 图协调器 预测订单延误风险并作为奖励约束。为避免多智能体学习陷入局部最优，作者采用 预训练 + 分段联合微调 的多阶段训练策略。基于香港真实外卖数据的大规模实验表明，该框架相较于纯骑手配送和传统 MARL 算法，在总效益、服务率与延误率等指标上提升显著。本文通过综述式梳理研究背景、问题建模与算法设计，系统解析该框架的关键技术点与创新亮点。

一、研究背景与问题定义

1.1 行业背景与挑战

• 无人机助力即时配送：随着无人机续航能力、飞行安全与自动化导航技术的提升，无人机已逐步应用于城市物流；例如美团在 2024 年已运营超过 43 条无人机航线。
• 混合人机协同模式：现实中无人机无法直接取餐，需要骑手从餐厅取餐并送至“发射点”，由无人机完成后程配送。该模式利用骑手擅长取餐和订单捆绑的优势，又发挥无人机快速穿越交通拥堵的能力。
• 复杂决策任务：平台需同时决定订单捆绑、骑手路线、无人机再定位与二者在“发射点”的交接，且需求、交通与无人机状态高度不确定。传统模型难以同时兼顾实时性、规模和不确定性，因此亟需新的智能优化方案。

1.2 研究问题

作者关注 即时外卖平台在混合人机协同模式下的实时决策问题。具体目标包括：

• 在 多模态配送网络 中，实时确定每个订单的处理方式（骑手直送或骑手转无人机）、骑手的行驶路径、无人机再定位路径。
• 动态协调骑手与无人机 的行为，保证在满足客户时效要求的同时，提升平台整体效益。
• 处理 需求与供给的不确定性，避免由于等待时间过长导致订单超时或无人机、骑手闲置。

二、问题建模与理论框架

2.1 多智能体马尔可夫决策过程（MAMDP）

为刻画骑手与无人机的协同决策，作者将系统建模为两个异质智能体共享的 MAMDP。核心要素包括：

• 状态定义：每个骑手状态  包含其所在 区域、可用容量 、正在服务的订单及当前时间。无人机状态包括所在发射点、可用状态等。
• 动作空间：若骑手有空闲容量，则动作 ，表示直接送餐给客户（0）或将订单投递到某一发射点 。无人机动作为选择下一步再定位的发射点。
• 独立与异质假设：同类智能体之间相对独立；骑手和无人机之间则互相依赖，需考虑对方的后续决策。

2.2 动态风险感知二部图匹配

在 MAMDP 的基础上，为实时分配订单与骑手、确定无人机再定位，作者构建了 二部图匹配模型。节点集包括待匹配订单  与可用骑手 ，边权重  表示将订单  分派给骑手  的收益，在满足服务质量及风险约束下求解最大收益匹配问题。

关键点：

• 收益计算：对每条边，采用 ‑贪心策略权衡长期回报与随机探索，边权重取骑手在该状态下执行不同动作的最大 Q 值或一个较大正数以促进探索。
• 风险约束：约束 (21f) 要求分配给骑手  的订单总风险不超过预设阈值 。风险  由 图协调器 评估，衡量订单超时可能性。该约束使系统在追求收益的同时规避高风险匹配，从而减少客户等待时间。
• 其他约束：每个订单或骑手只能匹配一次（21b–21c），骑手载重不能超过容量（21d），订单与骑手间距离需小于 （21e）。

下图给出了该风险感知匹配框架的示意图。

2.3 图协调器：风险估计模块

为了估计订单从骑手交接到无人机后的完成时间与违约风险，作者设计了 图协调器（Graph Coordinator）。其核心思想是将城市发射点构建为 时空图，节点代表发射点，边表示邻近关系，通过 图神经网络 (GNN) 抽取宏观供需特征，结合骑手和无人机的局部状态预测配送时长和违约概率。

图协调器结构：

• 节点特征：每个节点  的特征向量为

  其中， 为发射点 ID， 表示区域编号， 为当前待处理订单数， 为在途无人机数量，后续项表示未来  步内的订单与无人机需求预测。
• 两层 GNN 聚合：使用均值聚合形式，每层计算

  更新第二层时再融合邻居的隐藏表示，实现对时空关联的捕捉。
• 多任务输出：将 GNN 输出与骑手/无人机局部信息接入多层感知机，通过多任务学习分别预测 预期配送时间 和 违约风险。

下图展示了图协调器的结构。

2.4 多阶段训练策略

直接采用 MARL 训练异质智能体容易陷入局部均衡，难以实现协同。为此，作者提出了 多阶段训练方案：

1. 骑手预训练：假设无人机能立即服务所有交接订单，让骑手在理想条件下学习高效的订单捆绑与投递策略。
2. 无人机预训练：冻结骑手策略，在骑手固定投放模式下训练无人机再定位策略，以适应骑手的投递模式。
3. 图协调器训练：基于上述策略生成的轨迹，通过监督学习训练图协调器预测交接后的配送时间与风险。
4. 联合微调：将三个组件联合优化，微调策略与风险评估，使系统在真实条件下稳定协同。

这种 预训练→分段微调→联合优化 的策略既保证了单体能力，又有效规避了多智能体协调时的局部最优陷阱。

三、解决方案与算法设计

3.1 强化学习策略优化

• 骑手策略：采用改进的 双重深度 Q 网络（IDDQN），通过缓解目标值估计和动作选择的耦合，计算损失

  使得骑手在大规模状态空间下学习到投递/中转的最优政策。

• 无人机策略：采用 近端策略优化（PPO） 的演员–评论家框架，提高策略在动态环境下的稳定性；更新规则分别最大化策略目标并最小化价值函数误差。

• 风险感知约束：匹配过程中利用图协调器输出的风险值作为奖励和约束信号，引导智能体在强化学习过程中避开高风险决策。

3.2 系统整体框架

综合上述模型和算法，作者构建了闭环的 MSRA‑MARL 平台。其主要组成包括：独立强化学习的决策层（骑手和无人机）、风险感知的二部匹配层与 图协调器。流程如下：

• 状态输入后，骑手和无人机决策模块根据各自策略生成行动方案（投递地点与再定位目标）。
• 二部匹配层根据当前平台状态和估计价值函数，为骑手分配订单并为无人机分配交接任务。
• 匹配结果及执行后的奖励反馈给决策模块更新策略，同时风险约束确保协同安全。
• 图协调器预测的风险值既作为匹配约束，也作为智能体奖励信号。

下图给出了该整体框架的示意。

四、实验设计与结果分析

4.1 数据与仿真环境

• 数据来源与区域划分：采用香港外卖平台真实订单数据，选取晚高峰（18:00–19:00）约 7200 个订单作为训练样本，平均每分钟 160 单。根据订单的空间分布，利用 1.5 km × 1.5 km 的网格将城市划分为 81 个区域，并通过 k‑means 确定 40 个发射点。
• 仿真设定：系统配置 1000 名骑手和 1000 架无人机，每个骑手可同时携带 3 单，决策间隔为 1 min，顾客期望时长 40 min，骑手速度 25 km/h、无人机速度 60 km/h。

4.2 对比方法

实验对比了以下四类模型：

• C 模式：仅骑手配送；比较贪婪匹配、独立 RL、基础 MARL 和多阶段 MARL 等不同算法。
• CwD 模式：骑手与无人机协同，其中包括不带风险感知的 vanilla‑MARL、只多阶段训练的 MS‑MARL、完整的 MSRA‑MARL 等方案。
• 预训练模型 CwD_Pretrain：只完成前两个训练阶段，不加入风险感知。
• Ablation：移除阶段 2 或 3 的对照实验，用于分析各阶段贡献。

4.3 性能指标

主要评价指标包括：平台总体收益（POP）、服务率（SR）、骑手行驶距离（HTD）、无人机再定位距离（DRD）、超时订单比例（DVR） 以及 平均完成时间（ATO） 和 平均等待时间（AOWTL）。此外，考察 30 分钟内完成比例  和超过 50 分钟的比例 ，以衡量时效性。

4.4 结果与分析

• 协同模型的优越性：与纯骑手配送相比，骑手‑无人机协同模式显著提高平台收益和服务率，并降低延误率。完整的 CwD_MSRA‑MARL 在整体效益上比基线模型提升 82.3%，服务率提升到 95.2%，超时率降至 2.6%。
• 多阶段训练的作用：预训练阶段能让各智能体学习基本技能，为后续协同打下基础。在消融实验中，移除某个预训练阶段后，平台收益和服务率明显下降，延误率大幅上升。
• 风险感知的重要性：引入图协调器后，系统能预测交接风险并调整匹配策略，使得延误率从 6.0% 降至 2.6%，长尾超时率从 1.87% 降至 0.46%，客户满意度显著提升。
• 训练过程对比：训练曲线显示，多阶段风险感知模型在收益和服务率上均明显优于独立 RL、基础 MARL 等方法，且收敛速度更快。

下图展示了各模型在训练过程中的收益与服务率表现。

五、结论与创新亮点

5.1 核心结论

• 建立了 多智能体 MAMDP + 二部图匹配 + 图协调器 的综合模型，突破了传统模型难以处理的大规模、不确定混合配送决策问题。
• 提出 风险感知二部匹配，通过约束订单分配的累计风险避免了订单在发射点长时间堆积，实现了高效可靠的骑手‑无人机协作。
• 设计 图协调器 利用 GNN 结合宏观供需和微观状态，准确预测交付时间和违约概率，为决策提供关键的风险评估。
• 提出 多阶段训练策略，将预训练、分阶段优化和联合微调结合，有效解决多智能体强化学习中的协调困难。
• 实证分析表明，该框架在真实数据上的表现显著优于现有方法，验证了其在实际外卖平台应用的潜力。

5.2 创新贡献与未来展望

• 理论贡献：将风险感知机制和图神经网络引入多智能体强化学习框架，实现了异质智能体的协同优化。
• 应用价值：为城市即时配送提供了可行的实时协调方案，可推广到其他多模式物流场景（如医药配送、同城快递）。
• 未来工作：进一步考虑飞行空域限制、安全规制以及算法在不同城市环境下的泛化能力；探索与经济激励相结合的机制设计，以鼓励骑手和无人机的自适应协作。

综上所述，本文系统分析了混合人机协同外卖配送的难点，阐释了 MSRA‑MARL 框架的模型设计、算法细节与实验验证，为研究者理解并进一步拓展该领域提供了详实的参考。

原文链接见文末，或扫下方交流群二维码。群内实时更新推文及原文 pdf，方便专家学者随时获取（若二维码失效，请翻阅扫描最新文章的二维码）。