考虑途中同步与随机需求的动态卡车无人机协同配送问题

论文题目：Dynamic collaborative truck-drone delivery with en-route  synchronization and random requests

第一作者：崔海鹏 深圳大学土木与交通工程学院硕士生导师，研究方向：低空物流、智能交通系统等，以运筹优化、数据科学、机器学习等学科的相关理论技术为基础，从成本经济、运输效率等角度展开研究。

E-mail：cuihp@szu.edu.cn

通讯作者：贾帅 香港科技大学（广州）智能交通学域助理教授，研究主要集中在城市交通管理、物流与供应链管理、生产排程与资源调度等领域。擅长运用运筹优化、人工智能、系统仿真等方法解决上述领域的管理运营问题。

E-mail：shuaijia@hkust-gz.edu.cn 

考虑途中同步与随机需求的动态卡车无人机协同配送问题

论文摘要

城市同城配送正从单一车辆向多模式协作转变。传统卡车配送在拥堵、污染及成本方面表现不佳，结合无人机可弥补这些不足。现有文献大多假定客户请求和时间窗已知，并要求无人机在固定客户节点起降，无法满足同城即时配送的随机性。本文针对动态协同卡车‑无人机路径问题，考虑随机到达的请求以及无人机在卡车行驶途中任意位置起降的同步机制。研究构建了马尔可夫决策过程（MDP）模型，利用强化学习（RL）求解服务接受、载具分配及起降位置选择，同时通过几何模型实现卡车与无人机在途中同步回收。实验以Solomon基准数据和新加坡某物流公司的真实数据验证了方法的优势。结果显示，在随机请求场景下，路线式起降比节点式起降平均利润提高8.43%，比FCFS等基准算法高出28.03%，并显著降低了等待时间。

一、问题提出与背景

1.1 背景概述

• 传统配送瓶颈：卡车配送易受交通拥堵影响，导致延误和高成本。
• 协同配送机会：无人机可避开拥堵、耗能少，适合同城快件与食品外送等场景。
• 研究空白：多数研究假定所有请求提前已知且无人机只能在客户节点起降，无法应对随机到达的即时需求。
• 新技术驱动：无人机可借助定位系统实现在行驶卡车上精准起降。

1.2 研究目的

作者提出动态协同卡车‑无人机路径问题（DCRP‑eS），旨在：

• 面对随机到达的配送请求，实时决定是否接单并选择合适的配送载具；
• 在路线中动态选择无人机的起飞和回收位置，避免固定节点起降带来的等待时间；
• 同时考虑无人机电池续航、装载限重等限制。

二、模型框架与方法

2.1 马尔可夫决策过程建模

为描述随机请求下车辆状态及决策，作者将问题建模为马尔可夫决策过程。每个决策时刻系统状态由时间、未分配请求集合以及每辆车和无人机的状态组成：

其中，为当前时间，表示待服务的客户请求集合，与分别记录各卡车和无人机的运行状态（包括是否空闲、服务对象、目的地、预计完成时间等）。为了适应随机到达的请求，决策动作集不仅包括接受或拒绝请求，还包括让无人机降落回收、卡车返回仓库、卡车停靠等待等多种操作。

当系统选择动作后，状态按照转移函数更新，新请求到达或任务完成都会触发下一状态。奖励函数衡量每个动作带来的收益与成本：

其中为完成请求的收入，指示是否在状态执行动作服务了请求，是卡车与无人机的行驶成本及延迟惩罚。目标是在规划周期内最大化总期望收益。

2.2 灵活起降几何模型

为了让无人机在卡车行驶途中回收，作者构建了平面几何模型（Flexible Launch and Retrieval，FLR）。设无人机和卡车当前位置分别为和，卡车的下一目的地为，无人机和卡车速度分别为和。回收点需满足：两者到达回收点的时间相同，且回收点位于卡车未来路线而非已行驶的路段。数学条件为：

其中为卡车到下一节点的剩余时间，为到回收点的时间。解出两个候选回收点后，仅选择位于未来行驶路线的位置。该模型保证无人机和卡车同步到达回收点，避免等待和电量浪费。

下图示意无人机从当前位置飞往待服务客户，再沿几何模型计算的路径与行驶中的卡车汇合：

2.3 强化学习与深度Q网络

为求解复杂的动态决策问题，本文采用强化学习。通过将每个卡车‑无人机对视为独立智能体，在离线阶段分别训练代理，再在实时调度阶段由中央调度器协同分配动作。强化学习框架如图所示：

主要步骤：

• 去中心化学习：每个代理根据自身状态采用深度Q网络（DQN）估计动作价值。Q值满足贝尔曼方程：

  通过经验回放和目标网络等技巧提升稳定性。

• 中央调度：在每个决策时刻，通过求解一个非对称指派问题，为所有代理分配动作组合，使得总Q值最大且避免冲突。

• ε‑贪心策略：训练过程中采用ε贪心平衡探索与利用。

2.4 静态混合整数规划模型

为对比动态算法的优势，作者还建立了静态协同问题（CRP‑eS）的混合整数规划（MIP）模型，对路径进行离散化并设定卡车与无人机的同步点。该模型在完全已知请求信息的情况下求解最优路线，用于与强化学习方法在小规模实例上对比。

三、实验设计与结果分析

3.1 实验设置

• 小规模实例：从Solomon数据集中随机选取6个请求，两辆卡车和两架无人机，比较MIP与RL等方法。
• 大规模实例：从实际运营数据中选取25个地点，其中约100个请求随机到达。设置10辆卡车和10架无人机，约2/3请求适合无人机配送。卡车速度40 km/h、成本0.79 美元/km，无人机速度80 km/h、成本0.07美元/km，续航70 km。

3.2 强化学习训练表现

在小规模实例中，使用RL训练2000轮后，Q‑网络收敛，平均收益逐步提升。下图展示了单日6个请求的训练曲线，RL方法相比传统的先来先服务（FCFS）和大邻域搜索（LNS）表现更优：

3.3 续航里程对性能的影响

通过在大规模实例中变化无人机续航距离，分析不同场景的平均利润。图4表明：当续航里程增加到50 km左右后，利润基本稳定；路线式起降（DCRP‑eS）利润始终最高，其次是节点式起降（DCRP）、分离配送（DTDRP）和仅卡车配送（DVRP）。

3.4 多日规划比较

当规划周期延长至多日时，RL方法与FCFS、LNS在收益上的差异更明显。下图比较了不同算法在多日实例中的平均利润：RL优于FCFS 28.03%，初始几日略低于LNS但在第五天以后超过LNS。

进一步比较不同配送场景的多日收益（图6），路线式起降（DCRP‑eS）的平均利润比节点式起降高5.13%，比分离配送高8.51%，比纯卡车配送高11.65%。

3.5 经济性与等待时间分析

实验结果还显示：

• 在各种续航条件下，RL方法平均利润比FCFS高28.03%，同时计算速度远快于LNS。
• 多日场景中，DCRP‑eS的收益与成本比达4.60，远高于其他场景（节点式起降3.67、分离配送3.24、纯卡车2.91）。
• 节点式起降需要无人机等待卡车到达回收点，平均等待时间为10~64小时不等，而路线式起降完全消除了等待。

四、贡献与创新点

• 问题设计新颖：首次提出包含随机请求和灵活起降的动态卡车‑无人机协同路径问题（DCRP‑eS），更贴近即时配送场景。
• MDP建模：构建全面的马尔可夫决策模型，状态表达卡车、无人机及请求动态，奖励函数兼顾收入、成本与延迟。
• 几何同步模型：提出物理几何模型计算无人机与卡车的最佳回收位置，实现路途中同步起降，避免等待损耗。
• 多智能体强化学习：采用去中心化学习与集中调度相结合的强化学习框架，利用深度Q网络求解高维状态‑动作空间。
• 丰富实验验证：使用基准数据和真实运营数据构建小规模与大规模实例，全面对比RL、MIP、LNS、FCFS等方法，证明所提策略在效率和经济性上的优势。

五、结论与展望

本文针对城市即时配送中的随机请求场景，提出了动态协同卡车‑无人机路径优化模型和基于强化学习的求解方法。模型在实时决策时充分考虑了卡车与无人机的同步协作和电池续航限制，通过几何模型实现灵活起降，显著提高了系统利润并减少等待时间。实验表明，在各类续航和规划周期下，路线式起降与强化学习结合的策略表现最佳。

未来研究可考虑以下方向：

• 引入更多现实因素，如天气对无人机飞行的影响、车辆充电策略等。
• 扩展到异构无人机和卡车队伍，以及多仓库情形。
• 结合博弈论或多智能体协作算法，提升代理间的协调效率。

通过这些扩展，车‑机协同配送系统有望在现代物流中发挥更大作用。

原文链接见文末，或扫下方交流群二维码。群内实时更新推文及原文 pdf，方便专家学者随时获取（若二维码失效，请翻阅扫描最新文章的二维码）。