raw-000003499 公众号封面

链上镖师 / Chain Biaoshi

TRE 2026.9|城市无人机配送的柔性服务策略:混合仿真-优化框架


基于系统动力学与深度强化学习的闭环调度方法

论文信息

论文题名:Designing flexible service strategies for urban drone Delivery: A hybrid Simulation-Optimization framework

作者:Zhijie Yang,Fei Ma,Yu Wang,Qing Liu,Qipeng Sun,Gangyan Xu,Wei Ren

期刊/年份:Transportation Research Part E: Logistics and Transportation Review,2026

将系统动力学仿真与深度Q网络(DQN)耦合为闭环优化框架,深圳美团无人机配送案例验证:日均利润提升14.88%,积压波动显著收窄。

  • 研究问题:
    城市无人机配送在需求波动和资源约束下,如何动态调整无人机部署与服务定价以实现收益最大化
  • 方法特点:
    系统动力学(SD)仿真建模结合深度Q网络(DQN)强化学习,构成闭环耦合的柔性服务策略设计(FSSD)框架
  • 案例验证:
    基于深圳南山区美团无人机配送实际运营数据,FSSD策略相比经验策略收益提升14.88%
  • 拓展发现:
    联合优化部署与定价策略较静态基准收益提升39.13%,定价与部署的协同贡献约占总改善的36.9%

无人机配送:从路径优化到资源调度

无人机配送正在重塑城市最后一英里物流格局。与传统地面运输相比,无人机在低密度或偏远区域具备响应快、基础设施需求低、成本效率高的优势。亚马逊、美团等企业已启动无人机配送试点,但在实际部署中,无人机系统的商业可行性仍受多重因素制约——气象条件、地理环境、电池续航、设备可靠性以及监管政策均构成关键变量。

  • 气象扰动:
    风级超过4-5级时无人机作业受限,天气影响因子可高达0.3
  • 需求波动:
    订单呈现午间和晚间双峰特征,静态资源配置易导致峰时积压、谷时空置
  • 非线性反馈:
    订单积压→动态提价→需求抑制→资源释放,系统存在显著滞后效应
  • 补贴依赖:
    深圳交通局提供每单20元补贴,随着市场成熟补贴可能退坡

现有研究主要聚焦于无人机路径规划(VRP)和微观飞行优化,已形成成熟的启发式算法和精确求解框架。但这类工作通常将机队规模视为固定参数,忽略了一个根本性挑战:在订单随机到达、设备状态动态变化的环境中,无人机部署量和服务定价需要实时响应系统状态,而非停留在一次性配置层面。Dardick和Harring(2025)明确指出,纯数学优化模型难以捕捉真实运营中多变量间的非线性交互,亟需引入仿真手段构建高保真决策环境。

核心缺口:宏观资源管理的动态学习困境

路径规划层面已积累大量成果,但战略层面的机队规模动态调整和服务定价协同优化仍处于空白——这正是制约无人机配送从试点走向规模化的关键瓶颈。

耦合仿真-优化模型整体框架

FSSD框架整体架构:SD仿真模块与RL优化模块的闭环交互关系。取自 Fig.1。

具体而言,强化学习(RL)在物流调度中展现出处理序贯决策的天然优势——通过与环境的持续交互,RL无需显式建模状态转移概率即可学习最优策略。但直接将RL应用于无人机配送面临两个困难:其一,环境交互频率受限,学习策略的信度不足;其二,训练环境过于简化,缺乏订单积压、设备状态转移和资源约束的动态刻画。

系统动力学(SD)恰好弥补了这一缺陷。SD擅长建模非线性时滞反馈,在库存调控、产能配置和政策响应等物流决策场景中已有成熟应用。但SD模型本身缺乏内生的策略生成机制,需要外部优化算法驱动。Yang等人的核心洞察在于:将SD作为RL的高保真训练环境,让DQN智能体在具备真实行为反馈的仿真世界中学习自适应部署策略,从而打通仿真-优化-反馈的闭环链路。

FSSD框架:系统动力学与深度强化学习的闭环耦合

FSSD(Flexible Service Strategy Design)框架由两个耦合子模块构成:无人机配送动力学仿真(DDDS)和服务策略优化(SSO)。DDDS以SD方法构建包含订单生成、动态定价、无人机调度和维护机制的运营仿真模型;SSO则将无人机部署决策建模为有限时域马尔可夫决策过程(MDP),采用DQN算法在SD仿真环境中训练最优策略。两个模块通过无人机调整参数接口实现双向交互——SSO的输出实时注入SD仿真控制资源配置,SD仿真的状态反馈又成为下一步策略优化的观测依据。

无人机配送系统因果回路图

系统因果回路图:标识四个核心反馈环R1-R4,揭示交付执行、政府补贴、动态定价和资源配置之间的因果链。取自 Fig.2。

  • R1交付回路(增强):
    无人机在可用→执行→待维护→维护中→可用之间循环,维护和交付的延时产生非线性资源耦合
  • R2补贴回路(增强):
    基础设施投入→运营收入→政府补贴→基础设施再投入,在企业早期阶段支撑运营稳定性
  • R3定价回路(增强):
    收入→价格调整→需求响应→收入,自适应性定价超越固定费率
  • R4平衡回路:
    部署数量→单位成本→收入→定价→需求→积压→部署需求,构成供需调度的核心平衡机制
无人机配送SD仿真子模块存量流量图

DDDS子模块的存量-流量图:包含7个水平变量、8个速率变量、26个辅助变量和7个常量。取自 Fig.3。

DDDS模型在订单到达和动态定价环节,将订单生成建模为分段非齐次泊松过程,引入价格弹性系数和需求抑制函数刻画实时价格对订单量的调节作用。配送环节则抽象为可用-执行-维护-待维护的四状态无人机流转模型,维护时延通过固定延迟函数实现,天气影响因子以分段查表函数嵌入无人机服务速率的计算逻辑中。

SSO子模块将系统状态空间定义为13维向量,涵盖时间、订单积压、各状态无人机数量、订单到达率、累积收入、单位订单成本和动态定价参数等变量。动作空间为{-1,0,1},表示每步增加、保持或减少一架无人机。奖励函数设计为四元结构:当期净利润作为基础奖励、收入趋势奖惩引导持续改进、静态惩罚抑制惰性策略、超容惩罚防止资源滥用。

柔性服务策略决策模型结构

FSSD决策模型结构:DDDS与SSO的双向耦合机制。取自 Fig.5。

深圳南山区美团无人机配送实证

研究以美团在深圳南山区人才公园至海岸城航线为实证对象——这是中国最早的低空配送试点线路之一,拥有完善的起降点网络和成熟的配送流程管理体系。基于实地调研、行业访谈和运营数据,研究团队采用多源三角校正法标定了SD模型的57项参数。

关键参数及标定来源

DDDS模型关键外部参数:单机服务能力4单/小时、服务半径3公里、蜂巢站维护时间5分钟、峰谷基础定价7/5元等。取自 Table 3。

01系统规模:最大配置20架无人机、3个起降点、1个维护站

02需求模式:午间高峰(11:00-13:00)15单/小时、晚间高峰(17:00后)8单/小时、非高峰3单/小时,叠加[-2,2]随机扰动

03价格机制:高峰基础价7元/单、非高峰5元/单,动态定价通过折扣促销调节实际订单到达

04补贴收入:每单政府补贴20元,参考深圳市交通局2023年低空经济支持政策

SD模型经五维度验证:量纲一致性检查消除单位冲突,结构检验通过Vensim软件审核,极端条件测试验证了系统在满容量部署和恶劣天气(影响因子0.99)下的行为合理性,行为复现测试确认了积压-提价-需求抑制-增派无人机的负反馈自调节特征,历史检验将仿真误差控制在[-7.69%, 7.12%]的可接受范围内。

满容量部署下的SD模型运行结果

极端条件测试(满容量部署):系统稳定后活跃无人机数量收敛,验证了模型的结构稳定性。取自 Fig.6。

DQN训练配置为:学习率5×10⁻⁴、缓冲区10,000条、批次大小64、折扣因子0.99、探索率线性衰减至0.05。在15,000个episodes的训练中,损失函数快速下降,累计奖励约在2,000个episode后收敛至稳定高位区间。三个独立随机种子的训练结果显示方差极窄,算法对初始化噪声不敏感。单步推理耗时仅0.289毫秒,完全满足分钟级运营调度的实时性要求。

核心发现:FSSD策略的调度效能

深圳南山区无人机配送SD仿真结果

SD仿真运营表现:无人机各状态动态分布(a)、订单积压与到达趋势(b)、服务商收入轨迹(c)、动态定价参数演变(d)。取自 Fig.8。

仿真运行动态显示,在维护、调度和调整过程得到良好调控的条件下,无人机配送系统呈现出稳定且协调的运行状态。单一维护站即可满足当前订单需求,未出现过载。订单积压曲线与到达曲线趋势总体一致,表明系统能有效消化订单需求。但在傍晚18:00前后仍出现局部积压峰,揭示出经验规则调度在应对无人机调整的非线性时滞效应方面存在局限。

FSSD策略在四种对比方案(静态、经验、MPC、FSSD)中全面领先,相比静态基准收益提升显著。MPC虽优于经验策略,但对环境模型精度高度敏感;FSSD则在深度非线性和高频随机扰动下展现出更强的鲁棒自适应能力。

四种策略收益对比分析

静态、经验、MPC与FSSD四种策略的收益对比:FSSD在所有时段均表现最优。取自 Fig.10。

日均利润提升

14.88%

FSSD策略相比经验规则策略的平均收益增幅

DQN单步推理

0.289 ms

满足实时在线调度的时延要求

敏感性分析从三个维度揭示了无人机配送系统的收益驱动规律:订单到达率(OAR)对收益呈高敏感性正向关系,当OAR升至基准的150%-200%时收益显著提升,降至50%时收益骤降——这反映了规模经济效应的存在;最大无人机数量(MND)表现出明显的饱和效应,增至150%以上时收益未见显著改善,暗示当前配置已存在一定冗余;基础定价(BP)对收益的影响最为突出,价格翻倍带来的收益增幅远超订单量和无人机数量的变化,凸显定价策略在收益管理中的核心地位。

OAR、MND、BP三参数敏感性分析

OAR(a)、MND(b)、BP(c)在50%-200%基准水平下的收益敏感性:BP对收益影响最大,MND呈饱和特征。取自 Fig.11。

规模效应与动态定价:两个拓展实验的启示

为突破当前试点规模对模型泛化性评估的约束,研究设计了两个拓展实验:规模经济效应模拟订单量从S1(午高峰8单/时)到S5(午高峰120单/时)的五级扩张场景;动态定价联合优化则将定价策略纳入RL动作空间,实现部署数量与实时价格的双维协同决策。

S1-S5五种场景下服务商收益

五级规模场景下的收益轨迹:S5场景从13:00起收益爆发式增长,体现典型的阈值效应和规模经济特征。取自 Fig.12。

规模经济实验揭示了清晰的阈值效应:在S1至S3小规模区间,收益增长受限于资源瓶颈;S4较S3资源翻倍后收益开始抬升但不显著;S5凭借充足的无人机和基础设施容量,收益出现非线性跃升。仅增加订单量而不同步扩展资源配置,收益提升有限——协同扩张才能释放规模效益。

不同需求场景下部署策略对比评估

S1-S5场景下FSSD、经验、静态三种策略的四指标对比:FSSD平均总收益较经验策略提升27.8%,较静态策略提升40.6%,履约率平均提升6.7个百分点,积压波动平均降低38.1%。取自 Table 7。

01总收益:FSSD较静态策略平均提升40.6%,较经验策略平均提升27.8%

02履约率:FSSD平均履约率高出经验策略6.7个百分点,S5场景下达到93.3%

03积压波动:FSSD积压标准差较经验策略平均降低38.1%,系统运行更平稳

04无人机利用率:FSSD场景下平均利用率显著高于基准策略,S5场景达68.7%

动态定价联合优化实验进一步验证了多维决策的价值。引入定价动作空间后,DQN智能体在约12,000次迭代后收敛,日均收益从247.93元攀升至299.38元,增幅达20.7%。智能体展现出色的时段辨识能力:午间和晚间高峰执行7元高价策略,非高峰主动降至5-6元刺激需求,下午16:00设置6元过渡价以捕捉上升期的支付意愿。

动态定价策略训练与效果对比

动态定价联合优化的四维效果:累计奖励收敛(a)、基准与拓展模型收益对比(b)、部署行为比较(c)、分时段定价行为(d)。取自 Fig.14。

消融实验的收益分解揭示了定价与部署的协同本质:定价单独贡献+9.49%收益改善,部署单独贡献+15.22%,二者联合贡献+39.13%。联合改善(84.20元)超出独立改善之和(53.17元)达31.03元——这额外36.9%的协同效应来自定价的即时减震功能:价格快速响应突发需求峰,为物理部署争取了关键的缓冲时间。

消融实验结果与收益分解

消融实验结果:价格机制、部署机制、联合优化三种配置的收益分解,揭示36.9%的协同增益。取自 Table 8。

研究还通过500次蒙特卡洛模拟验证了FSSD策略在随机需求扰动下的鲁棒性。结果显示,即便订单到达率和积压量存在显著波动,累积收益的置信区间仍保持极窄——联合优化策略有效抵御了环境不确定性对系统收益的冲击。然而,研究也坦承当前鲁棒性验证局限于稳态随机噪声,电池衰减、设备故障和突发极端天气等物理不确定性尚未纳入模型。

研究贡献与管理启示

FSSD框架将行为驱动的SD建模与自适应DQN控制整合进闭环框架,使策略与系统状态协同演化——这在不确定性主导的城市物流环境中,为从静态优化迈向实时自主运营提供了可推广的范式。

✓方法论贡献:首次将SD仿真与RL优化在无人机配送领域进行闭环耦合,提供了兼顾结构透明度和策略自适应性的混合决策框架

✓管理启示一:动态部署调整比单纯扩增机队规模更高效——MND的饱和效应表明,优化调度策略比追加硬件投资更具成本效益

✓管理启示二:定价策略是收益管理的最强杠杆——基础定价对收益的影响远超订单量和无人机数量,应作为精细化运营的核心手段

✓管理启示三:定价与部署存在显著协同效应——独立改善之和不能解释联合优化的全部增益,运营决策应同时从多维度协同推进

✓规模策略:订单增长需与基础设施同步扩张——仅靠需求增长无法释放规模效益,起降点和维护站等配套资源需协同规划

研究的局限性同样值得关注。当前框架依赖单区域集中式控制,在跨区域多中心协同场景中的可扩展性尚未验证;执行层的路由逻辑仍采用简化启发式规则,未引入微观仿真;目标函数聚焦于短期收益最大化,高峰涨价对用户长期留存的影响被纳入讨论但未量化;另外,当前模型假设纯无人机配送模式,未涉及人机协同或多模式配送选择。

研究团队提出了清晰的后续方向:引入分布式多智能体系统应对跨区域协同、采用图神经网络增强大规模网络的策略泛化能力、构建考虑电池衰减的全生命周期模型、将用户长期留存指标整合进奖励函数以平衡短期收益与长期客户价值。这些方向将推动FSSD框架从单区域试点走向复杂无人机物流网络的规模化应用。

1Step 1: 构建SD仿真模型——包含订单生成、无人机调度、维护、定价及天气扰动等核心模块

2Step 2: 定义MDP——13维状态向量、{-1,0,1}离散动作空间、净利润奖励函数

3Step 3: DQN训练——15,000 episode、ε-greedy探索、经验回放、目标网络硬更新

4Step 4: 闭环耦合——DQN输出注入SD控制资源配置,SD反馈为DQN提供下一步状态观测

5Step 5: 策略部署——服务商调整仿真参数并重训练,获得适配实际条件的柔性服务策略

论文来源

本文解读自 Transportation Research Part E (Vol.213, 2026):《Designing flexible service strategies for urban drone Delivery》。DOI: 10.1016/j.tre.2026.104962(https://doi.org/10.1016/j.tre.2026.104962)。作者来自长安大学、香港理工大学和汉阳大学。研究获国家自然科学基金等多项资助。

论文:Designing flexible service strategies for urban drone Delivery: A hybrid Simulation-Optimization framework

作者:Zhijie Yang,Fei Ma,Yu Wang,Qing Liu,Qipeng Sun,Gangyan Xu,Wei Ren

期刊:Transportation Research Part E: Logistics and Transportation Review,2026

链上镖师、先卜交通、先卜运筹通用论文ID

raw-000003499

保存此推文 ID,可在粉丝群内获取相关材料,未来更多功能敬请期待

先卜科技团队:常文婕、张巧巧、王一航、夏子帆、张晓乐、祁园园、张仁义