即时配平台运力与需求一体化控制：基于深度强化学习的展示排名与车辆调度优化

原文链接见文末

随着外卖平台快速扩张，餐饮即时配送已成为常见的生活场景。但配送服务的利润率仍然极低，企业必须通过优化运营提高效率。传统研究主要关注订单指派和车辆调度（车队控制），而忽视了展示界面对客户决策的影响。本文深入解析 Hildebrandt 等人发表在 Management Science 的论文 Integrated Fleet and Demand Control for On‑Demand Meal Delivery Platforms，梳理该文提出的问题、模型、算法和实验结果，帮助学术读者全面了解这一领域的前沿工作。

一、研究背景与问题定义

1.1 外卖配送的挑战

外卖平台需要在几分钟内完成复杂决策：给每个用户展示合适的餐厅列表（需求控制），同时为每个可能的选择预先指派车辆以保证准时配送（车队控制）。系统必须兼顾速度、效果和灵活性——即要求在瞬间做出决策、确保高服务水平并能适应车队与需求的波动。此外，外卖平台存在四方主体（用户、餐厅、司机、平台），其交互流程如图所示：

论文强调，网页中餐厅的展示顺序对客户选择有显著影响。某些平台已经将“广告位”出售给餐厅，但这种做法可能引发瓶颈甚至延误，因为平台失去了通过排名引导需求来提高配送效率的机会。因此，作者提出一体化控制：将车队调度与动态展示排名一起决策。

1.2 示例：复杂状态带来的决策挑战

为直观展示展示顺序和指派决策之间的耦合，论文给出一个简化示例。场景中有三家餐厅 a、b、c，两辆车分别接收不同的订单；当前有客户 i 向餐厅 b 下单，由车辆 1 服务；车辆 2 在餐厅 a 与 c 附近待命。此时新客户 ii 到来，平台需要立即确定餐厅展示顺序并为每种可能的选择准备车辆指派。假如客户 ii 也选择餐厅 b，则车辆 1 可以将两个订单合并配送，而车辆 2 保持灵活。这一示例如图 2 所示，强调了展示顺序和指派的依赖关系。

1.3 需求控制：展示位置的影响

在零售和电商中，用户更倾向于选择列表前部的选项。同样，外卖用户也受展示位置影响。图 3 展示了真实平台的餐厅列表示例，说明用户看到的界面会影响选择。

作者构建了一套 离散选择模型，通过历史点击数据拟合出各影响因素（配送费、预估到达时间、评分、排名位置等）的偏好权重，并基于垂直分组对不同分段的点击率进行估计。图 4 展示了模型参数的重要性——例如，排名越靠前，用户选择概率呈指数下降。

此外，该模型假定在给定展示顺序下，客户选择餐厅的概率与车辆指派无关。因此可以先确定餐厅排列 ，再确定若客户选择餐厅  时给哪辆车  派单。针对展示优化，作者提出在期望延迟最小化的基础上亦可考虑收益最大化，形成以下线性规划：

其中  是餐厅的利润指标， 控制收益与延迟的权重。当  时即回到只考虑延迟的情形。

1.4 车队控制：指派与路由

车队控制问题在本质上是随机动态车辆路径问题(RMDP)，目标是最小化整体延迟。由于用户位置、餐厅准备时间和路况都存在不确定性，传统算法往往采用贪心或启发式指派，难以兼顾长期灵活性。论文将车队控制与需求控制整合为一个大型马尔可夫决策过程RMDP+，状态包括当前的车辆路线（带有停靠序列）、餐厅和订单信息，动作由显示排名和车辆指派组成。

二、方法与模型

2.1 强化学习建模与神经网络设计

为瞬间输出策略，作者使用深度Q学习。核心是训练一个网络 ，估计在状态  下用户选择餐厅  并指派车辆  后的预期总延迟。由于状态包含多个车辆的动态路线，为表示可变长度的序列，网络设计了两层注意力机制。

具体步骤如下：

1. 路由注意力机制：针对每辆车的停靠序列  ，先将每个停靠点  嵌入为高维向量 ，再通过权重  的加权和形成单头注意力输出 ；多个头的表示级联得到路由表示 。

2. 车队注意力机制：将不同车辆的路由表示  作为输入，通过多头注意力输出车队表示 ，捕捉整体灵活性。

3. 决斗头：为缓解长决策序列导致的价值缩放问题，引入决斗网络。Q值被分解为状态价值  和指派优势 ，满足

   其中  为车辆数。这种结构有助于区分当前状态本身造成的延迟与选择某车辆产生的额外延迟。

训练阶段利用基于模拟的经验进行梯度更新，测试阶段可在瞬间计算出每个餐厅/车辆组合的预计延迟并排序。

2.2 服务区域与需求建模

实验采用两个数据集：一个是公开的美国爱荷华城/科勒维尔外卖数据集，包含 110 家餐厅和 22 838 个顾客位置；另一个是斯洛文尼亚平台的真实数据。街道网络由 OpenStreetMap 构建，包含 758 个节点和 2 965 条有向边。通过高斯核密度估计模拟了午餐与晚餐时段的空间需求分布，如图 6 所示：

每日订单量按照典型的午餐和晚餐高峰建立 双峰分布，车辆停靠和餐厅备餐时间采用对数正态分布模拟。

2.3 基准策略与实例设置

作者构建了 20 个测试实例，规模从 5 辆车和 55/80 单午餐/晚餐订单到 100 辆车和 1 100/1 600 单。比较策略包括：

• Balanced：模仿现行做法，平衡效率与闲置车辆。
• RL(F)：仅训练车队控制，展示顺序随机。
• 多种展示策略：随机、按距离、按工作量等排序，以及模拟广告位出售的 Sponsoring 策略。
• RL(F&D)：作者提出的一体化策略，同时优化展示顺序和车辆指派。
• LB：假设平台可以完全控制客户选择的下界。

三、实验结果与洞见

3.1 整体性能比较

论文中的表1报告了不同规模实例的平均延迟和最大延迟。总体而言，RL(F&D) 在绝大多数实例中取得最低平均延迟，明显优于 Balanced、RL(F) 及其他展示策略，其优势随着实例规模增大而更加显著。作者指出，这证明了动态展示优化在复杂场景下的潜在价值。具体数据如下（括号内为最大延迟，单位：分钟）：

3.2 车队 anticipatory 控制

图 7 左侧比较了 Balanced 与 RL(F) 在订单合并（多个订单一起配送）的比例，表明 RL(F) 在各实例中均能提高合并率，从而减少行驶次数。右侧展示了两种策略的平均行驶时间随时间变化的曲线；RL(F) 在非高峰期有意派遣较慢司机以提前平衡车辆位置，因而在高峰期行驶时间更短。作者总结为观点 5：平台应利用低峰时段通过预期型指派调整车辆布置，哪怕暂时不选最快司机，也能减少高峰期延迟。

3.3 动态需求控制对各方影响

• 对司机：图 8 左侧显示 RL(F) 将每位司机每日行驶时间减少 20–30 分钟，相比 Balanced；在此基础上加入需求控制 (RL(F&D)) 又可再减少约 20 分钟，总体节省达一小时。
• 对餐厅：图 8 右侧将订单数量映射到地理位置。尽管 RL(F&D) 会对热门区域略有偏好，订单比例在 0.7%–1.1% 之间，几乎接近随机均匀分配。观点 6 指出，动态引导客户 比起拍卖广告位更加公平，避免赢家通吃的局面。

3.4 平台角度：车队规模与收益的折衷

平台可以设定目标服务水平（如平均延迟不超过 5 分钟），据此推算所需车队规模。图 9 左侧显示，在需求控制和车队控制一体化情况下，与 Balanced 相比最多可减少 4–6 辆车，与仅有车队控制相比可减少 3–6 辆车。观点 7 指出，精心设计展示策略既能节省车队成本也能服务更多客户。

作者还提出收益–延迟联合优化。在将餐厅预期利润纳入考虑的情况下，调整权重参数  可在减少延迟和增加收益之间达到不同折衷。图 9 右侧展示了 Pareto 前沿：当 （只考虑延迟）时延迟下降最多；当  或  时延迟下降稍少，但收益增加可达 1%。观点 8 提醒平台，哪怕稍微牺牲一个目标，也能显著改善另一个目标。

四、结论与展望

论文首次系统地将“需求控制”引入即时配送调度，并提出用强化学习同时优化展示顺序和车辆指派的框架。通过注意力机制和决斗网络，模型能够处理大规模动态状态，近似在线决策；大量模拟实验表明该方法能显著降低延迟、缩短司机行驶时间、改善餐厅体验，并帮助平台节约成本。相比出售广告位，动态展示排名更公平，且能在延迟和收益之间灵活权衡。

未来研究可考虑以下方向：

1. 用户长期行为：论文目前假设用户一次性选择，可考虑重复购买行为及忠诚度对展示优化的影响。
2. 跨城市迁移：验证模型在不同城市数据上的可迁移性，并利用迁移学习或元学习提高泛化能力。
3. 多目标动态定价：将配送费、优惠券等价格机制与展示排名联合优化，构建更复杂的收益管理模型。
4. 公平性与监管：在提升效率的同时，考虑平台对中小餐厅的公平性约束，制定透明的展示算法以回应社会关切。

总体而言，一体化车队与需求控制为外卖平台提供了新的降本增效工具，不仅改善用户体验，也维护了生态的公平性。该研究为后续学术探索和商业实践奠定了坚实基础。

原文链接： https://doi.org/10.1287/mnsc.2022.02039

以下是我们的微信交流群二维码，欢迎大家进群（如果二维码失效，请翻阅扫描最新文章的二维码）：