城市低空交通场景：集中式多智能体强化学习解决战术冲突

论文题目：Resilient multi-agent reinforcement learning for centralised tactical conflict resolution under uncertain perturbations and non-cooperative traffic in urban air mobility

第一作者：Rodolphe Fremond 法国国家民用航空学院研究员，聚焦航空航天领域，研究方向涵盖城市空中交通管理（UTM）、多智能体强化学习、冲突解决、空域走廊优化及相关仿真与验证技术。E-mail：rodolphe.fremond@enac.fr。

通讯作者：许炎 北京航空航天大学电子信息工程学院教授，国家级青年人才，担任IEEE Aerospace and Electronic Systems Magazine期刊编委、Communication in Transportation Research期刊青年编委。E-mail：yan.xu@buaa.edu.cn。

城市低空交通场景：集中式多智能体强化学习解决战术冲突

论文摘要

随着城市空中交通（UAM）和无人机系统（UAS） 的兴起，低空空域面临着前所未有的交通密度与安全挑战。本文聚焦于战术层冲突解算，即当航迹相遇导致潜在冲突时，在几秒至几十秒的时间尺度内及时发出规避指令。针对现有方法在城市规模、高密度场景、跨设备互操作性和数据退化条件下的不足, 作者提出了一套以多智能体强化学习（MARL） 为核心的中央化安全网，用于地面集中式战术冲突解算。该框架采用共享策略的变压器结构，通过集中式训练、分散执行控制多个无人机，同时建立了针对现实操作的扰动模型，包括定位误差、通信丢失和传感器缺陷。通过在模拟环境中进行大规模实验，研究表明：在非合作及混合合作/非合作交通背景下，经扰动训练的模型相较于理想条件训练的基线模型可以将严重安全违规次数降低约三倍。然而当非合作交通高度动态时模型的脆弱性仍然存在。本文还指出，当战术解算器采用短前瞻时间并在混合有人机/无人机空域运行时，仍存在明显风险。

一、研究背景与问题

1.1 背景与挑战

• 城市空中交通愿景与挑战：未来城市低空交通将在住宅、商业区甚至机场附近运行，载具包括无人机与电动垂直起降飞行器等。由于缺乏成熟经验和距地面近，安全问题尤为突出。

• UTM 中的战术冲突解算：现有空管系统采用中央化短期冲突警报（STCA）和飞机携带的自主避撞系统。但在城市低空环境中，人为干预有限，需要新型数字化、自动化的战术解算服务。

• 当前方法的不足：

• 城市规模适应性差：几何解法与势场等传统方法在多目标、复杂环境下容易陷入局部最优。
• 互操作性限制：多数方法假定飞行器装备同质，缺乏处理异构机群的中央化机制。
• 对数据退化不够鲁棒：现实中 GNSS 干扰、通信丢失等会造成观测不完整，导致避碰失效。
• 非合作交通影响：无人机与有人机混合运行时，非合作机群不遵守解算策略，对安全的影响尚缺乏系统研究。

1.2 关键问题

作者旨在解决以下核心问题：

• 如何在集中式架构下设计可扩展的多智能体策略，在高密度、非合作的 UAM 场景中实现实时战术冲突解算？

• 如何在决策过程中引入定位误差、通信中断、传感器缺陷等扰动建模，使学习策略具备实际部署的鲁棒性？

• 如何构建非合作环境模型，模拟有人机与无人机的混合交通，并评估策略在动态、不确定行为下的表现？

• 最终，策略在理想条件与扰动条件下的性能差异如何？哪些训练策略能够显著减小近空相撞和失去安全间隔的概率？

二、方法与模型

2.1 多智能体强化学习框架

研究将战术冲突解算视为部分可观测马尔可夫决策过程（POMDP），定义了状态空间 、观测空间 、动作集合 、状态转移函数  与奖励函数 ，并引入折扣因子 。目标是在有限时间内求解最优策略  以最大化累积收益。关键要点如下：

• 策略梯度法：根据策略梯度定理，更新方向为

  其中优势函数  衡量动作相对价值。

• PPO 算法：采用截断的概率比值来稳定策略更新。剪切损失为

  其中 ，剪切范围由  控制。

• 优势估计：使用广义优势估计（GAE） 平衡方差与偏差，通过折扣因子  和光滑参数  对多个时间步的 TD 误差加权。

• 联合策略与价值函数：作者采用共享策略框架，所有代理共享同一网络参数；网络同时输出动作概率和状态价值，统一损失为

• 集中式训练，分散执行：使用 CTDE 框架，训练时利用全局状态构建每个代理的观测，在执行时仅根据本地观测做决策。训练算法包括经验采集和多个更新轮次的批量梯度下降，伪代码见算法 1。

2.2 空域与非合作环境建模

• 空域走廊设计：借鉴 FAA 和 NASA UAM 概念，构建宽度 0.405 海里、高度 250–450 ft 的直线或折线路径，各走廊始发点随机生成，长度固定为 5 海里，允许多个临时偏移车道用于规避。走廊几何及缓冲区示意如图所示。

• 非合作交通行为：环境中存在两类机体：

• 受控 UAS（ownships）：由 MARL 解算器发出指令；
• 非合作 UAS 或 CAT/GA 航班：不受解算器控制，仅提供监视信息。非合作 UAS 可具有静态意图（按原航迹飞行）或动态意图（随机偏离）；CAT/GA 则模拟直线航路、改向或下滑三种入侵情形。

• 观察与状态表示：每个代理的观测向量包含自身状态  与若干相对状态（横向距离、对向角、交叉角、相对速度、近距点时间等），所有量经归一化到  范围，以适应不同机型。图4展示了状态几何含义和走廊结构示意。

• 动作空间：策略输出三类离散指令组合——速度调整 、高度调整  和横向偏移 ，组合形成 。偏移仅在规避期间临时有效，指令完成后返回原航道。图5示意两架 UAS 遵循动作序列进行分层、爬升和横向偏移。

2.3 扰动模型与韧性定义

为反映现实世界信息退化，作者设计了扰动模块，在训练和评估中随机施加下列扰动：

• 定位误差：在水平位置上添加高斯噪声 ，对应不同置信度下的误差范围。
• 通信干扰：随机让某些代理在 5–15 秒内完全失联，其观测置为零向量。
• 缺失信息：传感器失效导致观测字段为“None”，由模型替换为极端值提示缺失。
• 异常信息：由于软件故障产生极端读数，将随机值加到观测中，打破正常范围。
• 伪造信息：随机打乱观测向量条目，破坏空间一致性。

扰动按事件驱动、时间独立方式插入，使 MDP 假设保持成立。作者提出韧性的定义：若存在扰动 ，策略  的行为  与未扰动行为  相近，则认为模型具有韧性。

图1展示了战术冲突解算中使用的安全层级，包括保持距离、失去航迹间隔（LoWC）和近距相撞（NMAC）阈值。

图2将扰动分为可检测和不可检测，并通过层次关系说明不同扰动严重程度及可能互相掩盖的影响。

2.4 战术冲突解算器架构

解算器采用中央化地面服务，实时接收所有参与飞行器的状态（来源于 ADS-B、雷达和通信网络），按照一定间隔进行决策。关键组成包括：

• 预处理与注意力机制：由变压器前端聚合不定数量的入侵者信息，通过注意力权重突出重要邻机，生成固定维度表示。

• 共享策略神经网络：由两层全连接网络构成，同时输出对每个动作的概率分布和状态值估计。

• 扰动注入：在策略前端对观测添加扰动，以训练更鲁棒的策略，并在评估时模拟现实退化。

框架整体示意如图3所示。

三、实验设计与结果

3.1 实验环境与评价指标

• 模拟平台：使用 BlueSky 仿真器加载 12 种飞行器模型，涵盖多旋翼无人机和 eVTOL 等，构建多个随机走廊场景。

• 指标体系：

• 潜在遭遇次数 、失去航迹间隔次数 (LoWC) 、近距相撞次数 (NMAC) ：按每小时发生频次归一化。
• 风险比率：将采用解算器的 LoWC/NMAC 次数与无解算器情况下相同初始条件下的次数之比，反映策略相对安全收益。
• 操作负担与路径效率：统计速度调整次数、升降高度次数和横向偏移次数，以及由此带来的距离增加和速度变化。

3.2 基线模型训练与评估

在理想条件（无扰动、完全合作）下训练 25 万回合，基线解算器的主要性能如下：

• 学习过程：累计奖励和 NMAC 率在前 2 万回合迅速改善，此后缓慢收敛。学习过程中出现两次明显跃迁。

• 安全收益：相比无解算器情况下 34.42% 的潜在遭遇会导致失去间隔、9.32% 导致 NMAC，使用解算器后 LoWC 降到 1.38%，NMAC 降到 0.12%；潜在遭遇数量减少 68 倍。

• 表现指标：每飞行小时 LoWC 时间约 6.88 秒，NMAC 时间仅 0.59 秒，远低于基准情形。

图4展示了基线模型的训练过程与安全表现。左上和右上分别是无解算器时遭遇数量和安全层违规情况；左下展示模型训练中 NMAC 率与累计奖励随回合变化，右下比较训练后使用解算器与无解算器的安全层违规率。

3.3 扰动训练与鲁棒性分析

• 基线模型鲁棒性：未经过扰动训练的基线模型对传感器缺失和异常最脆弱。缺失信息导致 LoWC 与 NMAC 频次线性增长，风险比率超过 1，说明解算器反而不如不处理更安全；通信干扰时解算器几乎无效；定位误差表现最好，NMAC 风险比率约 0.04。

• 扰动训练策略：作者针对不同扰动分别训练模型（TCRS-POS、TCRS-COM、TCRS-SDMIS、TCRS-SDAB、TCRS-SDFLS）以及综合扰动模型（TCRS-FULL、TCRS-NC），并在各种扰动频率下评估韧性。

• 训练表现：图6显示各种扰动模型的训练曲线，左侧为累计奖励，右侧为 NMAC 时长。通信扰动模型表现出阶梯式收敛，在 7 万回合后达到稳定；其他模型在 5–10 万回合内收敛。

• 综合结果：与基线模型相比，综合扰动训练模型在含有全部扰动的评价场景中显著提高安全性：TCRS-FULL 将 NMAC 风险比率减半，TCRS-NC 降低 2/3；LoWC 及速度/路径变化也减少。即使无法完全恢复理想条件下的安全水平，两者表现仍更鲁棒。

3.4 非合作环境实验

针对混合合作与非合作交通的实验表明：

• 当约 30% 的飞行器不遵守决策器，且有人机按直线或缓慢改向航迹穿越低空航道时，经过综合扰动训练的模型在 LoWC 和 NMAC 上仍优于基线模型，并具有更小的速度波动和路径偏移。

• 在 非合作动态意图（不遵守路线、随意偏航）占高比例时，解算器仍能显著减少严重违规次数，但其韧性下降；特别是在接近起飞/降落区域的混合空域，可能出现无法有效规避的极端情况。

• 当采用极短的前瞻时间（5 秒）且有人机与无人机混合运行在相同空域分类时，地面解算器难以及时发出安全指令，提示需要更长前瞻或更强的空域分离。

四、讨论与创新点

4.1 研究贡献

• 综合性扰动模型：首次将定位误差、通信丢失、缺失/异常/伪造信息纳入统一框架，建立了评估战术冲突解算器在现实退化条件下韧性的基准模型。

• 中央化 MARL 框架：采用共享策略的变压器结构，实现了高效处理任意数量入侵者的集中训练、分散执行机制。

• 非合作环境仿真：考虑多种非合作行为，包括随机偏航和有人机入侵，提供了更贴近实际运营的评价环境。

• 全面实验与指标：通过 BlueSky 仿真开展超过 1400 飞行小时的仿真，使用风险比率、LoWC/NMAC 频次、操作负荷等多维指标评估模型，在城市空中交通安全评估中具有参考价值。

4.2 局限与未来工作

• 模型脆弱性：在完全动态的非合作环境或短前瞻时间的混合空域中，解算器仍可能无法避免重大违规，需要结合更高层次的战略规划。

• 系统部署挑战：现实中数据融合复杂，通信延迟和控制执行误差可能进一步影响策略效果，需要考虑实时实现和人机协同。

• 未来研究方向：作者计划将模型扩展至真实飞行验证，引入控制屏障函数等形式化安全保证，并研究责任分配和决策权移交机制。

4.3 总结

本文对城市空中交通下的战术冲突解算进行了系统研究，提出了基于中央化多智能体强化学习的解算器，并通过引入多源扰动和非合作环境模型提升了策略韧性。实验表明，适当的扰动训练可显著降低近距相撞与失去航迹间隔的风险，同时保持飞行效率。研究为未来 UAM 运行提供了重要的理论与实践参考，也为后续在真实空域部署集中式智能安全网奠定了基础。

原文链接见文末，或扫下方交流群二维码。群内实时更新推文及原文 pdf，方便专家学者随时获取（若二维码失效，请翻阅扫描最新文章的二维码）。