解决交通选择预测中的群体不平衡问题：通过适应性公平性约束优化深度学习模型

原文链接见文末，或扫文末交流群二维码，每日实时更新推文与原文。

一、研究背景与问题提出

1.1 交通行为预测中的深度学习与公平性挑战

深度学习（DL）模型因其优越的预测性能，正广泛用于出行方式选择、目的地选择等任务。
然而，许多研究发现，DL 模型存在 算法不公平——某些人群（如少数族裔、低收入或女性）预测准确率显著偏低。传统交通公平研究侧重于资源分配和参与权，这与算法的预测准确性不同。
现有公平学习方法多数来自其他领域，缺乏可验证的公平保证，且通常针对单一公平标准，无法适应不同公平理论的需求。

1.2 本文要解决的问题

提出一种新型后处理框架，在保证总体预测准确率的同时，通过统计检验控制不同群体预测准确率差异，提供 可证明且可调节的公平保证。
将统一阈值分类问题转化为针对不同人群设置独立阈值的 阈值修改混合整数非线性规划模型。
建立高效求解算法和启发式算法，解决该 NP‐难问题，并通过实验验证其优越性和适用性。

二、统计公平框架与模型建立

2.1 群体预测准确率与统计检验

定义某群体 g 的预测准确率为测试集中该群体正确分类个体占比。
为比较群体 g 与 g′ 的准确率差异，采用 二项分布两样本 z 检验，其检验统计量为

其中为两群体合并后的整体准确率。

给定显著性水平的临界值，若则认为两群体差异不显著，视为公平。显著性水平越大，公平标准越严格，可以适应不同公平理论。

2.2 阈值修改模型

基于统计检验，提出以下混合整数非线性规划模型（Problem (1)–(4)）：

subject to

其中是深度神经网络对样本 i 给出的连续输出，是群体 g 的分类阈值。目标函数最大化所有样本的预测准确率；约束（3）为 实用公平约束，确保任何两群体之间的准确率差异不超过统计显著性阈值；约束（2）实现阈值映射。
由于同时优化离散变量和连续阈值，该问题属于 NP‐难，需要设计高效算法求解。

三、求解算法设计

3.1 算法框架：准确率优先–阈值其次

为降低复杂度，将原问题分解为两个核心子问题：

群体预测准确率最大化子问题（Problem (5)–(7))：给定群体 g，寻找其最优阈值以最大化该群体在测试集中的准确率。
阈值识别子问题：根据期望准确率，反推出对应阈值。

综合以上，提出 准确率优先–阈值其次算法，其核心步骤（针对两群体）如下：

计算每个群体在放宽公平约束下的最优准确率上界。
找出准确率最低的劣势群体，设其最优准确率，保持不变。
对优势群体按公式 (8) 求解最优准确率：

其中的表达式见文中定义。

根据目标准确率反推最优阈值，并得到最终预测标签。

该框架可扩展至多群体，通过迭代调整各群体的准确率以满足所有公平约束，具体流程在 Algorithm 2 中给出。

3.2 精确求解方法

将群体预测准确率最大化子问题转化为 混合整数线性规划（MILP）。通过引入中间变量线性化绝对值项，目标与约束如下：

subject to

阈值识别子问题同样可用 MILP 表述，并由商业求解器（Gurobi/CPLEX）获得最优解。
该精确方法适用于样本规模较小的情况，作为基准评价启发式方法。

3.3 启发式方法

为应对大型数据集，设计两种启发式算法：

三明治算法：针对群体预测准确率最大化子问题，通过估计阈值上、下界并逐步缩小区间，最终取中点作为近似最优阈值。该方法的关键步骤包括：

利用训练集估计的概率分布，对上界与下界进行初始化。
迭代地调整界限，重新标注训练样本并计算准确率，直至准确率不再提高。
采用自适应步长以兼顾精度和计算效率。

有界枚举算法：针对阈值识别子问题，利用三明治算法在训练阶段记录的阈值–准确率对，确定包含目标准确率的最小区间，并在该区间内以步长枚举阈值寻找最优值。

四、实验设计与结果分析

4.1 数据与实验设置

数据来源：美国 2017 National Household Travel Survey (NHTS)。依照文献，考虑三种二元出行选择变量：自行车使用、汽车使用、公交使用。
敏感变量涵盖种族、性别、收入、教育水平、医疗状况、城乡居住、年龄、持驾照情况等。以随机下采样平衡数据后，样本规模分别为：公交 80,262、汽车 105,915、自行车 145,488。
将数据按 80%/20% 划分为训练集和测试集；采用六层全连接神经网络，学习率 0.001、训练 500 轮等超参数。默认显著性水平，除非特别说明。

4.2 计算性能比较

比较精确算法与启发式方法在 24 个实例上的准确率、z 统计量和计算时间。结果表明，两种方法的准确率差异一般不超过 0.91%，但启发式方法的计算时间仅为精确算法的数百分之一，甚至数千分之一，体现出显著的效率优势。
图1 显示了不同方法在公交出行任务中针对性别、医疗状况、种族和收入的预测准确率和 z 统计量比较。深蓝线为 z 统计量，红色虚线表示临界值。相比基准方法（DT）和传统公平技术（FUT、CR），本文的群体阈值方法（FGT）在保证高准确率的同时，能将 z 统计量控制在临界值之下，实现统计意义上的公平。

图2 比较 FGT 和基于相关正则化的公平方法（CR）的计算时间，FGT 完成一次计算仅需 1 秒左右，而 CR 方法约需 500 秒，说明 FGT 在工程实践中更具可行性。

4.3 与其他公平模型的比较

论文将 FGT 与四类对比方法比较：

DT：训练后直接使用统一阈值 0.5 分类，不考虑公平性。
OT：仅调整阈值为所有群体统一的最优值，但仍无法保证公平。
FUT：通过强约束使各群体准确率完全一致，但导致整体准确率明显下降。
CR：基于相关正则化的处理方法，试图在训练阶段减少敏感变量与目标之间的相关性。

实验结果表明：

DT 和 OT 虽准确率高，但公平性差；FUT 公平性最佳但准确率牺牲大。
CR 方法在大多数实例中无法满足公平约束，其调整的是假阴性率而非准确率，导致表面差异虽小但仍显著。
FGT 方法在四个敏感特征上均能将 z 统计量控制在临界值以下，同时保持接近 DT 的准确率，是公平与精度的良好折中。

4.4 公平标准自适应性

为检验模型适应不同公平标准的能力，设置为 0.2 至 0.001 的七个值，对应的临界值从 1.282 到 3.291。图3 展示了在汽车使用任务中，不同显著性水平下非白群体与白人、医疗状况、性别和收入群体的准确率变化。
随着增大（公平标准更严格），优势群体的准确率会降低，而劣势群体保持不变。这体现了公平与准确率的权衡——越公平的标准通常意味着牺牲部分优势群体的准确率。
所有显著性水平下，FGT 方法的 z 统计量均低于临界值，证明其可根据政策或社会偏好灵活调整公平性要求。

4.5 群体特征分布与阈值差异

图4 分析了深度模型输出在不同群体下的概率密度分布及对应的最优阈值。可以看出，高收入群体的输出分布右偏，倾向于更高的车使用概率，而低收入群体的分布左偏。
这种分布差异导致最优分类阈值在群体间明显不同。例如，高收入群体阈值显著低于低收入群体，如果采用统一阈值会造成低收入者被过度预测从而失衡资源配置。
某些变量（如性别、年龄）在表面上分布相似，但最优阈值仍存在差异，可能源于尾部的细微差异或隐含行为差异。

五、结论与管理启示

5.1 研究贡献

提出新的统计公平框架：通过二项分布 z 检验构建实用公平约束，允许用显著性水平量化社会接受的公平程度。
构建阈值修改模型并分析其理论性质：将问题表述为 NP‐难的混合整数非线性规划，并证明子问题的上下界与解析解。
设计高效求解算法：提出准确率优先–阈值其次框架，并开发MILP精确方法及三明治算法、有限枚举算法等启发式方法，实现高效求解。
开展全面实验验证：在真实大规模数据上证明该方法既能保证公平性，又几乎不损失准确率，相比现有方法具有明显优势。

5.2 管理启示

公平决策的重要性：交通部门在应用 AI 进行出行预测时，应明确公平标准，并借助统计检验判定是否存在显著差异，避免仅凭直觉调整模型。
设置群体阈值的必要性：不同社会群体的行为分布存在差异，统一阈值可能加剧不公平。针对群体自适应设置阈值可以兼顾准确率与公平。
公平标准的民主协商：显著性水平代表社会容忍的不平等程度。未来应通过问卷调查、公众听证等方式确定合适的，使模型反映社区价值观。
启发式算法利于实践推广：在大型数据环境下，启发式方法能大幅缩短计算时间，便于部门常态化更新模型，以适应实时数据和政策要求。

原文链接：https://doi.org/10.1016/j.trb.2025.103318

以下是我们的微信交流群二维码，欢迎大家进群，群内实时更新推文及原文pdf，方便各位专家学者随时获取（如果二维码失效，请翻阅扫描最新文章的二维码）：