1. 连续处理双重差分法从理论到DML估计的实践指南双重差分法Difference-in-Differences, DiD是评估政策或干预因果效应的基石其核心逻辑清晰有力通过比较处理组与对照组在干预前后的结果变化在“平行趋势”假设成立的前提下剥离出干预本身的净效应。然而现实世界中的干预很少是简单的“有”或“无”。政策影响有深浅广告曝光有强弱污染暴露有高低——处理强度本身就是一个连续变量。将DiD框架拓展到连续处理场景不仅是对现实复杂性的更忠实刻画更是打开“剂量-反应”关系黑箱的关键。这让我们能回答更精细的问题政策效果是随着强度线性增加还是存在阈值或饱和点不同强度的干预其边际效应有何不同近年来连续处理DiD的理论与应用正在快速发展。从评估在线广告关闭的异质性影响到分析儿童税收抵免政策对不同收入家庭的差异化效果连续处理框架为我们理解政策的细微差别提供了强大工具。然而当面对高维协变量如个体特征、地域变量、历史行为数据时传统的参数化或半参数估计方法往往捉襟见肘。机器学习方法虽能灵活拟合复杂的协变量关系但其引入的估计偏差又会污染最终因果效应的估计导致置信区间失效结论不可靠。这正是去偏机器学习Double/Debiased Machine Learning, DML大显身手的地方。本文将深入探讨如何将DML框架与核平滑技术相结合构建一个既稳健又高效的连续处理ATT估计器。我们不只停留在公式推导更会拆解每一步操作背后的计量经济学直觉并分享在实践模拟与实证分析中积累的一手经验与避坑指南。无论你是希望将连续处理DiD应用于自己研究的经济学博士生还是关心模型稳健性的数据科学家这篇文章都将为你提供从理论到代码的完整路线图。2. 核心思路与模型设定为什么是条件平行趋势与DML在深入公式之前我们必须厘清连续处理DiD要解决的核心难题以及我们选择的武器为何有效。传统二元处理DiD识别ATT依赖于一个关键假设若无干预处理组和对照组的结果随时间变化的趋势是平行的。在连续处理下这个假设需要被精细化为条件平行趋势假设。其直觉是在控制了所有影响结果动态的协变量X之后对于任何一个给定的处理强度d那些最终接受了强度d处理的个体其潜在结果若未接受处理的变化趋势应该与那些从未接受处理的个体D0在控制X后的趋势一致。这个“条件化”至关重要。想象研究一项税收优惠对企业投资的影响处理强度是优惠税率。大企业和小企业即使面对相同的优惠其投资增长趋势可能本就不同。如果不控制企业规模、现金流等协变量直接比较不同优惠税率企业的投资变化就会把企业固有的增长差异错误地归因于政策。条件平行趋势假设通过控制X试图在更“公平”的基础上进行比较。识别出参数只是第一步估计才是更大的挑战。ATT(d)的识别公式中包含了处理强度D在给定协变量X下的条件密度f(D|X)这个“讨厌参数”nuisance parameter。在高维X下直接非参数估计这个条件密度几乎不可能而用机器学习方法如随机森林、神经网络去估计它又会把估计误差带入ATT(d)的最终估计导致根号N收敛速率都无法保证更别提有效的统计推断了。DML框架的精妙之处在于“正交化”。它通过构造一个特殊的得分函数使得目标参数ATT的估计对讨厌参数的估计误差变得不敏感一阶影响为零。这就好比给估计量穿上了一层“防弹衣”即使我们用机器学习粗略地估计了那些复杂的条件期望或密度只要它们收敛得足够快通常要求快于N的负四分之一次方最终ATT估计量的分布依然会是干净的正态分布我们可以放心地构建置信区间。我们的贡献在于通过一个核平滑技巧将涉及条件密度的非正则参数ATT(d)转化为一系列只涉及条件期望的正则参数ATTh(d)从而成功地将DML这套强大的工具引入了连续处理DiD的战场。2.1 数据结构与基本假设我们的设定紧密跟随Abadie (2005)和Callaway et al. (2024)的框架。考虑一个两期t-1期和t期的面板数据或重复截面数据。在t期一项干预发生个体i接受的处理强度为Di。处理变量D是一个混合分布在0点有一个概率质量即对照组D0在区间[dL, dH]上有一个连续分布即处理组D0。我们用Yi,t(d)表示个体i在t期接受处理强度d时的潜在结果。除了标准的独立同分布、无预期效应等假设外最核心的假设如下条件平行趋势假设对于所有处理强度d ∈ [dL, dH]都有 E[Yt(0) - Yt-1(0) | X, Dd] E[Yt(0) - Yt-1(0) | X, D0] 这意味着在控制了协变量X后任何处理强度组别的潜在未处理结果的变化趋势都与对照组的变化趋势相同。重叠假设存在一个常数κ0使得几乎处处有κ P(D0|X) 1-κ且对于所有d f(D|X)(d|X) κ。这个假设确保对于任何协变量取值X既有个体属于处理组也有个体属于对照组且各种处理强度都有出现的可能避免外推。我们的目标参数是处理组平均处理效应ATT(d) E[Yt(d) - Yt(0) | Dd]。它衡量的是对于那些最终接受了强度为d的处理个体处理强度d相对于不处理强度0的平均因果效应。注意这里有一个重要的概念区分。ATT(d)是“条件于处理状态”的效应即只关心那些实际经历了强度d的个体。与之相对的另一个常见参数是“剂量反应函数”或“平均潜在结果”E[Yt(d)]它考虑的是如果强制所有个体都接受强度d的处理平均结果会怎样。前者更贴近“效果评估”后者更贴近“政策模拟”。本文聚焦于前者。2.2 识别策略从ATT到ATTh在条件平行趋势等假设下可以证明ATT(d)能被识别为如下形式以面板数据为例 ATT(d) E[ΔY | Dd] - E[ ΔY * 1{D0} * f(D|X)(d|X) / (f(D)(d) * P(D0|X)) ] 其中ΔY Yt - Yt-1。这个表达式直观上可以理解为一个加权比较。第一项E[ΔY | Dd]是处理组强度d的实际变化。第二项是一个构造的“反事实”趋势利用对照组D0的变化ΔY但按照其协变量X分布与处理组强度d的相似程度通过f(D|X)(d|X)进行加权从而预测如果处理组强度d没被处理他们的趋势会怎样。两者的差就是处理效应。然而这个识别公式中包含了条件密度f(D|X)(d|X)和边际密度f(D)(d)。直接基于此进行估计会陷入之前提到的困境。我们的突破口是核平滑。我们知道条件密度可以通过一个核函数来近似f(D|X)(d|x) ≈ E[Kh(D-d) | Xx]其中Kh(·)是一个带宽为h的核函数如高斯核。当带宽h趋近于0时这个近似就趋近于真实的条件密度。利用这个近似我们定义一个新的、平滑化的参数 ATTh(d) E[ ΔY * ( Kh(D-d)P(D0|X) - 1{D0}E[Kh(D-d)|X] ) / (f(D)(d)P(D0|X)) ]这个ATTh(d)只包含条件期望E[Kh(D-d)|X], P(D0|X)和边际密度f(D)(d)而不再有难以直接估计的条件密度。更重要的是可以证明ATT(d) lim_{h→0} ATTh(d)且近似误差Bh(d) ATT(d) - ATTh(d)的阶为O(h^2)。这意味着只要选择一个足够小的带宽h我们通过估计ATTh(d)就能无限逼近真实的ATT(d)。这就将非正则的密度估计问题转化为了正则的条件期望估计问题为应用DML扫清了道路。3. DML估计器的构建正交得分与交叉拟合有了平滑化的目标参数ATTh(d)下一步就是构建一个对其敏感的、且对讨厌参数估计误差稳健的得分函数。这就是Neyman正交得分。3.1 构造正交得分函数以面板数据为例我们最终推导出的正交得分函数为 ψ_h [ Kh(D-d)g(X) - 1{D0}f_h(d|X) ] / [ f(D)(d)g(X) ] * [ ΔY - E(ΔY|X, D0) ] - ATTh(d) 其中g(X)P(D0|X) f_h(d|X)E[Kh(D-d)|X] E(ΔY|X, D0)是给定协变量X和未处理状态下结果变化的条件期望。这个得分函数满足一个关键性质在真实参数值处其期望为零并且它对无穷维讨厌参数g(X), f_h(d|X), E(ΔY|X, D0)的Gateaux导数在真实值处也为零。这个“正交性”意味着如果我们用估计量ĝ(X), ƒ_h(d|X), Ê(ΔY|X, D0) 去替换真实值只要这些估计量收敛得足够快它们对ATTh(d)估计量的一阶影响可以忽略不计。这就保护了我们的因果估计量免受第一阶段机器学习估计误差的过度影响。实操心得得分函数中减去E(ΔY|X, D0)这一项就是关键的“去偏”或“正交化”调整项。它的作用类似于回归中的“残差化”通过减去基于协变量的预测值减少了结果变量ΔY的波动从而降低了最终估计的方差。在编程实现时务必确保这一项的准确估计。3.2 交叉拟合与估计步骤DML的另一个核心组件是交叉拟合用于进一步减少过拟合偏差。具体操作步骤如下样本分割将总样本量为N的数据随机划分为K份通常K5或10记为I1, I2, ..., IK。辅助样本估计对于每一份k用除Ik之外的所有其他数据记为Ikc作为训练集利用机器学习方法估计所有讨厌参数ĝ_{-k}(X), ƒ_h_{-k}(d|X), Ê(ΔY|X, D0){-k}。同时用整个Ikc样本估计边际密度f(D)(d)得到一个核密度估计ƒ{-k}(d)。得分计算与平均在验证集Ik上使用上一步得到的估计量计算每个样本i的得分函数ψ_h(Zi; d)。然后通过求解方程 Σ_{i in Ik} ψ_h(Zi; d, ATTh(d), ...) 0得到基于子样本Ik的ATTh(d)估计值ATTh_k(d)。这里“求解”通常就是简单计算ATTh_k(d) 样本均值{ [Kh(D-d)g(X) - 1{D0}f_h(d|X)] / [f(D)(d)g(X)] * [ΔY - E(ΔY|X, D0)] }。聚合最终的DML估计量是K份估计值的简单平均ATTh(d) (1/K) Σ_{k1}^K ATTh_k(d)。带宽选择与最终估计对于每一个待估计的处理强度点d我们使用一个带宽h。最终我们关心的ATT(d) ≈ ATTh(d)。实践中我们需要选择一组合适的d值例如在[dL, dH]上取一个网格并为每个d点估计ATT(d)。注意事项交叉拟合中用于估计讨厌参数的样本和用于计算得分的样本必须严格分开。这是保证理论性质的关键。如果使用同一份样本既做训练又做验证机器学习方法的过拟合特性会导致估计量有严重的偏差即使有正交得分也难以挽救。4. 实现细节与编程要点理论很优美但落地到代码才能产生价值。本节将详细拆解实现过程中的关键步骤、参数选择和经验技巧。4.1 带宽选择偏差与方差的权衡核函数带宽h的选择是核平滑方法的核心它直接控制着估计的偏差和方差。偏差如前所述近似偏差Bh(d) O(h^2)。h越大平滑越强用ATTh(d)近似ATT(d)的偏差越大。方差估计量ATTh(d)的方差大致与1/(Nh)成比例。h越小用于估计每个d点处效应的有效样本越少方差越大。因此存在一个最优带宽在偏差和方差之间取得平衡使得均方误差最小。对于密度估计或非参数回归通常有h_opt ∝ N^{-1/5}。然而在我们的DML框架下为了确保使用核近似带来的偏差不影响估计量的渐近分布即偏差项小到可以被忽略我们需要进行“欠平滑”即选择一个比最优带宽更小的带宽具体要满足√N * h^5 → 0。这意味着偏差的收敛速度比估计量本身的标准误收敛速度还要快。实践建议参考规则可以从一个简单的参考带宽开始例如Silverman规则用于密度估计h_silverman 1.06 * σ(D) * N^{-1/5}其中σ(D)是处理变量D仅处理组的标准差。缩小带宽将参考带宽乘以一个小于1的因子例如0.5或0.7作为初始的欠平滑带宽。敏感性分析这是至关重要的一步。在最终结果报告中必须展示不同带宽例如0.5h_s, 0.7h_s, h_s, 1.2h_s下ATT(d)曲线的估计结果。如果主要结论如效应符号、异质性模式在不同带宽下保持稳健那么我们对结果的信心就强得多。如果结论剧烈变化则需要谨慎解释或者考虑使用更稳健的估计方法如局部多项式回归结合DML。4.2 机器学习方法选型与训练我们需要估计三个讨厌参数g(X)P(D0|X)二分类 f_h(d|X)E[Kh(D-d)|X]回归 E(ΔY|X, D0)回归。对于后两者需要在每个不同的d点进行估计计算量可能很大。g(X) - 处理倾向得分这是一个二分类概率问题。推荐使用逻辑回归Logistic Regression、梯度提升树如XGBoost, LightGBM或随机森林Random Forest。逻辑回归模型简单可解释性强且通常很稳健。如果协变量与处理状态之间的关系非线性很强则树模型可能表现更好。关键必须检查预测的倾向得分是否满足重叠假设即既没有非常接近0的值对于处理组样本也没有非常接近1的值对于对照组样本。通常可以检查预测得分的分布或计算标准化差异。f_h(d|X) 和 E(ΔY|X, D0)这两个都是回归问题。由于我们需要在多个d点上进行估计一种高效的做法是对于f_h(d|X)注意到f_h(d|X) E[Kh(D-d)|X]。我们可以将Kh(D-d)视为一个依赖于d的因变量。一种实践方法是对于每个固定的d用所有处理组样本D0来训练一个回归模型以X为特征以Kh(D_i - d)为标签。由于d很多这很耗时。一个可行的近似是先拟合一个D对X的回归模型例如用处理组数据拟合E[D|X]然后假设D|X的分布形式如正态利用该分布的密度函数来计算f(D|X)(d|X)的近似值再乘以一个缩放因子。但这种方法引入了额外的参数假设。更稳健但计算量大的是对每个d点独立拟合。对于E(ΔY|X, D0)这是一个标准的回归问题仅使用对照组样本D0进行训练。因变量是ΔY特征是X。线性回归、弹性网络、梯度提升树等都是候选。避坑指南机器学习模型容易过拟合尤其是在样本量不大时。务必使用交叉验证来选择超参数如树的深度、学习率、L2正则化强度。在DML的交叉拟合框架下我们在每个辅助样本上训练模型时内部可以再进行一次交叉验证来确定超参数。确保最终用于预测的模型是在“干净”的训练集上得到的最佳模型。4.3 方差估计与置信区间构建根据定理4.2我们估计量的渐近方差有一个复杂的表达式。幸运的是我们可以通过交叉拟合来构造一个简单的方差估计量如公式(4.2)所示。在计算出ˆσ_N(d)后对于每个d一个点wise的(1-α)置信区间可以构建为[ATT(d) - z_{1-α/2} * ˆσ_N(d)/√N, ATT(d) z_{1-α/2} * ˆσ_N(d)/√N]。然而我们通常更关心整个处理效应曲线ATT(d)的联合推断例如“效应曲线是否在整个区间上都显著大于零”这就需要构建一致置信带。我们采用乘数自助法Multiplier Bootstrap生成B组例如B1000独立同分布的乘数ξ_i通常来自均值为1、方差为1的分布如标准正态分布加1。对于每组乘数b计算自助统计量ATT*(d)_b如公式(4.3)所示。这相当于用扰动后的得分函数重新计算估计量。对于每个d计算原始估计量ATT(d)与B个自助统计量ATT*(d)_b之间的差异。找出所有d点上标准化后的差异除以估计标准误ˆσ_N(d)绝对值的最大值在B次自助中的(1-α)分位数记为ˆc(1-α)。一致置信带为对于所有d[ATT(d) - ˆc(1-α) * ˆσ_N(d)/√N, ATT(d) ˆc(1-α) * ˆσ_N(d)/√N]。这个置信带同时考虑了所有d点上的抽样不确定性因此比点wise的区间更宽但也更可靠。5. 模拟研究与实战经验为了验证方法的有限样本性质我们设计了一个蒙特卡洛模拟。数据生成过程如下协变量X为100维处理变量D对照组概率通过逻辑函数与X相关连续处理部分由X的线性组合加一个Beta分布噪声构成结果变量Y基期结果和趋势与X相关处理效应设定为-0.5*D^2一个凹函数。我们分别生成面板数据和重复截面数据进行测试。5.1 模拟结果分析我们比较了几种估计量1) 本文提出的DML核估计量2) 基于正确参数模型的MLE作为基准3) 未使用正交得分和交叉拟合的“朴素”核估计量4) 一个简单的线性TWFE回归Y对D、时间、个体固定效应回归。模拟结果显示偏差在非线性处理效应-0.5D^2设定下线性TWFE回归表现出严重的设定偏误无法捕捉曲线的凹性在整个强度区间上平均偏差很大。朴素核估计量由于机器学习估计误差的传导也存在可观偏差。而DML估计量的偏差在所有处理强度d上都非常接近零与知道真实数据生成过程的MLE估计量表现相当。方差与覆盖率DML估计量的方差略高于参数MLE这是非参数方法的代价但远小于朴素估计量。更重要的是其95%置信区间无论是点wise还是一致带的经验覆盖概率非常接近名义水平95%。而朴素估计量的覆盖概率严重低于95%线性TWFE的置信区间则完全无法覆盖真实的非线性曲线。计算效率DML估计量K5的计算时间显著长于简单回归但处于可接受范围在标准台式机上对于一次模拟约数分钟。主要时间消耗在于对每个d点估计f_h(d|X)和进行交叉拟合。5.2 实战经验与常见问题排查问题1估计的ATT(d)曲线波动剧烈不光滑。可能原因带宽h太小导致方差过大估计不稳定。排查与解决增大带宽h。进行带宽敏感性分析选择一个能使曲线相对光滑同时又不至于过度平滑掩盖真实异质性的h。也可以考虑使用更高阶的核函数或局部多项式回归来替代简单的核平滑以获得更光滑的曲线估计。问题2在处理强度d的边界附近接近dL或dH估计值异常或置信区间极宽。可能原因边界处数据稀疏核函数在边界处不对称导致边界偏差。排查与解决这是核估计的固有难题。可以考虑1) 使用边界校正的核函数2) 直接舍弃边界附近例如带宽h范围内的估计只报告内部区间的结果3) 在解释结果时明确说明边界估计的不确定性更大。问题3倾向得分g(X)的估计值非常接近0或1导致得分函数分母接近零计算不稳定。可能原因重叠假设可能被严重违反或者机器学习模型过拟合。排查与解决1) 检查协变量X在处理组和对照组间的平衡性。如果存在严重不平衡考虑是否需要对样本进行修剪如丢弃倾向得分极端值的样本但这会改变研究总体需要合理解释。2) 在机器学习模型中加入更强的正则化如L1/L2正则化防止概率预测过于极端。3) 在计算得分时对分母设置一个很小的截断值如1e-8防止数值溢出但需注意这引入了微小偏差。问题4计算速度太慢尤其是当需要估计很多个d点时。可能原因对每个d点都独立训练f_h(d|X)的模型计算复杂度高。排查与解决1) 减少d点的网格密度。2) 考虑使用更快的机器学习算法如LightGBM替代随机森林。3) 探索近似方法例如先拟合一个D|X的参数模型如Gamma回归然后解析地计算f_h(d|X)的近似期望。但这会牺牲一些非参数灵活性。4) 利用并行计算不同d点的估计相互独立可以很容易地并行化。6. 实证应用示例医疗保险支付系统改革为了展示方法的实用性我们重新分析了Acemoglu和Finkelstein (2008)的经典研究。该文评估了1983年美国Medicare预期支付系统PPS改革对医院行为的影响。改革将Medicare的支付方式从成本加成改为按病种预付。关键之处在于改革对不同医院的影响强度是连续的一个医院收治的Medicare病人比例越高受改革的影响就越大。因此Medicare病人份额构成了一个完美的连续处理变量。原始论文主要使用了线性面板模型。我们应用本文的连续处理DML方法非参数地估计了ATT(d)曲线即PPS改革对Medicare份额为d的医院所产生的平均处理效应以医院运营成本或医疗技术投资为结果变量。结果发现线性模型暗示了一个大致均匀的负向效应降低成本。然而我们的非线性ATT(d)曲线揭示出显著的异质性。对于Medicare份额较低的医院d小改革的影响微弱甚至不显著而对于份额很高的医院d大改革产生了强烈且显著的负向成本效应。这表明政策冲击存在一个“阈值效应”或“边际效应递增”的模式这是线性模型无法捕捉的深刻见解。这一发现对于政策制定者意味着支付系统改革对不同类型的医院产生了差异化的激励在评估政策整体效果或设计补偿机制时必须考虑这种异质性。实施细节我们控制了医院规模、地理位置、教学医院 status、城市人口等协变量。使用逻辑回归估计倾向得分使用梯度提升树估计条件期望。带宽通过交叉验证选择并进行了敏感性分析。最终得到了一条平滑的ATT(d)曲线及其一致置信带清晰地展示了效应随处理强度的非线性变化。7. 扩展讨论与未来方向本文介绍的方法为连续处理DiD提供了一个坚实的估计与推断框架。但在实际应用中仍有若干重要方向值得深入探索平行趋势检验在二元处理DiD中通常可以通过比较处理组和对照组在政策前期的趋势来检验平行趋势假设。在连续处理下如何形式化地检验条件平行趋势假设一个思路是检验在政策前一期t-2到t-1对于不同的处理强度d其“伪处理效应”是否为零。但这需要多期数据并且需要更强的假设。动态处理效应本文聚焦于单一时点处理后的效应。许多政策效应是动态演变的。如何将框架扩展到多期处理效应如事件研究法在连续处理下的对应版本是一个重要的前沿问题。工具变量与内生性如果处理强度D本身是内生的例如企业选择广告投放强度基于其未观测到的增长潜力那么条件平行趋势假设可能不成立。此时需要结合工具变量方法。将连续处理DiD与局部平均处理效应LATE框架结合是一个极具挑战性但有巨大价值的方向。软件实现目前还没有一个主流的计量经济学软件包完整实现本文的方法。大多数应用者需要自己用R、Python或Stata编程实现。开发用户友好的软件包自动化完成样本分割、机器学习模型训练、得分计算、方差估计和自助法推断将极大地降低该方法的应用门槛。连续处理DiD结合DML为我们打开了一扇更精细刻画因果异质性的大门。它要求研究者对数据生成过程、模型假设和机器学习工具有更深的理解但回报是更丰富、更稳健、更贴近现实的实证发现。在实践中务必牢记再精巧的方法也替代不了严谨的研究设计和深刻的领域知识。将计量工具与经济学逻辑紧密结合才是做出有价值研究的根本。
连续处理双重差分法：基于DML的稳健估计与非线性效应识别
1. 连续处理双重差分法从理论到DML估计的实践指南双重差分法Difference-in-Differences, DiD是评估政策或干预因果效应的基石其核心逻辑清晰有力通过比较处理组与对照组在干预前后的结果变化在“平行趋势”假设成立的前提下剥离出干预本身的净效应。然而现实世界中的干预很少是简单的“有”或“无”。政策影响有深浅广告曝光有强弱污染暴露有高低——处理强度本身就是一个连续变量。将DiD框架拓展到连续处理场景不仅是对现实复杂性的更忠实刻画更是打开“剂量-反应”关系黑箱的关键。这让我们能回答更精细的问题政策效果是随着强度线性增加还是存在阈值或饱和点不同强度的干预其边际效应有何不同近年来连续处理DiD的理论与应用正在快速发展。从评估在线广告关闭的异质性影响到分析儿童税收抵免政策对不同收入家庭的差异化效果连续处理框架为我们理解政策的细微差别提供了强大工具。然而当面对高维协变量如个体特征、地域变量、历史行为数据时传统的参数化或半参数估计方法往往捉襟见肘。机器学习方法虽能灵活拟合复杂的协变量关系但其引入的估计偏差又会污染最终因果效应的估计导致置信区间失效结论不可靠。这正是去偏机器学习Double/Debiased Machine Learning, DML大显身手的地方。本文将深入探讨如何将DML框架与核平滑技术相结合构建一个既稳健又高效的连续处理ATT估计器。我们不只停留在公式推导更会拆解每一步操作背后的计量经济学直觉并分享在实践模拟与实证分析中积累的一手经验与避坑指南。无论你是希望将连续处理DiD应用于自己研究的经济学博士生还是关心模型稳健性的数据科学家这篇文章都将为你提供从理论到代码的完整路线图。2. 核心思路与模型设定为什么是条件平行趋势与DML在深入公式之前我们必须厘清连续处理DiD要解决的核心难题以及我们选择的武器为何有效。传统二元处理DiD识别ATT依赖于一个关键假设若无干预处理组和对照组的结果随时间变化的趋势是平行的。在连续处理下这个假设需要被精细化为条件平行趋势假设。其直觉是在控制了所有影响结果动态的协变量X之后对于任何一个给定的处理强度d那些最终接受了强度d处理的个体其潜在结果若未接受处理的变化趋势应该与那些从未接受处理的个体D0在控制X后的趋势一致。这个“条件化”至关重要。想象研究一项税收优惠对企业投资的影响处理强度是优惠税率。大企业和小企业即使面对相同的优惠其投资增长趋势可能本就不同。如果不控制企业规模、现金流等协变量直接比较不同优惠税率企业的投资变化就会把企业固有的增长差异错误地归因于政策。条件平行趋势假设通过控制X试图在更“公平”的基础上进行比较。识别出参数只是第一步估计才是更大的挑战。ATT(d)的识别公式中包含了处理强度D在给定协变量X下的条件密度f(D|X)这个“讨厌参数”nuisance parameter。在高维X下直接非参数估计这个条件密度几乎不可能而用机器学习方法如随机森林、神经网络去估计它又会把估计误差带入ATT(d)的最终估计导致根号N收敛速率都无法保证更别提有效的统计推断了。DML框架的精妙之处在于“正交化”。它通过构造一个特殊的得分函数使得目标参数ATT的估计对讨厌参数的估计误差变得不敏感一阶影响为零。这就好比给估计量穿上了一层“防弹衣”即使我们用机器学习粗略地估计了那些复杂的条件期望或密度只要它们收敛得足够快通常要求快于N的负四分之一次方最终ATT估计量的分布依然会是干净的正态分布我们可以放心地构建置信区间。我们的贡献在于通过一个核平滑技巧将涉及条件密度的非正则参数ATT(d)转化为一系列只涉及条件期望的正则参数ATTh(d)从而成功地将DML这套强大的工具引入了连续处理DiD的战场。2.1 数据结构与基本假设我们的设定紧密跟随Abadie (2005)和Callaway et al. (2024)的框架。考虑一个两期t-1期和t期的面板数据或重复截面数据。在t期一项干预发生个体i接受的处理强度为Di。处理变量D是一个混合分布在0点有一个概率质量即对照组D0在区间[dL, dH]上有一个连续分布即处理组D0。我们用Yi,t(d)表示个体i在t期接受处理强度d时的潜在结果。除了标准的独立同分布、无预期效应等假设外最核心的假设如下条件平行趋势假设对于所有处理强度d ∈ [dL, dH]都有 E[Yt(0) - Yt-1(0) | X, Dd] E[Yt(0) - Yt-1(0) | X, D0] 这意味着在控制了协变量X后任何处理强度组别的潜在未处理结果的变化趋势都与对照组的变化趋势相同。重叠假设存在一个常数κ0使得几乎处处有κ P(D0|X) 1-κ且对于所有d f(D|X)(d|X) κ。这个假设确保对于任何协变量取值X既有个体属于处理组也有个体属于对照组且各种处理强度都有出现的可能避免外推。我们的目标参数是处理组平均处理效应ATT(d) E[Yt(d) - Yt(0) | Dd]。它衡量的是对于那些最终接受了强度为d的处理个体处理强度d相对于不处理强度0的平均因果效应。注意这里有一个重要的概念区分。ATT(d)是“条件于处理状态”的效应即只关心那些实际经历了强度d的个体。与之相对的另一个常见参数是“剂量反应函数”或“平均潜在结果”E[Yt(d)]它考虑的是如果强制所有个体都接受强度d的处理平均结果会怎样。前者更贴近“效果评估”后者更贴近“政策模拟”。本文聚焦于前者。2.2 识别策略从ATT到ATTh在条件平行趋势等假设下可以证明ATT(d)能被识别为如下形式以面板数据为例 ATT(d) E[ΔY | Dd] - E[ ΔY * 1{D0} * f(D|X)(d|X) / (f(D)(d) * P(D0|X)) ] 其中ΔY Yt - Yt-1。这个表达式直观上可以理解为一个加权比较。第一项E[ΔY | Dd]是处理组强度d的实际变化。第二项是一个构造的“反事实”趋势利用对照组D0的变化ΔY但按照其协变量X分布与处理组强度d的相似程度通过f(D|X)(d|X)进行加权从而预测如果处理组强度d没被处理他们的趋势会怎样。两者的差就是处理效应。然而这个识别公式中包含了条件密度f(D|X)(d|X)和边际密度f(D)(d)。直接基于此进行估计会陷入之前提到的困境。我们的突破口是核平滑。我们知道条件密度可以通过一个核函数来近似f(D|X)(d|x) ≈ E[Kh(D-d) | Xx]其中Kh(·)是一个带宽为h的核函数如高斯核。当带宽h趋近于0时这个近似就趋近于真实的条件密度。利用这个近似我们定义一个新的、平滑化的参数 ATTh(d) E[ ΔY * ( Kh(D-d)P(D0|X) - 1{D0}E[Kh(D-d)|X] ) / (f(D)(d)P(D0|X)) ]这个ATTh(d)只包含条件期望E[Kh(D-d)|X], P(D0|X)和边际密度f(D)(d)而不再有难以直接估计的条件密度。更重要的是可以证明ATT(d) lim_{h→0} ATTh(d)且近似误差Bh(d) ATT(d) - ATTh(d)的阶为O(h^2)。这意味着只要选择一个足够小的带宽h我们通过估计ATTh(d)就能无限逼近真实的ATT(d)。这就将非正则的密度估计问题转化为了正则的条件期望估计问题为应用DML扫清了道路。3. DML估计器的构建正交得分与交叉拟合有了平滑化的目标参数ATTh(d)下一步就是构建一个对其敏感的、且对讨厌参数估计误差稳健的得分函数。这就是Neyman正交得分。3.1 构造正交得分函数以面板数据为例我们最终推导出的正交得分函数为 ψ_h [ Kh(D-d)g(X) - 1{D0}f_h(d|X) ] / [ f(D)(d)g(X) ] * [ ΔY - E(ΔY|X, D0) ] - ATTh(d) 其中g(X)P(D0|X) f_h(d|X)E[Kh(D-d)|X] E(ΔY|X, D0)是给定协变量X和未处理状态下结果变化的条件期望。这个得分函数满足一个关键性质在真实参数值处其期望为零并且它对无穷维讨厌参数g(X), f_h(d|X), E(ΔY|X, D0)的Gateaux导数在真实值处也为零。这个“正交性”意味着如果我们用估计量ĝ(X), ƒ_h(d|X), Ê(ΔY|X, D0) 去替换真实值只要这些估计量收敛得足够快它们对ATTh(d)估计量的一阶影响可以忽略不计。这就保护了我们的因果估计量免受第一阶段机器学习估计误差的过度影响。实操心得得分函数中减去E(ΔY|X, D0)这一项就是关键的“去偏”或“正交化”调整项。它的作用类似于回归中的“残差化”通过减去基于协变量的预测值减少了结果变量ΔY的波动从而降低了最终估计的方差。在编程实现时务必确保这一项的准确估计。3.2 交叉拟合与估计步骤DML的另一个核心组件是交叉拟合用于进一步减少过拟合偏差。具体操作步骤如下样本分割将总样本量为N的数据随机划分为K份通常K5或10记为I1, I2, ..., IK。辅助样本估计对于每一份k用除Ik之外的所有其他数据记为Ikc作为训练集利用机器学习方法估计所有讨厌参数ĝ_{-k}(X), ƒ_h_{-k}(d|X), Ê(ΔY|X, D0){-k}。同时用整个Ikc样本估计边际密度f(D)(d)得到一个核密度估计ƒ{-k}(d)。得分计算与平均在验证集Ik上使用上一步得到的估计量计算每个样本i的得分函数ψ_h(Zi; d)。然后通过求解方程 Σ_{i in Ik} ψ_h(Zi; d, ATTh(d), ...) 0得到基于子样本Ik的ATTh(d)估计值ATTh_k(d)。这里“求解”通常就是简单计算ATTh_k(d) 样本均值{ [Kh(D-d)g(X) - 1{D0}f_h(d|X)] / [f(D)(d)g(X)] * [ΔY - E(ΔY|X, D0)] }。聚合最终的DML估计量是K份估计值的简单平均ATTh(d) (1/K) Σ_{k1}^K ATTh_k(d)。带宽选择与最终估计对于每一个待估计的处理强度点d我们使用一个带宽h。最终我们关心的ATT(d) ≈ ATTh(d)。实践中我们需要选择一组合适的d值例如在[dL, dH]上取一个网格并为每个d点估计ATT(d)。注意事项交叉拟合中用于估计讨厌参数的样本和用于计算得分的样本必须严格分开。这是保证理论性质的关键。如果使用同一份样本既做训练又做验证机器学习方法的过拟合特性会导致估计量有严重的偏差即使有正交得分也难以挽救。4. 实现细节与编程要点理论很优美但落地到代码才能产生价值。本节将详细拆解实现过程中的关键步骤、参数选择和经验技巧。4.1 带宽选择偏差与方差的权衡核函数带宽h的选择是核平滑方法的核心它直接控制着估计的偏差和方差。偏差如前所述近似偏差Bh(d) O(h^2)。h越大平滑越强用ATTh(d)近似ATT(d)的偏差越大。方差估计量ATTh(d)的方差大致与1/(Nh)成比例。h越小用于估计每个d点处效应的有效样本越少方差越大。因此存在一个最优带宽在偏差和方差之间取得平衡使得均方误差最小。对于密度估计或非参数回归通常有h_opt ∝ N^{-1/5}。然而在我们的DML框架下为了确保使用核近似带来的偏差不影响估计量的渐近分布即偏差项小到可以被忽略我们需要进行“欠平滑”即选择一个比最优带宽更小的带宽具体要满足√N * h^5 → 0。这意味着偏差的收敛速度比估计量本身的标准误收敛速度还要快。实践建议参考规则可以从一个简单的参考带宽开始例如Silverman规则用于密度估计h_silverman 1.06 * σ(D) * N^{-1/5}其中σ(D)是处理变量D仅处理组的标准差。缩小带宽将参考带宽乘以一个小于1的因子例如0.5或0.7作为初始的欠平滑带宽。敏感性分析这是至关重要的一步。在最终结果报告中必须展示不同带宽例如0.5h_s, 0.7h_s, h_s, 1.2h_s下ATT(d)曲线的估计结果。如果主要结论如效应符号、异质性模式在不同带宽下保持稳健那么我们对结果的信心就强得多。如果结论剧烈变化则需要谨慎解释或者考虑使用更稳健的估计方法如局部多项式回归结合DML。4.2 机器学习方法选型与训练我们需要估计三个讨厌参数g(X)P(D0|X)二分类 f_h(d|X)E[Kh(D-d)|X]回归 E(ΔY|X, D0)回归。对于后两者需要在每个不同的d点进行估计计算量可能很大。g(X) - 处理倾向得分这是一个二分类概率问题。推荐使用逻辑回归Logistic Regression、梯度提升树如XGBoost, LightGBM或随机森林Random Forest。逻辑回归模型简单可解释性强且通常很稳健。如果协变量与处理状态之间的关系非线性很强则树模型可能表现更好。关键必须检查预测的倾向得分是否满足重叠假设即既没有非常接近0的值对于处理组样本也没有非常接近1的值对于对照组样本。通常可以检查预测得分的分布或计算标准化差异。f_h(d|X) 和 E(ΔY|X, D0)这两个都是回归问题。由于我们需要在多个d点上进行估计一种高效的做法是对于f_h(d|X)注意到f_h(d|X) E[Kh(D-d)|X]。我们可以将Kh(D-d)视为一个依赖于d的因变量。一种实践方法是对于每个固定的d用所有处理组样本D0来训练一个回归模型以X为特征以Kh(D_i - d)为标签。由于d很多这很耗时。一个可行的近似是先拟合一个D对X的回归模型例如用处理组数据拟合E[D|X]然后假设D|X的分布形式如正态利用该分布的密度函数来计算f(D|X)(d|X)的近似值再乘以一个缩放因子。但这种方法引入了额外的参数假设。更稳健但计算量大的是对每个d点独立拟合。对于E(ΔY|X, D0)这是一个标准的回归问题仅使用对照组样本D0进行训练。因变量是ΔY特征是X。线性回归、弹性网络、梯度提升树等都是候选。避坑指南机器学习模型容易过拟合尤其是在样本量不大时。务必使用交叉验证来选择超参数如树的深度、学习率、L2正则化强度。在DML的交叉拟合框架下我们在每个辅助样本上训练模型时内部可以再进行一次交叉验证来确定超参数。确保最终用于预测的模型是在“干净”的训练集上得到的最佳模型。4.3 方差估计与置信区间构建根据定理4.2我们估计量的渐近方差有一个复杂的表达式。幸运的是我们可以通过交叉拟合来构造一个简单的方差估计量如公式(4.2)所示。在计算出ˆσ_N(d)后对于每个d一个点wise的(1-α)置信区间可以构建为[ATT(d) - z_{1-α/2} * ˆσ_N(d)/√N, ATT(d) z_{1-α/2} * ˆσ_N(d)/√N]。然而我们通常更关心整个处理效应曲线ATT(d)的联合推断例如“效应曲线是否在整个区间上都显著大于零”这就需要构建一致置信带。我们采用乘数自助法Multiplier Bootstrap生成B组例如B1000独立同分布的乘数ξ_i通常来自均值为1、方差为1的分布如标准正态分布加1。对于每组乘数b计算自助统计量ATT*(d)_b如公式(4.3)所示。这相当于用扰动后的得分函数重新计算估计量。对于每个d计算原始估计量ATT(d)与B个自助统计量ATT*(d)_b之间的差异。找出所有d点上标准化后的差异除以估计标准误ˆσ_N(d)绝对值的最大值在B次自助中的(1-α)分位数记为ˆc(1-α)。一致置信带为对于所有d[ATT(d) - ˆc(1-α) * ˆσ_N(d)/√N, ATT(d) ˆc(1-α) * ˆσ_N(d)/√N]。这个置信带同时考虑了所有d点上的抽样不确定性因此比点wise的区间更宽但也更可靠。5. 模拟研究与实战经验为了验证方法的有限样本性质我们设计了一个蒙特卡洛模拟。数据生成过程如下协变量X为100维处理变量D对照组概率通过逻辑函数与X相关连续处理部分由X的线性组合加一个Beta分布噪声构成结果变量Y基期结果和趋势与X相关处理效应设定为-0.5*D^2一个凹函数。我们分别生成面板数据和重复截面数据进行测试。5.1 模拟结果分析我们比较了几种估计量1) 本文提出的DML核估计量2) 基于正确参数模型的MLE作为基准3) 未使用正交得分和交叉拟合的“朴素”核估计量4) 一个简单的线性TWFE回归Y对D、时间、个体固定效应回归。模拟结果显示偏差在非线性处理效应-0.5D^2设定下线性TWFE回归表现出严重的设定偏误无法捕捉曲线的凹性在整个强度区间上平均偏差很大。朴素核估计量由于机器学习估计误差的传导也存在可观偏差。而DML估计量的偏差在所有处理强度d上都非常接近零与知道真实数据生成过程的MLE估计量表现相当。方差与覆盖率DML估计量的方差略高于参数MLE这是非参数方法的代价但远小于朴素估计量。更重要的是其95%置信区间无论是点wise还是一致带的经验覆盖概率非常接近名义水平95%。而朴素估计量的覆盖概率严重低于95%线性TWFE的置信区间则完全无法覆盖真实的非线性曲线。计算效率DML估计量K5的计算时间显著长于简单回归但处于可接受范围在标准台式机上对于一次模拟约数分钟。主要时间消耗在于对每个d点估计f_h(d|X)和进行交叉拟合。5.2 实战经验与常见问题排查问题1估计的ATT(d)曲线波动剧烈不光滑。可能原因带宽h太小导致方差过大估计不稳定。排查与解决增大带宽h。进行带宽敏感性分析选择一个能使曲线相对光滑同时又不至于过度平滑掩盖真实异质性的h。也可以考虑使用更高阶的核函数或局部多项式回归来替代简单的核平滑以获得更光滑的曲线估计。问题2在处理强度d的边界附近接近dL或dH估计值异常或置信区间极宽。可能原因边界处数据稀疏核函数在边界处不对称导致边界偏差。排查与解决这是核估计的固有难题。可以考虑1) 使用边界校正的核函数2) 直接舍弃边界附近例如带宽h范围内的估计只报告内部区间的结果3) 在解释结果时明确说明边界估计的不确定性更大。问题3倾向得分g(X)的估计值非常接近0或1导致得分函数分母接近零计算不稳定。可能原因重叠假设可能被严重违反或者机器学习模型过拟合。排查与解决1) 检查协变量X在处理组和对照组间的平衡性。如果存在严重不平衡考虑是否需要对样本进行修剪如丢弃倾向得分极端值的样本但这会改变研究总体需要合理解释。2) 在机器学习模型中加入更强的正则化如L1/L2正则化防止概率预测过于极端。3) 在计算得分时对分母设置一个很小的截断值如1e-8防止数值溢出但需注意这引入了微小偏差。问题4计算速度太慢尤其是当需要估计很多个d点时。可能原因对每个d点都独立训练f_h(d|X)的模型计算复杂度高。排查与解决1) 减少d点的网格密度。2) 考虑使用更快的机器学习算法如LightGBM替代随机森林。3) 探索近似方法例如先拟合一个D|X的参数模型如Gamma回归然后解析地计算f_h(d|X)的近似期望。但这会牺牲一些非参数灵活性。4) 利用并行计算不同d点的估计相互独立可以很容易地并行化。6. 实证应用示例医疗保险支付系统改革为了展示方法的实用性我们重新分析了Acemoglu和Finkelstein (2008)的经典研究。该文评估了1983年美国Medicare预期支付系统PPS改革对医院行为的影响。改革将Medicare的支付方式从成本加成改为按病种预付。关键之处在于改革对不同医院的影响强度是连续的一个医院收治的Medicare病人比例越高受改革的影响就越大。因此Medicare病人份额构成了一个完美的连续处理变量。原始论文主要使用了线性面板模型。我们应用本文的连续处理DML方法非参数地估计了ATT(d)曲线即PPS改革对Medicare份额为d的医院所产生的平均处理效应以医院运营成本或医疗技术投资为结果变量。结果发现线性模型暗示了一个大致均匀的负向效应降低成本。然而我们的非线性ATT(d)曲线揭示出显著的异质性。对于Medicare份额较低的医院d小改革的影响微弱甚至不显著而对于份额很高的医院d大改革产生了强烈且显著的负向成本效应。这表明政策冲击存在一个“阈值效应”或“边际效应递增”的模式这是线性模型无法捕捉的深刻见解。这一发现对于政策制定者意味着支付系统改革对不同类型的医院产生了差异化的激励在评估政策整体效果或设计补偿机制时必须考虑这种异质性。实施细节我们控制了医院规模、地理位置、教学医院 status、城市人口等协变量。使用逻辑回归估计倾向得分使用梯度提升树估计条件期望。带宽通过交叉验证选择并进行了敏感性分析。最终得到了一条平滑的ATT(d)曲线及其一致置信带清晰地展示了效应随处理强度的非线性变化。7. 扩展讨论与未来方向本文介绍的方法为连续处理DiD提供了一个坚实的估计与推断框架。但在实际应用中仍有若干重要方向值得深入探索平行趋势检验在二元处理DiD中通常可以通过比较处理组和对照组在政策前期的趋势来检验平行趋势假设。在连续处理下如何形式化地检验条件平行趋势假设一个思路是检验在政策前一期t-2到t-1对于不同的处理强度d其“伪处理效应”是否为零。但这需要多期数据并且需要更强的假设。动态处理效应本文聚焦于单一时点处理后的效应。许多政策效应是动态演变的。如何将框架扩展到多期处理效应如事件研究法在连续处理下的对应版本是一个重要的前沿问题。工具变量与内生性如果处理强度D本身是内生的例如企业选择广告投放强度基于其未观测到的增长潜力那么条件平行趋势假设可能不成立。此时需要结合工具变量方法。将连续处理DiD与局部平均处理效应LATE框架结合是一个极具挑战性但有巨大价值的方向。软件实现目前还没有一个主流的计量经济学软件包完整实现本文的方法。大多数应用者需要自己用R、Python或Stata编程实现。开发用户友好的软件包自动化完成样本分割、机器学习模型训练、得分计算、方差估计和自助法推断将极大地降低该方法的应用门槛。连续处理DiD结合DML为我们打开了一扇更精细刻画因果异质性的大门。它要求研究者对数据生成过程、模型假设和机器学习工具有更深的理解但回报是更丰富、更稳健、更贴近现实的实证发现。在实践中务必牢记再精巧的方法也替代不了严谨的研究设计和深刻的领域知识。将计量工具与经济学逻辑紧密结合才是做出有价值研究的根本。
