活动办得多，不等于政策已经有效：产出、结果与反事实如何分开

一百场培训只回答“做了多少”

某项计划举办一百场培训，覆盖五千人，发出两万份材料。总结页把这些数字排成大标题，读者很容易得出“政策有效”的结论。可是这些数字首先证明活动发生了，并未证明目标人群的行为、收入、健康或安全已经改变。

活动场次和材料份数属于直接交付物。参与人数还要问分母是谁、重复参加者是否去重、真正目标人群占多少。若政策目标是提高就业稳定性，培训出席本身不是就业结果，更不是长期生活影响。

英国财政部的Magenta Book把过程、影响和价值评估分开。过程评估问设计与实施是否按计划发生。影响评估问变化有多大，以及在多大程度上能归于干预。价值评估再比较成本与收益。

把三类问题合成一个完成率，会隐藏证据断点。培训按时完成，可以得到优秀的执行评价；若参加者技能没有提高，结果评价仍可能不理想。即使技能提高，单位成本过高，价值判断也要另算。

从投入到影响有五层

OECD把政策链分为投入、过程、产出、结果和影响。投入是人员、资金、时间与设备。过程是招募、授课、审核或服务交付。产出是课程、咨询次数、材料与实际服务量。

结果是目标人群在短中期出现的变化，例如知识、能力、使用行为或就业状态。影响看更长期、更广泛的后果，也要纳入正面、负面、预期和非预期变化。

这五层不是同义词。花了一百万元是投入，开了一百场课是过程，五千人出席是产出。通过考核、采用新做法或找到工作，才进入结果层。收入稳定与地区生产力变化属于更远的影响层。

越往后，影响因素越多。出席到知识要经过课程质量和学习投入。知识到行为要经过机会、激励和组织支持。行为到长期影响还会受到经济周期、家庭条件与同期政策影响。

每个箭头都要写出机制

Magenta Book建议用理论变革图说明干预如何产生预期结果。图上的箭头不是装饰，而是待检验的因果主张。若项目认为培训会提高就业，就应写清楚中间步骤。

一种可能路径是：目标人群接触课程，理解技能，完成练习，取得雇主认可的能力，得到面试机会，进入并保留工作。任何一环断裂，前面的高产出都可能无法变成最终结果。

每个箭头至少配一项观察。接触可以看目标人群覆盖率，理解可以用同一量表的前后测，采用可以看数周后的行为，就业可以看持续时长。指标要有分母、时间点和数据来源。

机制还要写条件。课程也许只在有岗位需求的地区有效；照护责任可能让部分学员无法参加；企业认证可能决定技能是否被认可。这些条件会解释同一项目为何对不同人产生不同结果。

同产出可以通向相反结果

比较项目A和项目B。两者都举办一百场培训，也各记录五千人次。A主动招募过去未获得服务的目标人群，提供练习与就业对接。B主要吸引原本就准备求职的人，出席者还多次参加。

若A有四千名独立参加者，半年后新增稳定就业八百人；B只有两千名独立参加者，新增稳定就业二百人，二者的场次与人次完全相同，覆盖与结果却不同。

即使A的就业增幅更高，也还不能直接说培训造成八百个就业结果。地区经济可能同时复苏，另一项补贴也可能扩大招聘。参加者也许本来就比未参加者更积极。

这组数字只是受控示例，不是实际项目结论。它展示的是同样产出不足以决定结果，观察到的结果也仍需处理外部因素与选择机制。

监测能看进度，评估要解释变化

OECD把持续监测和政策评估区分开。监测适合追踪预算是否使用、活动是否完成、产出是否交付和里程碑是否达到。它能及时发现执行偏离，是管理所需的证据。

评估的问题更窄也更深。它会问哪些人发生了变化，变化为何发生，观察结果能否归于政策。评估可能使用监测资料，却不能只把监测图表重新排版。

例如课程完成率下降，监测会发出异常。过程访谈或行政记录可进一步判断，是报名流程、交通、课程难度还是资格规则造成。结果数据还要判断未完成者与完成者的后续差异。

监测与评估不是二选一。好的评估依赖连续、定义稳定的监测数据；好的监测也需要评估指出哪些中间指标真的与结果有关。

前后对比缺少“没有政策时会怎样”

项目开始前就业率为百分之五十，一年后升到百分之六十。十个百分点是真实的时间变化，却不等于十个百分点的政策影响。影响问题还需要一个反事实：同一时期没有该政策时，结果会怎样。

如果地区经济普遍复苏，未参加者就业率也从百分之五十升到百分之五十八，那么项目参与者多出的变化可能只有一部分与干预相容。若参加者本来就更容易就业，简单差值仍会高估效果。

OECD指出，影响可以是直接或间接、预期或非预期。可信比较组、分阶段推行、断点设计或其他准实验方法，可在条件合适时估计反事实。方法选择取决于政策分配方式和可用数据。

Magenta Book也允许理论型、实验与准实验方法。随机分配通常给反事实较强的支撑，却不总是可行或合乎伦理。理论型评估可以用机制证据、时间顺序和多来源资料判断政策贡献，但结论不能假装达到同样的排除强度。

复杂政策不接受一个万能分数

一项政策可能覆盖扩大，却加剧群体差异；平均结果改善，边缘群体反而受损；短期行为改变，长期效果消失。单一总分会遮住这些分布与时间差异。

结果指标要按政策目标分层。既看平均值，也看年龄、地区、收入或其他相关群体。既看短期采用，也看数月后的持续。还要列出投诉、退出、替代行为等非预期结果。

成本判断也不能只用总预算。相同结果若需要不同资源，单位成本不同。若便宜项目只服务容易触达者，而高成本项目覆盖最困难人群，仍要结合公平目标解释。

评价标准应在看结果前写明。临时挑选变好的指标，会增加选择性报告风险。若目标或方法在实施中调整，要保留原版本、修改日期和理由。

一张暴露证据断点的表

表格第一列写政策链层级。第二列写具体指标，第三列写分母与目标人群。第四列写基线、测量日期和随访长度。第五列写资料来源、缺失率与修订状态。

第六列写关键假设。例如“出席者理解内容”“证书被雇主认可”“地区有岗位”。第七列写同期政策、经济变化和参加者自我选择。最后一列只写证据实际支持的结论。

若只有场次和人数，结论停在产出完成。若有目标人群的前后结果，结论可以说观察到变化，但不能自动归因。若有可信反事实或强机制证据，才讨论政策贡献或影响，并报告不确定范围。

项目开始前就应锁定基线与比较资料。结束后才寻找数据，常会发现旧指标定义不同、未参与者没有记录，或随访时间过短。提前规划不会保证因果成立，却能避免关键证据永久缺失。

活动办得多值得记录，但它不是政策有效的同义词。把投入、过程、产出、结果和影响分开，逐层检验机制与替代解释，才知道哪一段已经有证据，哪一段仍只是期待。

把六项知识增量逐一落到材料上

第一项是指标分类。OECD把政策链分为投入、过程、产出、结果和影响，产出只是直接交付物。预算、授课、出席、能力变化和长期生活状态不能写进同一列后相加。

第二项是评估问题。Magenta Book把过程评估、影响评估和价值评估视为不同问题。过程证据能确认服务是否按设计到位，影响证据判断变化与归因，价值证据才比较付出和所得。

第三项是中间机制。活动只有经由接触、理解、采用与持续行动等中间机制，才可能把直接产出转成目标人群结果。若材料发了两万份，却不知道有多少目标人群看懂并采用，政策链停在交付层。

第四项是受控比较。同样举办一百场培训，覆盖新受众并改变行为的项目，与只吸引原本会行动者的项目，产出相同而结果不同。人次数若包含重复参加，还会进一步夸大覆盖。

第五项是结论边界。前后变化不能自动归因于政策，理论图不是效果证明，没有随机实验也不等于完全不能评价。采用准实验或理论型方法时，应公开替代解释与未能排除的偏差。

第六项是研究记录。逐层记录指标、分母、基线、时间点、数据来源、关键假设、外部因素和可支持的结论。表内若没有比较条件，就只报告变化，不使用“造成”或“归因”一类强结论。

还有两个交叉检查。目标人群平均值改善时，查看未覆盖群体是否变差；短期结果上升时，查看效果能否持续到预设随访点。这样能避免用一个好看的平均数遮住分布差异和效果消退。

政策评估的价值不在于给项目贴上成功或失败标签，而在于指出哪条链已得到支持。执行、结果、归因与成本各有证据门槛，任何一层通过都不能替后面的层级作答。

资料来源

• 英国财政部与评估工作组：《Magenta Book: Central Government guidance on evaluation》，发布或更新于 2026-05-14
• 经济合作与发展组织（OECD）：《Improving Governance with Policy Evaluation: Lessons From Country Experiences》，发布或更新于 2020-06-23