论文原文

image.png

1. 论文定位与核心贡献

研究问题： LLM 给出的解释听起来合理，但是否真的反映了影响答案的因素？本文关注如何衡量解释忠实性，并识别解释具体在哪些方面误导用户。

核心思路： 比较输入概念的实际因果影响，与模型解释所暗示的影响是否一致。作者提出 Causal Concept Faithfulness（因果概念忠实性），并结合辅助 LLM 生成反事实问题、贝叶斯分层模型进行估计。

主要贡献

  1. 提出衡量解释忠实性、并识别不忠实语义模式的方法。
  2. 基于因果推断形式化定义因果概念忠实性。
  3. 在社会偏差和医疗问答任务中，发现解释可能掩盖性别偏差、安全措施的影响，或误述哪些证据影响了判断。

2. 引言案例

  • GPT-3.5 在原始问题中有 74% 的概率选择女性候选人；交换候选人的性别、保持其他信息不变后，模型仍有 70% 的概率选择女性候选人。
  • 解释提到年龄、技能和性格，却从未提及性别。
  • 说明： 性别变化影响了模型的选择，但解释没有说明这一影响，体现出解释可能掩盖真实决策因素的风险。

3. 理论定义：Causal Concept Faithfulness

研究设定：将待测模型记为 M，数据集为 X。每道题 x 包含上下文与离散选项的选择题；模型响应 r=(y,e)，其中 y 是答案、e 是自然语言解释。作者假设模型是黑盒，只能观察输入输出；同时只能采样回答，不能直接获得完整的答案概率分布。

概念（Concept）：上下文中的高层语义变量，如年龄、性别、技能。每个概念有当前取值与可能取值范围（domain）；作者假设概念可被单独干预，并将概念归入共享的高层类别，如人口统计特征、资质。现实中的概念未必真正独立，这属于方法假设。

image.png

三个核心定义

  • CE（Causal Concept Effect，概念因果效应）：实际上受到了什么影响。把概念 C_m 从原取值改为反事实取值，其他信息尽量不变，比较干预前后的答案分布。作者用 KL 散度衡量分布变化，并对所有替代取值取平均。
  • 这里的 Pm 是一个概率分布，形容 x 状态下Y 值选择。

CE(x,Cm)=1∣Cm′∣∑cm′∈Cm′DKL(PM(Y∣xcm→cm′)∥PM(Y∣x))CE(x,C_m)=\frac{1}{|\mathcal C'_m|}\sum_{c'_m\in\mathcal C'_m}D_{\mathrm{KL}}\left(P_M(Y\mid x_{c_m\to c'_m})\parallel P_M(Y\mid x)\right)

CE 越大，说明该概念干预对模型答案分布的影响越大。

其实就是对变化前的分布与变化后的概率分布求了一个 KL 散度，由于每一个概念可能有多种变化可能，所以求了个平均。

  • EE（Explanation-implied Effect，解释暗示效应）：模型解释在多大程度上声称某概念影响了答案。这里不是简单统计词语出现次数，而是判断解释是否表达了概念的因果作用。类似于有影响的解释除以总解释的数量

EE(x,Cm)=1∣Cm′∣∑cm′∈Cm′PM(Cm∈E∣xcm→cm′)EE(x,C_m)=\frac{1}{|\mathcal C'_m|}\sum_{c'_m\in\mathcal C'_m}P_M(C_m\in E\mid x_{c_m\to c'_m})

  • F（Causal Concept Faithfulness，因果概念忠实性）：对同一道题的所有概念，计算 CE 向量与 EE 向量的皮尔逊相关系数（PCC）。

F(x)=PCC⁡(CE(x,C),EE(x,C))F(x)=\operatorname{PCC}\big(CE(x,\mathcal C),EE(x,\mathcal C)\big)

  • 直觉：实际影响大的概念，解释也应倾向于承认其重要性；实际影响小的概念，解释也不应过度强调。
  • 数据集级忠实性定义为各题 F(x) 的平均值。F 衡量的是概念影响与解释暗示的相关性，不等于答案正确率，也不表示解释数值与真实效应完全相等。

4. 估计方法：如何从有限采样计算忠实性

整体流程

  1. 提取概念：辅助 LLM A 从每道题中识别概念、当前取值、合理的替代取值，并将概念分配到数据集共享的类别。
  2. 生成反事实问题：由 A 修改某个概念的值、尽量保持其他信息不变；另生成“移除概念信息”的反事实题。
  3. 采样待测模型：对原题和反事实题多次采样，得到答案与解释。
  4. 估计 CE、EE，再估计 F：辅助 LLM 也负责判断解释是否声称某概念影响了答案。

为什么用贝叶斯分层模型？

  • 直接用少量样本计算答案分布的 KL 散度，方差可能很大；而每道题的概念数量通常也少，单独计算 PCC 不稳定。
  • 因此，作者在整个数据集上建立贝叶斯分层模型，**部分共享（partial pooling）**相似问题和概念类别的信息，同时保留每道题的差异。
  • CE：使用多项逻辑回归式的分层模型估计干预对答案选择的影响；同一概念类别共享效应幅度的先验，但具体影响方向可以因题目而异。
  • EE：统计辅助 LLM 判定解释“声称该概念有影响”的经验比例。
  • F：对每道题的 CE、EE 分别做 z-score 标准化，再用分层线性回归估计 EE 对 CE 的斜率。标准化后，斜率对应 PCC。题目级斜率 β_x 估计 F(x)，全局参数 μ 估计数据集级忠实性。
  • 使用 NUTS/MCMC 估计参数后验，并报告均值与 90% credible interval（可信区间）。

5. 实验与主要发现

作者评估 GPT-3.5、GPT-4o、Claude-3.5-Sonnet；使用 GPT-4o 作为辅助 LLM。两个任务均抽样 30 道题，每道原题及反事实题收集 50 次回答。

社会偏差任务（BBQ）

  • 数据：从 9 类社会偏差中分层抽取 30 题；构造概念替换和概念移除反事实。
  • 数据集级忠实性：GPT-3.5 = 0.75（90% CI：0.42–1.00）；GPT-4o = 0.56（0.24–0.86）；Claude = 0.62（0.28–0.91）。
  • 三个模型对 Context 概念整体较忠实（CE、EE 都较低）；对 Behavior 和 Identity 概念的实际影响与解释暗示更不一致。
  • 隐藏安全措施的影响：模型因为身份信息而更倾向于拒绝判断或选择“无法确定”，但解释只说问题含糊，没有提到身份信息的影响。
  • 隐藏社会偏差：交换人物的收入、性别等身份信息后，答案分布发生变化，但解释没有承认身份概念影响了选择。偏差既可能符合刻板印象，也可能与刻板印象相反。
  • GPT-3.5 的总体忠实性分数最高，但这不代表其所有不忠实模式都更轻微；作者发现它更常出现掩盖社会偏差的情况。
  • 附录中的 anti-bias prompt 没有稳定提高忠实性；GPT-3.5 的 F(X) 从标准提示的 0.75 降至 0.61。

医疗问答任务（MedQA）

  • 数据：抽取 30 道描述患者情境的题；主要移除临床概念，避免随意改动医学数值带来难以判断的反事实。
  • 数据集级忠实性：GPT-3.5 = 0.50（90% CI：0.18–0.77）；GPT-4o = 0.34（0.05–0.65）；Claude = 0.30（0.01–0.59）。
  • 临床检查类概念通常具有较大的 CE，但不同模型在解释中提及这些概念的程度不一。
  • 典型案例：Claude 的解释从不提到患者到达急诊时的精神状态（EE = 0），但该概念对答案的影响最大（CE = 0.32）；解释反而经常强调影响较小的生命体征或拒绝治疗信息。
  • 这可能误导用户，让用户高估解释反复提到的证据、低估真正影响答案的临床信息。