Walk the Talk?：大语言模型解释的忠实性评估
论文原文 1. 论文定位与核心贡献 研究问题： LLM 给出的解释听起来合理，但是否真的反映了影响答案的因素？本文关注如何衡量解释忠实性，并识别解释具体在哪些方面误导用户。 核心思路： 比较输入概念的实际因果影响，与模型解释所暗示的影响是否一致。作者提出 Causal Concept Faithfulness（因果概念忠实性），并结合辅助 LLM 生成反事实问题、贝叶斯分层模型进行估计。 主要贡献 提出衡量解释忠实性、并识别不忠实语义模式的方法。 基于因果推断形式化定义因果概念忠实性。 在社会偏差和医疗问答任务中，发现解释可能掩盖性别偏差、安全措施的影响，或误述哪些证据影响了判断。 2. 引言案例 GPT-3.5 在原始问题中有 74% 的概率选择女性候选人；交换候选人的性别、保持其他信息不变后，模型仍有 70% 的概率选择女性候选人。 解释提到年龄、技能和性格，却从未提及性别。 说明： 性别变化影响了模型的选择，但解释没有说明这一影响，体现出解释可能掩盖真实决策因素的风险。 3. 理论定义：Causal Concept Faithfulness 研究设定：将待测...
PopResume：基于人口代表性数据的简历筛选因果公平性评估
论文原文 1. 论文定位与核心贡献 论文：PopResume: Causal Fairness Evaluation of LLM/VLM Resume Screeners with Population-Representative Dataset，arXiv:2603.22714v2。 研究问题：当大语言模型（LLM）或视觉语言模型（VLM）用于简历筛选时，怎样判断不同受保护群体之间的评分差异是如何产生的？仅比较平均分、录用率等结果指标，通常只能发现差异，不能判断差异来自岗位相关资质，还是来自姓名、地址等人口统计代理变量。 核心思路：把公平性审计从“不同群体的结果是否不同”推进到“差异通过哪条因果路径产生”，即使用 Path-Specific Effect（PSE，路径特定效应） 分析受保护属性对简历得分的影响。 主要贡献 提出面向 LLM/VLM 简历筛选的因果公平性审计框架，区分由岗位相关资质传递的影响与由人口统计代理变量传递的影响。 构建 PopResume 数据集：依据美国人口统计与调查数据（图示包括 ACS PUMS、PSID、SSA、Census 等来源）构造...
JobFair：大语言模型招聘性别偏差的评估框架
论文原文 1. 论文定位与贡献 论文：JobFair: A Framework for Benchmarking Gender Hiring Bias in Large Language Models，Findings of EMNLP 2024。 研究问题：当同一份简历的教育、技能和工作经历保持不变，只改变性别标签时，LLM 的评分与排名是否改变？这种差异是否会随简历信息量变化？ 研究对象是 LLM 辅助简历评分，不是现实招聘中的真实录用结果。 四项贡献 提出招聘偏差的分层框架：水平偏差、扩散偏差，以及水平偏差下的统计偏差和基于偏好的偏差。 设计反事实简历、先评分后排名（RAS）、排名影响比率、置换检验和固定效应回归等评测方法。 对 10 个 LLM 进行系统评估，比较不同模型、行业及偏差类型。 提供简历数据集和演示，便于复现，并可扩展到其他社会属性与任务。 2. 理论框架：招聘偏差的层级 图示的是偏差的层级关系，不能把四个术语理解成平行分类。 水平偏差（Level Bias）：男性与女性反事实版本的平均结果存在系统差异，例如男性版本的平均排名更靠后。 扩散偏差（S...
排序算法合集
选择排序 选择排序本质上就是每次选出最值，比如说最小值，然后将最小值放到最左侧这样子的 大概是这样的 123456789def select_sort: n= len(nums) for i in range(n-1): mini =i for j in range(i+1,n): if nums[j]<nums[mini]: mini=j nums[mini],nums[i] = nums[i],nums[mini] print(*nums) 冒泡排序 冒泡排序就是通过相邻两数之间的比较，得到更大值，然后让更大值向右移动 12345678def bubble_sort: n=len(nums） for i in range(n-1): for j in range(n-i-1) if nums[j]>nums[j+1]: nums[j],nums[j+1]=nums[j+1],n...
对比汇总 (copy)
口径 M3A T3A official_pureshot 模型 doubao-seed-1-8-251228 doubao-seed-1-8-251228 doubao-seed-1-8-251228 测试任务数 3 3 3 Query 次数 15 15 9 平均耗时（s） 8.259 6.571 8.329 P50 耗时（s） 7.930 6.008 8.374 P90 耗时（s） 9.062 8.290 10.137 平均 prompt_tokens 5898.5 4823.3 7921.9 平均 completion_tokens 171.6 171.3 128.8 平均 total_tokens 6070.1 4994.6 8050.7 平均图片数 / query 2 0 5 补充范围 M3A T3A 耗时范围（s） 6.041 ~ 12.659 4.540 ~ 11.153 total_tokens 范围 5443 ~ 6673 3168 ~ 6990 指标 M3A（改版，img=2）...
测试失败
seed 1.8：失败 33，成功 83，成功率 71.55% seed 1.6：失败 43，成功 73，成功率 62.93% seed 1.8 失败： ClockTimerEntry ExpenseAddMultipleFromGallery ExpenseAddMultipleFromMarkor MarkorAddNoteHeader MarkorChangeNoteContent MarkorCreateNoteAndSms MarkorMergeNotes MarkorTranscribeVideo OsmAndMarker OsmAndTrack RecipeAddMultipleRecipesFromImage RecipeAddMultipleRecipesFromMarkor RecipeAddMultipleRecipesFromMarkor2 RecipeDeleteDuplicateRecipes2 RecipeDeleteDuplicateRecipes3 RetroPlaylistDuration SimpleCalendarAddOneEventRe...
111
111
111
在线测试
雅思写作2
小作文 开头段 线性图 the graph/ the line chart 柱状图 the bar chart 饼图 the pie chart 动词 shows=illustrates 不用抄below 数据对象 数值和百分比都可以用 the figure for 固定搭配 数值 the number of 或者 the amount of 百分比 the proportion of 或者 the percentage of 或者 the share of 地点和时间 先地点后时间 overview overall，over/during this period，while the number of X decreased， the popularity of X increased to varying degrees ，with ultimately/largely becoming the most favored /popular / preferred choice 升降和极值 主体段 主体段要写两个 第一个主体段，要用as seen...
雅思阅读2
单词与短语 across 横跨 universality 普遍 group setting 指的是社会背景 recording studio 录音棚 pairs of 两人一组 consist 持续的 similar consistent stable disciplines 学科 dominant 主导的 submissive 屈从的 fraternity 社团 take a turn 轮流 mildly insulting 轻微侮辱 be rated as 被认为是 fixed amount of time 限时 做题技巧 from to是例子，例子一般不是答案 读到实验的时候，一般要看实验结论，