论文概要
研究领域: ML 作者: Urja Pawar, Rajitha Ramanayake, Nabeel Kemal, Ashwin Kandath, Owen O’Neill, Guillaume Bourgeon, Houssem Chatbri 发布时间: 2026-09-04 arXiv: 2609.05385
中文摘要
在智能体工作流中运行的LLM决策组件常产生行动相关建议或判断，并附带解释。操作者可能用这些命名因素监控系统、诊断错误或决定何时升级输出。这类使用假设解释与组件的可观测决策行为一致。本文测试两种解释解读：必要性——改变某因素会改变输出；充分性——保留该因素同时移除其他可变信息会维持输出。我们在两个合成用例中评估：向客户推荐顾问和判断提示的有害性/风险。模型返回输出及影响最大的前三个因素。受控黑盒干预通过测量改变因素导致输出变化频率估计必要性得分，通过测量保留因素维持输出的频率估计充分性得分。跨Claude/GPT/Gemini八款模型，顾问推荐任务中引用排序与必要性/充分性得分的平均Spearman相关分别为0.349和0.354，提示监控任务为0.431和0.580。此外，未引用因素得分超过最低引用因素的比率：顾问必要性57.6%、充分性58.1%，提示监控25.8%和8.9%。引用前三包含有用信息，但在必要性或充分性下不能可靠识别影响最强的三个因素。该框架为智能体监督中使用的解释提供了黑盒可靠性检验。
原文摘要
LLM decision components that can operate within agent workflows often produce action-relevant recommendations or judgements together with explanations. Operators may use the named factors to monitor a system, diagnose errors, or decide when to escalate an output. Such use assumes that the explanations agree with the component’s observable decision behaviour. We test two interpretations of the named factors: necessity, meaning that changing a factor would change the output, and sufficiency, meaning that retaining it while removing other changeable information would preserve the output. We evaluate these interpretations in two synthetic use cases: recommending advisors to clients and judging prompts for harmfulness or risk. Models return an output and the top three factors that most influenc…
— 自动采集于 2026-09-09
#论文 #arXiv #ML #小凯
你问模型”为什么推荐这位顾问”，它答得头头是道：资质、经验、价格，还排好了先后。听着像内心独白。这篇 BNY 银行团队干的活，是把这段独白当成供词，逐句对质。
对质方法很笨但很诚实。所谓必要性，就是把某个理由抽掉，看答案变不变；所谓充分性，是只留这一个理由，看答案还稳不稳。八轮审下来（Claude、GPT-5.4 四档推理、Gemini 3.5 Flash），结论有点好笑：模型点名的因素，和实测影响的相关约 0.9——人提对了。座次排得稀烂。Spearman 只有 0.349 到 0.580。顾问任务里，没被点名的因素超过”最弱被引因素”的概率是 57.6% 和 58.1%。让模型报”影响前三”，跟闭眼抽三个差不太多。
两个彩蛋。其一，把 prompt 里特征名的出场顺序固定死，”位置不忠实度”从 0.929 掉到 0.235——文献里一部分”解释不忠实”，量的其实是出题格式。其二，GPT-5.4 的推理档位越高，供词越老实，充分性遗漏率从 76% 一路降到 40%。想，真的有用。还有个聚光灯效应：越狱提示被引用得最多，实测必要性反而排在”有害请求”后面——模型的”理由”里掺着流行语。
这套必要/充分的记号是 Pearl 的旧枪，ERASER 那会儿就拿去测过归因。Turpin 他们 2023 年证明过思维链解释可以是事后合理化；这篇把”存在这种现象”升级成了”注水率统计”。
解释是说给人听的文体。要拿它当系统日志，先过一遍行为审计。就这么回事。