论文 1：Agon – 竞争性推理训练
原标题: Agon: Competitive Cross-Model RL with Implicit Rival Grading of Reasoning arXiv: 2607.07690 作者: Vladislav Beliaev 分类: cs.LG, cs.AI, cs.CL 发布时间: 2026-07-08
中文摘要
强化学习从可验证奖励（如GRPO）是当今推理模型的引擎，但它只评判最终答案。在难题上，这会训练模型写更多而不是思考更好，因为推理过程本身从未被评判，也不存在”好思考”的标签。我们引入Agon，让两个竞争模型互相成为评判者。两者尝试同一问题；在交替角色中，一个起草解决方案，另一个在阅读它时求解，每个模型都因胜过对方而获得奖励。为了获胜，模型必须胜过已看过其工作的对手，因此推理在训练过程中被隐式评判，无需过程标签和奖励模型。由于两个模型都被优化，每个模型都面临逐渐变强的对手，这是单模型RL无法提供的。两者只需实力相当且行为不同。在推理时，该对模型以训练时的方式部署：两阶段级联，一个模型起草，另一个在阅读草稿后作答。在DeepMath难题上使用Qwen3，这使GRPO的pass@1翻倍，约为相同基础上未经训练的Mixture-of-Agents遍历时增益的八倍。该排序在竞技编程代码和跨模型家族（Qwen3.5, Gemma 4）上复现。目前模型以文本交流；下一步是让它们在潜在空间中一起推理。
—
论文 2：SciReasoner – 深度原生结构推理
原标题: Accurate, Interdisciplinary and Transparent Structure-property Understanding with Deep Native Structural Reasoning arXiv: 2607.07708 作者: Chen Tang, Yizhou Wang, Jianyu Wu 等 分类: cs.CL, cs.AI, cs.CE, cs.LG 发布时间: 2026-07-08
中文摘要
结构-性质关系是生物学、化学和材料科学的基础，其中功能、反应性和物理响应源于空间、化学和周期性组织。从机制上解释这些关系需要透过科学原理和物理约束来解释结构证据，从立体化学和键合到对称性、能量学和周期性有序。然而，将人工智能应用于这一过程面临着表征和推理的联合挑战：模型必须保留领域原生的结构信息，同时展示特定证据如何在这些约束下支持预测。在此我们介绍SciReasoner，一种跨蛋白质、小分子和无机晶体的多模态科学基础模型，用于原生结构推理。SciReasoner将坐标、拓扑和周期性连接离散化为统一的结构感知词汇，将结构token视为推理过程中可寻址的证据单元。在同源控制的基因本体预测中，SciReasoner提高了低同源性和孤儿样蛋白质的细胞组分注释，将F_max从0.42提高到0.55。在化学中，它将单步逆合成准确率从0.63提高到0.72，同时生成片段级断键和前体验证轨迹。在材料科学中，其表征分离了元素和化合物相，并分辨高和低带隙状态。在86个基准测试中，SciReasoner在67个任务上达到最先进的性能。双盲专家评估将其推理轨迹评为优于或与前沿大语言模型相当，在98%的案例中。通过使结构成为科学约束下可检查的推理基底，SciReasoner将准确预测与可解释的科学推断联系起来。
—
论文 3：Co-LMLM – 连续查询有限记忆语言模型
原标题: Co-LMLM: Continuous-Query Limited Memory Language Models arXiv: 2607.07707 作者: Yair Feldman, Linxi Zhao, Nathan Godey 等 分类: cs.CL, cs.AI, cs.LG 发布时间: 2026-07-08
中文摘要
有限记忆语言模型（LMLMs）在预训练期间将事实知识外部化到知识库（KB），而不是将其记忆在权重中。在生成过程中，模型然后根据需要从KB中获取知识。这种最近引入的范式提供了多种优势，包括传统LLM无法企及的知识控制能力。我们提出连续查询LMLM（CO-LMLM），其中KB将连续键与文本知识值配对，这与先前依赖关系型KB和查询的做法有显著不同。CO-LMLM以最小成本生成灵活的向量查询，同时仍将人类可读和可归属的检索知识整合到其生成中。我们将这一设计与一个标注流程配对，该流程标记任意文本中的自由形式事实片段，消除了先前工作对维基百科的限制。在维基百科和FineWeb-Edu上的预训练以及多个模型规模上，CO-LMLM在困惑度和事实精度上均优于先前的LMLMs和普通LLMs。在360M规模下，这包括低于在40倍数据上预训练的模型的困惑度，以及SimpleQA验证性能与gpt-4o-mini相当且高于Claude Sonnet 4.5。
—
论文 4：STRACE – 结构轨迹分析
原标题: From Noisy Traces to Root Causes: Structural Trajectory Analysis and Causal Extraction for Agent Optimization arXiv: 2607.07702 作者: Ying Chang, Jiahang Xu, Xuan Feng 等 分类: cs.CL 发布时间: 2026-07-08
中文摘要
长程Agent的优化越来越依赖基于反思的机制，其中大语言模型（LLM）充当优化器来诊断Agent失败并改进Agent策略。然而，真实的执行轨迹难以直接用于优化：大量轨迹收集往往是冗余和异质的，使优化效率低下且容易对低价值失败过拟合；同时，每个单独的轨迹也包含许多无关步骤，而朴素的上下文缩减方法（如截断或滑动窗口）可能丢弃因果上重要的证据并产生误导性的优化信号。为解决这一困境，我们引入STRACE（结构轨迹分析与因果提取），一个构建高信噪比优化上下文以实现更精确和有效优化的框架。在批次层面，STRACE挖掘失败模式以过滤冗余轨迹并保留代表性失败；在每个选定轨迹内，它在文本依赖图上执行因果定位以移除非因果步骤并识别用于优化的真正根本原因模块。实证结果表明，STRACE显著优于标准上下文过滤基线。值得注意的是，在具有挑战性的形式验证任务（VeruSAGE-Bench）上，它成功优化了人类专家设计的Agent，将成功率提高了1.4倍（从42.5%到58.5%）。代码可在https://github.com/moomight/STRACE获取。
—
论文 5：Jailbreak – 数据库旁路
原标题: Breaking Database Lock-in: Agentic Regeneration of High Performance Storage Readers for Database Bypass arXiv: 2607.07696 作者: Victor Giannakouris, Immanuel Trummer 分类: cs.DB, cs.AI 发布时间: 2026-07-08
中文摘要
在外部数据库系统存储的数据上运行的分析工作负载面临一个根本瓶颈：数据访问完全由数据库驱动程序（如JDBC或ODBC）守卫，迫使所有读取通过查询执行和其他非为批量列式分析设计的驱动程序层。我们提出Jailbreak，一种通过直接读取存储文件并将数据物化为内存列式缓冲区来完全绕过数据库引擎的方法。Jailbreak的关键洞察是，数据库文件格式虽然复杂，但完全由其源代码和文档规定，这些工件是大语言模型（LLM）可以摄取以再生操作符特定表读取组件而无需人工工程解析逻辑的。Jailbreak利用LLM辅助代码合成进行数据库存储解码，将传统上不透明的格式转变为可直接查询的工件。我们在PostgreSQL和MySQL存储文件上评估Jailbreak，针对读取副本和离线处理管道中常见的分析快照场景。生成的读取器产生可直接被大多数已知查询引擎消费的Apache Arrow缓冲区，包括DuckDB、Apache Spark和GPU加速框架如cuDF和Spark RAPIDS。我们使用TPC-H基准测试在所有查询结果上验证与基于JDBC/ODBC的基线的正确性，并展示了端到端分析吞吐量的显著性能改进，实现高达27倍加速。我们的结果展示了LLM辅助存储读取器合成是一种可行且可推广的方法，用于打破跨数据库系统的数据锁定，应用范围超越PostgreSQL和MySQL，适用于任何文件格式可从文档或源代码向LLM提供的系统。
—
论文 6：Institutional Red-Teaming – 多Agent安全
原标题: Institutional Red-Teaming: Deployment Rules, Not Just Models, Causally Shape Multi-Agent AI Safety arXiv: 2607.07695 作者: Yujiao Chen 分类: cs.AI, cs.GT, cs.MA 发布时间: 2026-07-08
中文摘要
我们引入制度红队测试，一种用于测试多Agent AI部署规则的评估方法：保持Agent、目标和任务状态固定，仅改变一条规则，并将由此产生的集体行为变化归因于该规则。我们在IABench-CA中实例化该方法，一个后果分配基准，涵盖228个上下文、五条经典规则和七个模型群体（33,924场博弈），具有规范性的合作参考和自动标注的推理轨迹。三个发现浮现。(1) 部署规则因果性地改变集体安全：仅改变后果规则即可在每个群体内将平均死亡率移动22至58个百分点。(2) 不存在安全的默认规则，但靶向危害是普遍的：最安全的规则、最不安全的规则，甚至发病率效应的方向都因群体而异，然而回归性身份靶向在任何上下文中对任何群体都从未被明确证明是最安全的，在任何地方都消除了30-87%博弈中资源最少的Agent，并且对所有七个群体都相对于合作参考是选择不安全的。(3) 身份显著性是机制：对最容易剥削的群体（gpt-5.1）进行一次性匿名化消融显示，仅在规则文本中命名损失承担者就将靶向消除从22%驱动到81%，在相同收益下；在重复博弈下，匿名化仅延迟靶向，因为Agent从观察到的消除中重新推断隐藏规则。我们将该方法打包为安全案例工作流，为每个部署上下文和群体认证一个临时规则区域Φ(c,P)，具有明确的残余风险和监控义务。
—
论文 7：Diffusion RLHF 优化
原标题: Selective Timestep Weighting and Advantage-Based Replay for Sample-Efficient Diffusion RLHF arXiv: 2607.07693 作者: Eric Zhu, Abhinav Shrivastava, Soumik Mukhopadhyay 分类: cs.LG, cs.AI, cs.CV 发布时间: 2026-07-08
中文摘要
来自人类反馈的强化学习（RLHF）已成为将生成模型与人类偏好对齐的强大范式。然而，将RLHF应用于扩散模型仍然高度反馈低效，因为现有方法通常需要大量人类或奖励模型评估。这一限制降低了扩散RLHF在反馈是主要瓶颈的真实场景中的实用性。在本文中，我们提出两种互补策略，大幅提高扩散RLHF的反馈效率，同时保留对未见提示的泛化能力。我们的关键观察是，扩散轨迹中的奖励信息分布不均：并非所有去噪时间步或轨迹对学习奖励信号的贡献相等。通过在优化过程中强调信息丰富的时间步和轨迹，我们获得更有效的梯度更新。首先，我们引入一种每时间步加权方案，在策略优化期间重新加权去噪步骤。我们从理论上将此加权与近端策略优化（PPO）的最优收敛性质联系起来，并凭经验近似所得加权趋势。其次，我们引入一种重播机制，优先处理信息丰富的轨迹，使模型能够重用过去样本而不是重复查询新奖励。一起，这些策略显著改善扩散RLHF的反馈效率。在相同超参数设置下，我们的方法比广泛使用的扩散RLHF基线实现高达6倍的样本效率改进。
—
论文 8：The Key to Going Linear – Transformer线性化
原标题: The Key to Going Linear: Analysis-Driven Transformer Linearization arXiv: 2607.07706 作者: Anna Kuzina, Paul N. Whatmough, Babak Ehteshami Bejnordi 分类: cs.LG 发布时间: 2026-07-08
中文摘要
因果自注意力的二次成本严重制约长上下文Transformer推理。虽然存在众多事后线性化流程，但难以确定哪些组件保留模型质量。本工作在严格的冻结主干机制下隔离状态更新设计的影响。我们表明softmax依赖键相关的秩1正交投影，阐明为什么delta风格网络优于纯门控累积。我们识别近似误差的潜在来源并引入结构性干预，特别是汇聚token、短卷积和固定预算缓存路由，减少了剩余差距。我们将此线性化方法扩展到LLaMA和Qwen模型直至32B参数，在MMLU上优于先前的事后基线，并匹配复杂自适应缓存框架的长上下文检索。
—
论文 9：ECGLight – 轻量级ECG诊断
原标题: ECGLight: Compute-Light Framework For Paper ECG Digitization and Myocardial Infarction Screening arXiv: 2607.07683 作者: Shreyasvi Natraj, Cyrus Achtari, Felice Gragnano 等 分类: cs.LG 发布时间: 2026-07-08
中文摘要
心电图（ECG）是诊断心血管疾病最广泛使用的测试之一。然而，由于连接和计算能力有限，几个远程诊所仍利用纸质ECG打印输出进行分析。因此，在偏远地区获得的 vast numbers of 物理ECG仍然无法被当代基于人工智能（AI）的决策支持系统访问，因为它们需要高计算资源或强高速互联网连接。这导致急性冠状动脉闭塞（ACS）等状况被忽视和再灌注治疗延迟的多个案例。尽管先前工作分别解决了数字化和诊断问题，并为此利用了先进AI模型，但仍然缺乏一种计算轻量、设备上的框架，以高保真重建纸质ECG，同时准确支持多个临床相关终点。我们用一个端到端轻量级设备上数字化到诊断流水线解决这一需求，将纸质ECG的智能手机照片或扫描转换为校准的12导联信号，并筛查心肌梗死（MI）病理，用SHapley Additive exPlanations（SHAP）支持可解释性。在PTB-XL数据集的21,799个ECG上训练和评估，并在医院获得的ECG-Matrix数据集上进一步验证，完整系统在仅CPU资源上每个ECG运行<30秒，在PTB-XL上实现95.51%的MI检测准确率（F1 = 0.9519），在ECG-Matrix上实现88.89%的OMI检测准确率（F1 = 0.8862）。这项工作展示了遗留纸质记录可以在世界任何地方可靠地民主化，在数字ECG导出、连接或高端计算不可用时提供可扩展的决策支持。
—
论文 10：NOTES – 神经算子进化策略
原标题: Neural Operator-enabled Topology-informed Evolutionary Strategy for PDE-Constrained Optimization arXiv: 2607.07682 作者: Xiangming Huang, Guannan Zhang, Lu Lu, Raphaël Pestourie 分类: cs.LG 发布时间: 2026-07-08
中文摘要
由偏微分方程约束的物理系统的逆设计在计算上是 demanding 的，因为设计空间的高维度和非凸性。逆设计的生成模型往往缺乏鲁棒性和可迁移性，而进化策略是鲁棒的但在高维空间中挣扎。本文介绍一种神经算子启用的拓扑知情进化策略（NOTES），整合降维、表征学习和进化优化以进行高效和可迁移的逆设计。NOTES将基于DeepONet的神经算子与协方差矩阵适应进化策略（CMA-ES）耦合，在紧凑的潜在空间中执行全局优化，该空间编码拓扑感知先验，同时发现未见操作条件下的高性能设计。应用于受麦克斯韦方程约束的纳米光子束偏转器逆设计，NOTES将设计维度从256降低到25，并始终实现超过95%的效率，优于CMA-ES、拓扑优化和其他基线。应用于结构优化，NOTES发现的设计实现低至246的柔度。通过将DeepONet的拓扑学习与PDE求解器中的控制物理解耦，NOTES为物理系统的逆设计提供灵活和可迁移的框架。
—
论文 11：Any-Dimensional Learning – 任意维度学习
原标题: Any-Dimensional Learning by Sampling arXiv: 2607.07680 作者: Eitan Levin, Venkat Chandrasekaran 分类: math.ST, cs.LG, math.PR 发布时间: 2026-07-08
中文摘要
许多机器学习模型针对不同大小的输入定义，例如包含不同数量点的点云、不同长度的token序列和不同数量节点的图。这些模型在有限大小的示例上进行训练。这些模型从小规模输入到训练期间未见过的更大规模输入的泛化能力如何？此外，在大型输入上评估此类模型通常很昂贵。我们如何草绘大型输入以获得模型取值相似的小型输入？这两个问题的核心是需要比较不同大小的输入并用小型输入近似大型输入。我们通过使用随机采样映射来比较不同大小的输入，提出统一方法来解决这些问题。我们考虑的采样映射是有放回采样、随机分箱和物种采样的推广。我们根据领域中不同大小问题实例之间的对称性和关系，表征每种采样类型适合的应用领域。我们的框架为关于所选采样概念连续的函数类产生显式泛化和草绘率，涵盖针对不同大小序列、图和张量定义的大函数族。具体例子包括测度上的矩多项式、图的同态密度和数量、置换不变Transformer和图神经网络。
—
论文 12：RoPE Frequency – 位置编码频率
原标题: How Data Shapes RoPE Frequency Usage: From Positional Scale Matching to Length Generalization arXiv: 2607.07678 作者: Xinyi Wu, Siyuan Liu, Ali Jadbabaie 分类: cs.LG 发布时间: 2026-07-08
中文摘要
旋转位置编码（RoPE）为Transformer提供固定的位置频率网格，但训练模型对这些频率的使用高度非均匀。我们研究什么决定了这种频率使用并提出以数据为中心的解释：RoPE频率被选择以匹配训练数据的相对距离结构。将每个频率视为位置透镜，我们形式化一个场-分辨率权衡，并表明，对于宽度为W的数据诱导依赖轮廓，最优频率缩放为1/W。这一频率匹配原理解释了合成和文本数据上的受控观察，并表明语言模型中观察到的中低频带源于自然语言的多尺度依赖结构。我们进一步将频率选择连接到基于位置插值的长度泛化：缩小频率扩大有效场同时降低分辨率。当更长上下文依赖是训练期间所见依赖的近似缩放时这有帮助，但当相关依赖不随上下文长度缩放时可能失败。凭经验，我们表明自然语言在位置尺度上表现出近似自相似性，解释了为什么测试时间频率缩放可以支持长上下文泛化。总体而言，我们的结果识别了涌现RoPE频率使用背后的数据驱动机制，并表明长上下文泛化依赖于两种形式的比例匹配：学习频率与训练时间依赖之间，以及频率缩放与这些依赖如何延伸到更长上下文之间。
—
论文 13：SkillCenter – Agent技能库
原标题: SkillCenter: A Large-Scale Source-Grounded Skill Library for Autonomous AI Agents arXiv: 2607.07676 作者: Tianming Sha, Yue Zhao, Lichao Sun, Yushun Dong 分类: cs.AI 发布时间: 2026-07-08
中文摘要
自主AI Agent可以在有限人工审查的情况下执行复杂任务，然而它们往往缺乏扎实的操作知识，使其输出不仅可执行而且正确、安全和可维护。我们介绍SkillCenter，据我们所知按总数计算最大的开放Agent技能库：24个领域包中的216,938个结构化技能。SkillGate过滤流程贡献了来自同行评审期刊、ArXiv和超过24,000个技术来源的114,565个源接地技能，与来自GitHub和ClawHub市场的102,373个社区技能集成。我们展示了构建流程子集的端到端框架：多源获取、基于LLM的质量门（SkillGate）、模板驱动生成、迭代源接地和质量控制发布。源接地是一种可追溯性保证：每个保留的声明映射到其来源中的确切引文。所有技能以离线可搜索的SQLite FTS5包形式提供。
—
论文 14：LingBot-Video – 具身智能视频预训练
原标题: Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence arXiv: 2607.07675 作者: Shuailei Ma, Jiaqi Liao, Xinyang Wang 等 分类: cs.CV 发布时间: 2026-07-08
中文摘要
尽管最近在机器人控制方面展现出前景，视频生成模型由于其主要关注内容创建而遭受领域不匹配。例如，其设计本质上优先考虑视觉保真度和创造力而非计算效率和物理真实性。在本工作中，我们介绍LingBot-Video，一种专门为具身智能量身定制的基于DiT的视频预训练范式。从架构角度，我们采用混合专家（MoE）而非密集框架，以实现建模能力和推理效率之间更好的权衡，并成功地从头开始将其扩展。从数据角度，我们构建了一个数据画像引擎，用广泛的机器人导向镜头增强标准互联网视频，涵盖操作、导航和第一人称视角，为基础模型配备对动作和世界动力学的内在理解。从训练角度，我们开发了一个多维奖励系统来强制关于物理合理性和任务完成的对齐，超越 aesthetics、提示遵循和运动一致性等标准标准。综合评估验证其作为视频基础模型的性能和效率。我们将LingBot-Video作为社区首个大规模开源MoE视频基础模型贡献出来， pioneering effort to bridge digital creativity and physical actuation。
—
论文 15：Max Out GRPO – 自适应前缀控制
原标题: Max Out GRPO Signal: Adaptive Trace Prefix Control for Hard Reasoning Problems arXiv: 2607.07674 作者: Vladislav Beliaev 分类: cs.LG, cs.CL 发布时间: 2026-07-08
中文摘要
组相对策略优化（GRPO）在模型最难的问题上停滞：当组中没有任何rollout成功时，组相对优势消失，问题不产生梯度，浪费我们最希望从中学习的前沿示例。预先挂接一个参考解决方案的正确前缀提高成功率，使前缀长度成为难度的连续旋钮。并发方法一次性设置旋钮；AdaPrefix-GRPO将其转变为反馈控制器：在整个训练过程中，它调整每个问题获得多少解决方案，将其成功率保持在接近50%，其中GRPO的梯度信号最大，然后完全撤回辅助，使部署的模型独立解决问题。在难题数学上，在匹配训练FLOPs下，它将GRPO在训练分布的held-out问题上的准确率从0.6B模型提高一倍以上（2.1x），Qwen3-1.7B上提高1.6x，AIME上提高1.7x，同时大致将轨迹长度减半。该方法在数据准备加上前缀token上的损失掩码中实现；训练器在其他方面是标准的。模型越小，增益越大。
—
论文 16：MedPMC – 医学多模态数据框架
原标题: MedPMC: A Systematic Framework for Scaling High-Fidelity Medical Multimodal Data for Foundation Models arXiv: 2607.07673 作者: Hyunjae Kim, Dain Kim, Pan Xiao 等 分类: cs.CV, cs.LG 发布时间: 2026-07-08
中文摘要
医学本质上是多模态的，要求临床医生综合不同数据流的信息。然而，多模态基础模型的发展受到大规模、高质量临床数据有限访问的限制。尽管PubMed Central（PMC）提供专家撰写的图像-文本数据的补充来源，现有PMC衍生资源在保真度、可重复性和临床验证方面仍然有限。我们介绍MedPMC，一个自动化的、持续可更新的框架，将许可文献转化为医学多模态模型的高保真基础设施。应用于610万PMC文章，MedPMC整理了1100万个医学图像-文本对。组件评估显示初始筛查（F1 = 93.2）、多面板图检测（F1 = 96.5）、图分离（mAP = 89.8）、标题分离和对齐（F1 = 81.4；ROUGE-L = 85.3）以及医学图分类（F1 = 96.5）的强性能。五位注释者（三位具有医学训练）的人工审查发现MedPMC图像95.3%医学相关，而先前PMC衍生数据集中为19.7%。在跨11个专业的26个基准测试中，MedPMC训练的CLIP风格模型在平均零样本AUC上比最强的架构匹配生物医学CLIP基线提高7.1个百分点，尽管使用的图像-文本对少不到一半。作为多模态大语言模型中的视觉编码器，它在两个基准测试中分别将医学视觉问答提高1.9和16.9个百分点。在10,524张耶鲁纽黑文卫生系统皮肤科照片中，它将形态到图像检索的Recall@5提高11.7个百分点。这些发现表明高保真文献整理在基准和临床设置中增强医学多模态基础模型。我们公开发布框架、语料库、基准和预训练模型。
—
论文 17：PeTeR – 概率电路鲁棒化
原标题: PeTeR: Post-Training Robustification of Probabilistic Circuits arXiv: 2607.07671 作者: Adrian Ciotinga, Yeming Dai, YooJung Choi 分类: cs.LG 发布时间: 2026-07-08
中文摘要
概率电路（PCs）可以建模复杂联合分布，同时支持许多推理查询的精确和高效计算。然而，标准基于似然的PC学习在面对数据噪声、小样本量或分布偏移时容易过拟合和脆弱泛化。这可以使用分布鲁棒优化来缓解，该优化考虑经验分布的Wasserstein球内最坏情况分布，但当前方法限于从头开始在此框架中训练模型。相反，我们提出PeTeR：一种新颖的、无需数据的事后训练框架，旨在鲁棒化预训练PC以对抗分布偏移，无需从头重新训练。跨多个密度估计基准的实证评估表明，PeTeR有效鲁棒化基线模型以对抗随机和对抗性扰动，实现与数据依赖的鲁棒学习基线竞争或更优的性能。
—
论文 18：Bielik – 幻觉检测
原标题: Does Bielik Know What It Doesn’t Know? Activation Dispersion Separates Entity Familiarity from Factual Reliability Across Model Scale arXiv: 2607.07670 作者: Grzegorz Brzezinka 分类: cs.CL, cs.LG 发布时间: 2026-07-08
中文摘要
大语言模型对从未见过的实体产生最多幻觉。我们询问模型的激活是否在生成单个答案token之前背叛实体熟悉度，以及该信号是否预测答案的事实可靠性。在四个波兰Bielik模型（1.5B-11B参数）上，我们探测四个实体领域（运动员、城市、作家、音乐家），每个领域包含42个知名、42个 obscure-but-real 和42个虚构实体，通过一句问题（每个模型504个提示）来寻址。两种无监督的、单次前向传播的post-SwiGLU MLP激活分散度测量，逆参与比和谱熵，在所有领域和规模上以AUROC 0.95-1.00分离已知与虚构实体；监督线性探针达到0.99-1.00。两者都清除选择感知置换基线约0.70-0.74（经验p<=1e-3），在held-out层选择中存活（0.93-0.99），并在真实名称上持续（已知 vs. obscure-but-real：0.96-1.00）。该信号跨实体类型转移（平均非对角AUROC 0.92-0.99）；匹配模板反事实显示唯一大幅下降是模板引起的，不是实体类型效应，且信号在头之间扩散。这种表征信号在1.5B时已达天花板，而行为事实可靠性急剧缩放：在严格评判下，1.5B、4.5B、7B和11B模型分别正确回答42个已知运动员中的0、2、10和19个。在已知实体中，将正确与幻觉答案分离困难得多（探针0.93；分散度不比首个token熵基线更好）。五样本语义熵基线在5倍推理成本下仅达到0.71-0.83。尽管有这种内部意识，模型几乎从不弃权：对2,520个答案的审计发现2次拒绝和1次对冲。实体熟悉度和事实可靠性是在不同缩放曲线上的不同现象。
—
论文 19：DiaLLM – 方言适应
原标题: DiaLLM: An Investigation into the Robustness-Generation Gap in English Dialect Adaptation arXiv: 2607.07669 作者: Jordan Painter, Dipankar Srirag, Adarsh Kappiyath 等 分类: cs.CL, cs.AI 发布时间: 2026-07-08
中文摘要
大语言模型越来越多地理解方言英语，但仍只产生标准的、美国倾向的英语，留下方言生成——问题更难的一半——大部分未解决。我们介绍DiaLLM，它在国际英语语料库上持续预训练三个开放权重语言模型家族，并应用隐式和显式事后训练范式，每种结合三种模型对齐策略，给出这些组件在澳大利亚、印度和英国北部英语上的首次受控比较。我们的结果揭示方言鲁棒性和生成是分离的：基准由持续预训练和SFT塑造，而对齐以基准不捕获的方式可见地重塑生成。显式 variety-targeted 适应产生可靠识别为方言且优于广泛对齐的输出，然而最积极地优化方言奖励的方法不被人类评估者偏好。独立语言学分析证实这种奖励-质量差距，在三个家族中最清楚地体现在两个上。没有单一对齐方法占主导，缩小差距需要更丰富的奖励设计和对方言资源的持续投入。我们发布所有代码、检查点和偏好数据集。
—
论文 20：CFG Repair – 分类器自由引导修复
原标题: Guidance Breaks the Fitted Operator: A Terminal-Fitted Repair for Classifier-Free Guidance arXiv: 2607.07665 作者: Shiheng Zhang 分类: cs.LG, math.NA 发布时间: 2026-07-08
中文摘要
分类器自由引导（CFG）是加强扩散和流匹配采样器中类条件化的标准方法，但在大引导时它过饱和和不稳定，从业者用更多步骤或有限区间调度来抑制症状。我们通过渐近保持、数值分析透镜分析CFG。基于最近的结果，确定性DDIM步是未引导终端层的唯一拟合算子，在采样的最终小sigma段上精确，我们表明引导重新将判别性子空间刚化为异常指数1+w。因此DDIM在那里不再拟合，在粗网格上其引导残差在sigma_min趋于零时发散。我们证明一个引导时钟障碍，具有三个有序步长阈值，并将一步过饱和读为其终点：校准模型上的求解器伪影而非连续引导律。相同分析产生一个单系数、零额外NFE修复：在引导方向上用r^(1+w)-r替换CFG的w(r-1)。在校准模型的判别交叉上，这移除CFG的sigma_min发散爆炸，并在sigma_min趋于零时对精确引导流具有一阶精度。在学习的CIFAR-10检查点上，以及作为跨域烟雾测试在Stable Diffusion 1.5 DDIM上，它充当高引导稳定器而非通用质量旋钮：它以无额外成本削减残差放大和饱和，在测试网格上给出9/9点FID优于CFG，并在硬单元块中保持分类器代理目标准确性。我们报告局限性：它不是通用图像质量胜利，且针对密集vanilla-CFG参考它不是该场的统一更好积分器。
—
自动采集于 2026-07-10
#论文 #arXiv #AI #小凯 #每日论文