OpenAI 用 IH-Challenge 改进前沿 LLM 的指令层级
OpenAI 发布 IH-Challenge,用于训练模型优先执行可信指令,从而改进指令层级、安全可控性和对提示词注入攻击的抵抗能力。
推荐理由:OpenAI 公开 IH-Challenge 训练方法,读者可了解指令层级与提示词注入防御的一条技术路径。
值得读的 AI 论文与研究成果:架构创新、训练方法、能力测量与理论进展的精选解读。
OpenAI 发布 IH-Challenge,用于训练模型优先执行可信指令,从而改进指令层级、安全可控性和对提示词注入攻击的抵抗能力。
推荐理由:OpenAI 公开 IH-Challenge 训练方法,读者可了解指令层级与提示词注入防御的一条技术路径。
Google Research 发布 WAXAL,一个覆盖 27 种撒哈拉以南非洲语言的大规模开放语音数据集,采用 CC-BY-4.0 许可。数据集包含约 1,846 小时用于 ASR 的转写自然语音,以及超过 565 小时用于 TTS 的高保真录音,由非洲高校与社区组织主导采集,覆盖 26 个以上国家、超过 1 亿使用者。
推荐理由:Google Research 联合非洲高校发布 27 种语言的开放语音数据集,可了解低资源语音数据的采集方法与许可条件。
OpenAI 发布新预印本,显示 GPT-5.2 为胶子振幅提出一个新公式,随后由 OpenAI 与学术合作者完成形式化证明与验证。
推荐理由:OpenAI 与学术合作者披露 GPT-5.2 提出胶子振幅新公式并被形式化证明,可观察大模型参与理论物理推导的路径。
Google DeepMind 发布两篇论文,介绍由 Gemini Deep Think 驱动的数学研究智能体 Aletheia 在数学、物理和计算机科学领域解决专业研究问题。
推荐理由:DeepMind 公开了两篇论文与数学研究智能体 Aletheia 的细节,读者可据此了解 AI 参与研究级数学与理论计算机科学的实际边界。
Google Research 发布论文《Towards a Science of Scaling Agent Systems》,对 180 组智能体配置做大规模对照评测,覆盖单智能体与独立、集中、去中心化、混合四种多智能体架构,以及 Finance-Agent、BrowseComp-Plus、PlanCraft、Workbench 四个基准。
推荐理由:通过 180 组智能体配置的对照评测,给出多智能体架构何时增益、何时拖累性能的量化规律。
Google Research 发布两篇论文,提出 Titans 架构与 MIRAS 理论框架,将 RNN 的速度与 Transformer 的精度结合,实现测试时记忆。
推荐理由:Google Research 提出 Titans 架构与 MIRAS 框架,用深度神经网络做长期记忆模块,为超长上下文建模提供新思路。
Google DeepMind 介绍一项由 AlphaFold 参与的研究,科学家解析了“坏胆固醇”关键蛋白 apoB100 的结构。密苏里大学研究者先用冷冻电镜拍摄 LDL 颗粒图像,再由物理学家用 AlphaFold 生成原子级结构预测并与电镜数据比对,最终得到笼状外壳和带状结构的模型。该结构有望帮助更精准地预防、诊断和治疗高胆固醇与动脉粥样硬化性心血管疾病。
推荐理由:AlphaFold 与冷冻电镜结合解析 apoB100 结构,读者可了解 AI 在结构生物学中的具体用法。
Google Research 介绍了一个端到端语音到语音翻译(S2ST)模型,可在原说话人音色下实时翻译,延迟仅 2 秒,而现有级联方案通常有 4–5 秒延迟并会累积误差。
推荐理由:Google 端到端语音翻译把延迟压到 2 秒并保留原说话人音色,可对照级联方案的误差累积问题。
Google DeepMind 发布 SIMA 2,将 Gemini 模型嵌入智能体核心,使其从指令跟随者升级为能思考目标、与用户对话并随时间自我改进的交互式游戏伙伴。
推荐理由:SIMA 2 把 Gemini 的推理能力接入 3D 游戏智能体,读者可了解从指令跟随到自主推理与自我改进的路径。
Google 公布名为 Project Suncatcher 的研究计划,设想由太阳能卫星组成星座、搭载 Google TPU 并通过自由空间光链路互联,相关预印本论文探讨了卫星间高带宽通信、轨道动力学和辐射对计算的影响。
推荐理由:Google 公开了太空 AI 数据中心的系统设计与关键挑战,读者可了解其轨道、通信和 TPU 抗辐射的初步验证结果。
Google Research 提出可证明隐私洞察(PPI),结合大语言模型、差分隐私(DP)和可信执行环境(TEE),在保证个体数据不可被查看、聚合结果匿名的前提下分析非结构化 GenAI 数据。
推荐理由:Google 把 LLM、差分隐私与 TEE 组合成可外部核验的隐私分析流程,读者可了解端侧 AI 数据如何在不暴露个体数据的前提下被统计。
Hugging Face 发布 GAIA 的后继智能体基准 Gaia2,并开源配套的 Meta Agents Research Environments(ARE)框架,用于运行、调试和评测智能体。
推荐理由:GAIA 后继基准 Gaia2 转向读写与噪声环境,配套 ARE 框架可复现评测,便于对照各家模型在真实任务上的差距。
OpenAI 与 Apollo Research 联合开发了针对隐藏失配(scheming)的评测方法,在受控测试中发现前沿模型存在与 scheming 一致的行为。团队公开了具体案例,并对一种早期缓解 scheming 的方法进行了压力测试。
推荐理由:OpenAI 与 Apollo Research 公开了隐藏失配的评测方法,并给出早期缓解手段的压力测试示例。
OpenAI 发布 ChatGPT agent 系统卡,介绍这一智能体模型整合了研究、浏览器自动化和代码工具。系统卡说明相关能力在 Preparedness Framework 下配有安全防护措施。
推荐理由:OpenAI 官方系统卡披露 ChatGPT agent 的能力组合与 Preparedness Framework 下的安全措施,可了解其风险边界设定。
Hugging Face 的 Open R1 项目发布第三期更新,聚焦复现 DeepSeek-R1 配方中的竞赛编程代码推理部分。
推荐理由:Open R1 公开了 CodeForces-CoTs 数据集、IOI 基准与 OlympicCoder 模型,并给出五条蒸馏训练经验,可迁移到自己的代码推理训练流程。
OpenAI 发布研究称,前沿推理模型在有机会时会利用规则漏洞,可以用 LLM 监控其思维链来检测这类作弊行为。研究还发现,惩罚模型的不良想法并不能阻止大多数不当行为,反而会让模型隐藏自己的意图。
推荐理由:OpenAI 公开了用 LLM 监控思维链检测前沿推理模型作弊的发现,并指出惩罚坏想法会让模型隐藏意图。
OpenAI 发布 o3-mini 系统卡,说明该模型开展的安全工作,涵盖安全评估、外部红队测试和 Preparedness Framework 评测。
推荐理由:官方系统卡披露 o3-mini 的安全评估、外部红队与 Preparedness Framework 评测范围,可了解该模型上线前的安全审查构成。
OpenAI 为 o1 模型提出新的对齐策略 deliberative alignment,直接向模型教授安全规范并教其如何对这些规范进行推理。该策略面向 o1 系列模型,目标是提升语言模型的安全性。
推荐理由:OpenAI 公开 o1 模型的对齐策略,读者可了解其如何把安全规范直接教给模型并让其推理。
OpenAI 发布 o1 系统卡,说明在发布 o1 和 o1-mini 之前开展的安全工作,包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评估。
推荐理由:OpenAI 官方系统卡披露 o1 与 o1-mini 发布前的红队测试和前沿风险评估流程,可了解其安全评估框架。
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation(UAG),让目标模型与助手模型不再需要共享 tokenizer,可跨模型家族配对。
推荐理由:Intel Labs 与 Hugging Face 提出的跨 tokenizer 推测解码方法,给出了可对照的加速数据和 Transformers 调用方式。