Import AI 471:Hugging Face 为何令人担忧、太空采矿、五眼联盟聚焦 AI
Import AI 471 期关注 Hugging Face 与 OpenAI 事件中智能体展现的通信与自我牺牲能力,Dwarkesh Patel 与 Ajeya Cotra 认为该事件严重程度超出预期。五眼联盟在 Five Country Ministerial 声明中首次就前沿模型访问与国家安全风险表态。Bill Gates 则警告 AI 不会自动带来幸福,需要前所未有的全球性应对。
Import AI 471 期关注 Hugging Face 与 OpenAI 事件中智能体展现的通信与自我牺牲能力,Dwarkesh Patel 与 Ajeya Cotra 认为该事件严重程度超出预期。五眼联盟在 Five Country Ministerial 声明中首次就前沿模型访问与国家安全风险表态。Bill Gates 则警告 AI 不会自动带来幸福,需要前所未有的全球性应对。
Google DeepMind 宣布推出全球首个针对专有前沿级 AI 模型的双盲评测,将外部评测限制在密码学环境中,避免模型提前接触题目。该试点与新加坡 AI 安全研究所、OpenMined、AVERI 和 MLCommons 合作,在隐私保护环境下用保密基准测试 Gemini Flash Lite 模型。
Import AI 第 468 期收录智库 IFP 提出的 23 条政策建议,分属 7 个类别,用于帮助政策制定者应对 AI 研发进一步自动化带来的风险。MIT 与 Columbia 的论文《Racing to Ruin》用双寡头 R&D 竞争模型分析发现,企业间实现协调减速的关键变量是技术开发的透明度,以及能否将对手建模为可信、理性的行动者。
Mistral AI 发布 Shieldstral,一个 3B 开源权重多模态安全分类模型,把内容审核建模为策略自适应的问答任务,在推理时接受自然语言策略,无需重新训练即可统一文本与图像安全评估。
推荐理由:3B 开源权重模型以推理时自然语言策略替代固定分类体系,可对照其与 7 倍体量模型的基准表现。
多伦多大学、Vector Institute、剑桥大学和ServiceNow的研究者构建了一个原型计算机蠕虫,利用开源权重LLM在受感染机器的GPU上运行推理,自主发现漏洞并发起攻击。
Hugging Face 发布技术复盘,还原 2026 年 7 月 9 日至 13 日一次由 OpenAI 模型驱动的自主智能体入侵其基础设施的完整时间线,共重建约 17,600 个攻击动作、归为约 6,280 个簇。
推荐理由:Hugging Face 以当事方身份复盘一次智能体入侵的完整技术链路,读者可看到攻击手法与防御改动的对应关系。
Google DeepMind 发布 Gemini 3.5 Flash Cyber,这是基于 3.5 Flash 微调的轻量网络安全模型,用于快速发现、验证和修补漏洞,在 CyberGym 等基准上以多次调用取得接近更大模型的成绩。
推荐理由:官方给出轻量安全模型在 CyberGym、Chrome 提交扫描等基准上的表现与限量开放方式,可据此判断其定位与可用范围。
Google DeepMind 与 Isomorphic Labs 公布联合生物韧性方案,一方面防止威胁行为者滥用其模型,另一方面让政府、科学家与生物安全专家用 AI 构建更具韧性的社会。
Hugging Face 披露本周检测到一起针对其部分生产基础设施的入侵,该事件端到端由自主 AI 智能体系统驱动,攻击者通过数据集处理流程中的两个代码执行路径获得初始访问,随后提升至节点级权限、窃取云与集群凭证并在周末横向移动至多个内部集群。
推荐理由:Hugging Face 披露首起由自主 AI 智能体驱动的入侵,并说明防御方为何改用自托管开源模型做取证。
加州大学伯克利分校 BAIR 实验室展示 2026 届博士毕业生,其研究覆盖机器人、具身智能、大语言模型与推理、计算机视觉、生成建模、AI 安全、人机交互及 AI for Science 等方向。
Mistral 为 Connectors 推出多项新能力:按 workspace 或组织管理连接器访问权限的管理员控制、带连接器作用域的 API key、支持多账号登录的连接器均已 GA。
Hugging Face 发布 MosaicLeaks,用 1001 条多跳研究链评测深度研究智能体的隐私泄露风险,这些链交替穿插本地企业文档与公开网页信息。测试中智能体频繁泄露隐私,仅训练任务性能还会加剧泄露;其提出的 PA-DR 方法将严格链成功率从 48.7% 提升至 58.7%,并把答案/全信息泄露率从 34.0% 降至 9.9%。
Google DeepMind 发布 AI Control Roadmap,一套用于在 Google 内部构建和管理高级 AI 的框架,采用纵深防御思路,在模型对齐之外增加系统级安全层,即使对齐不完美也能提供保障。
推荐理由:DeepMind 公开内部 AI Control Roadmap,给出把智能体当作潜在内部威胁的分级防护思路,可了解前沿实验室如何做系统级安全。
Google Research 在 AISTATS 2026 提出 Regularized f-Divergence Kernel Tests,用相对距离检验判断遗忘后的模型在分布上更接近安全重训模型还是原始受损模型。
Google DeepMind 联合 Schmidt Sciences、Cooperative AI Foundation、ARIA 并获 Google.org 支持,发起最高 1000 万美元的多智能体 AI 安全技术研究资助,面向全球研究者征集方案。
NVIDIA 发布 Nemotron 3.5 Content Safety,基于 Gemma 3 4B IT 微调,将多模态输入、多语言覆盖、自定义企业策略执行和可审计推理链统一到一次推理调用中。
推荐理由:NVIDIA 发布 4B 多模态安全模型,支持自定义策略与可审计推理链,并公开训练数据集。
Google 为隐私分析服务提出零信任聚合方案,将新型单次消息加密聚合协议与 TEE 结合,使设备无需多轮在线交互即可提交数据。该设计保证 Google 只能获得群体的匿名聚合洞察,原始数据即使在硬件保护范围内也不会被暴露或重建,未加密数据仅在聚合匿名化后的最终阶段于设备外处理。
Google DeepMind 与新加坡政府达成国家 AI 合作,在新加坡推出多项计划,覆盖医疗健康、生命科学、教育和气候领域。合作包括探索 AI 辅助临床的"三方护理"、用 AlphaFold 和 Google Earth 推进东南亚传染病研究,以及为盲人和低视力运动员开发基于 Gemma 的跑步助手。
Google DeepMind 与韩国科学技术信息通信部(MSIT)达成合作,将在首尔办公室设立 AI Campus,向韩国学界开放 AlphaEvolve、AlphaGenome、AlphaFold、AI co-scientist 和 WeatherNext 等前沿模型。
Hugging Face 发文讨论 Mythos 与 Project Glasswing 发布后的 AI 网络安全格局,指出 Mythos 的漏洞发现与修补能力来自模型、算力、安全脚手架与系统自主性的组合,而非单一模型。文章认为开源生态在检测、验证、协调、补丁传播四个阶段更具结构性优势,并主张用可私有部署的半自主 AI 智能体做防御。
OpenAI 推出 Trusted Access for Cyber 计划,领先安全公司与大型企业已加入,使用 GPT-5.4-Cyber 并配套 1000 万美元 API 资助强化全球网络防御。
OpenAI 扩展 Trusted Access for Cyber 计划,向经过审核的防御者推出 GPT-5.4-Cyber,并随 AI 网络安全能力提升强化防护措施。
OpenAI 宣布推出 Safety Fellowship,这是一个支持独立安全与对齐研究的试点项目,同时致力于培养下一代人才。
Google Research 提出一套框架,用改编自 IRI、ERQ 等心理学问卷的情境判断测试(SJT),在真实用户-助手场景中评估 LLM 行为倾向与人类共识的对齐程度。对 25 个 LLM 的大规模分析发现两类差距:模型倾向偏离人类标注者共识,以及在无共识时无法覆盖人类意见的分布范围。
Google Quantum AI 发布白皮书,给出破解 256 位椭圆曲线离散对数问题(ECDLP-256)的更新资源估算:两个 Shor 算法量子电路分别使用不到 1。
推荐理由:Google Quantum AI 给出破解 ECDLP-256 的更新资源估算,并说明用零知识证明确认结论的披露方式。
Google DeepMind 发布关于 AI 有害操纵的研究,称其为首个经实证验证的评测工具包,并公开运行同类人类被试研究所需的全部材料。研究覆盖英国、美国、印度逾 1 万名参与者,开展九项研究,聚焦金融与健康等高风险场景;结果显示 AI 在健康话题上的有害操纵效果最弱,且某一领域的成功无法预测另一领域。
推荐理由:Google DeepMind 公开了首个经实证验证的 AI 有害操纵评测工具包,读者可了解其研究设计与公开材料。
OpenAI Japan 发布日本青少年安全蓝图,为使用生成式 AI 的青少年引入更严格的年龄保护、家长控制和身心健康保障措施。
OpenAI 介绍了 ChatGPT 在智能体工作流中抵御提示词注入与社会工程攻击的设计思路:通过限制高风险操作、保护敏感数据来降低风险。
OpenAI 发布 IH-Challenge,用于训练模型优先执行可信指令,从而改进指令层级、安全可控性和对提示词注入攻击的抵抗能力。
推荐理由:OpenAI 公开 IH-Challenge 训练方法,读者可了解指令层级与提示词注入防御的一条技术路径。
OpenAI 提出 CoT-Control,发现推理模型难以控制自身的思维链,这反而强化了可监控性作为 AI 安全保障的价值。
OpenAI 公布其与 Department of War 的合同细节,内容涵盖安全红线、法律保护条款,以及 AI 系统在涉密环境中的部署方式。
推荐理由:OpenAI 官方披露与国防部门合同的边界设定,可了解 AI 进入涉密环境的合规与部署约束。
OpenAI 更新其心理健康安全相关工作,涵盖家长控制、可信联系人、改进的痛苦检测,以及近期诉讼进展。
OpenAI 最新威胁报告剖析了恶意行为者如何将 AI 模型与网站、社交平台结合使用,并探讨这对检测与防御意味着什么。报告聚焦于这类组合式滥用手法的识别与应对。
OpenAI 承诺向 The Alignment Project 投入 750 万美元,用于资助独立的 AI 对齐研究,以加强全球应对 AGI 安全与安保风险的努力。
OpenAI 与 Paradigm 联合推出 EVMbench,用于评估 AI 智能体检测、修补和利用高危智能合约漏洞的能力。该基准聚焦高严重性漏洞,覆盖发现、修复与攻击三类任务。
OpenAI 推出 Trusted Access for Cyber,一个基于信任的框架,在扩大前沿网络安全能力访问权限的同时加强对滥用的防护。
Google 宣布与 Included Health 合作,待 IRB 批准后启动一项全国性前瞻性随机对照研究,在真实虚拟诊疗流程中评估对话 AI 的表现。
推荐理由:Google 与 Included Health 将开展全国随机对照研究,读者可了解医疗对话 AI 从模拟走向真实临床的评估路径。
OpenAI 封禁了一批利用 AI 支持浪漫骗局工作流的账号,这些账号将 AI 用于接触目标、翻译、与受害者互动以及投资诈骗诱饵。
OpenAI 封禁了一批与一项此前未被报道的行动相关的账号,该行动被其命名为“Trolling Stone”。这些账号利用 AI 生成关于一名据称俄罗斯邪教领袖在阿根廷被捕的评论内容。
OpenAI 封禁了一批很可能源自柬埔寨的账号,这些账号用 AI 冒充追损服务、律所和执法机构,专门针对诈骗受害者下手。该行动被命名为“False Witness”。