OpenAI 发布 deep research 系统卡
OpenAI 发布 deep research 系统卡，说明该功能发布前开展的安全工作，包括外部红队测试、依据 Preparedness Framework 进行的前沿风险评估，以及针对关键风险领域构建的缓解措施概览。
推荐理由：OpenAI 公开 deep research 发布前的安全评估流程，可了解外部红队与 Preparedness Framework 如何落地。
安全对齐
全部主题AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
最新精选
第 41–55 条 · 共 55 条OpenAI News精选AI 评分6262
OpenAI News精选AI 评分6262 OpenAI 发布 o3-mini 系统卡
OpenAI 发布 o3-mini 系统卡，说明该模型开展的安全工作，涵盖安全评估、外部红队测试和 Preparedness Framework 评测。
推荐理由：官方系统卡披露 o3-mini 的安全评估、外部红队与 Preparedness Framework 评测范围，可了解该模型上线前的安全审查构成。
OpenAI News精选AI 评分6060 OpenAI 提出审议式对齐：推理让语言模型更安全
OpenAI 为 o1 模型提出新的对齐策略 deliberative alignment，直接向模型教授安全规范并教其如何对这些规范进行推理。该策略面向 o1 系列模型，目标是提升语言模型的安全性。
推荐理由：OpenAI 公开 o1 模型的对齐策略，读者可了解其如何把安全规范直接教给模型并让其推理。
OpenAI News精选AI 评分6262 OpenAI 发布 o1 系统卡
OpenAI 发布 o1 系统卡，说明在发布 o1 和 o1-mini 之前开展的安全工作，包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评估。
推荐理由：OpenAI 官方系统卡披露 o1 与 o1-mini 发布前的红队测试和前沿风险评估流程，可了解其安全评估框架。
Hugging Face Blog精选AI 评分6262 Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 发布 SynthID Text 文本水印
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text，可通过 logits processor 为 AI 生成文本加水印，并用分类器检测。
推荐理由：Google DeepMind 与 Hugging Face 把文本水印做成 Transformers 里的可调用组件，读者可据此了解生成内容溯源的具体做法与边界。
OpenAI News精选AI 评分6262 OpenAI 发布 GPT-4o 系统卡
OpenAI 发布 GPT-4o 系统卡，用于说明该模型在安全与风险方面的评估情况。原文正文未能抓取，具体评估内容与结论暂无法确认。
Hugging Face Blog精选AI 评分6262 Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充 Gemma 模型系列，新增 2.6B 参数的 Gemma 2 2B（含 base 与指令微调版）、安全分类器 ShieldGemma 以及稀疏自编码器套件 Gemma Scope。
推荐理由：Google 一次补齐 Gemma 2 的小尺寸、安全分类器和可解释性工具，读者可据此判断端侧部署与内容审核的可用选项。
Hugging Face Blog精选AI 评分6262 Hugging Face 披露 Spaces secrets 遭未授权访问并更新安全措施
Hugging Face 本周检测到 Spaces 平台遭未授权访问，涉及 Spaces secrets，怀疑部分 secrets 可能被未授权读取。作为处置，官方已撤销这些 secrets 中的部分 HF token 并邮件通知相关用户，建议用户刷新密钥或 token 并改用细粒度访问 token。
推荐理由：官方披露 Spaces secrets 遭未授权访问及已采取的处置措施，可了解平台安全策略的调整方向。
OpenAI News精选AI 评分6060 OpenAI 封禁以色列相关影响力行动 Zero Zeno 账号
OpenAI 封禁了一批与一个此前未被报道的以色列来源行动相关的账号，该行动被其命名为 Zero Zeno。这些账号使用 AI 生成反哈马斯、反卡塔尔、亲以色列、反印度人民党以及亲以色列总工会（Histadrut）的内容。
推荐理由：OpenAI 披露其封禁的以色列相关影响力行动，可了解平台对 AI 生成政治内容的处置口径。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布开源模型 Constitutional AI 完整配方
Hugging Face 发布用开源模型实现 Constitutional AI 的端到端配方，并开源 llm-swarm 工具，基于 TGI 和 vLLM 在 Slurm 集群上做可扩展合成数据生成。
推荐理由：Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方，含数据集、模型与评测对比，可迁移到自定义价值观对齐。
OpenAI News精选AI 评分6060 OpenAI 启动 1000 万美元 Superalignment Fast Grants 资助计划
OpenAI 宣布投入 1000 万美元设立 Superalignment Fast Grants，资助面向超人类 AI 系统对齐与安全的技术研究。资助方向包括弱到强泛化、可解释性和可扩展监督等。
推荐理由：OpenAI 出资 1000 万美元资助超人类 AI 对齐研究，可了解其关注的具体技术方向。
OpenAI News精选AI 评分6262 OpenAI 发布 DALL·E 3 系统卡
OpenAI 发布 DALL·E 3 系统卡，用于说明该图像生成模型在安全与对齐方面的评估情况。原文正文未能抓取，具体评估内容暂不可见。
OpenAI News精选AI 评分7878 OpenAI 发布 InstructGPT，成为 API 默认语言模型
OpenAI 训练出比 GPT-3 更能遵循用户意图的语言模型 InstructGPT，同时更真实、毒性更低，采用对齐研究中的人类反馈方法。这些模型现已作为 OpenAI API 的默认语言模型部署。
推荐理由：OpenAI 官方说明 InstructGPT 通过人类反馈训练，在遵循用户意图、真实性和毒性控制上优于 GPT-3，并已成为 API 默认模型。
OpenAI News精选AI 评分6262 OpenAI 联合多家机构发布 AI 恶意使用预测论文
OpenAI 与 Future of Humanity Institute、Centre for the Study of Existential Risk、Center for a New American Security。
推荐理由：OpenAI 与多家机构联合预测 AI 被恶意利用的路径，并给出预防与缓解思路。
OpenAI News精选AI 评分6262 OpenAI 与 DeepMind 合作提出从人类偏好中学习的方法
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类判断两种候选行为哪个更好，来推断人类想要什么。OpenAI 表示，构建安全 AI 系统的一步是免去人类编写目标函数的需要，因为用简单代理替代复杂目标或把复杂目标写偏一点，都可能导致不良甚至危险的行为。
推荐理由：OpenAI 与 DeepMind 安全团队合作提出用人类偏好比较替代手写目标函数，可了解早期对齐研究的一条思路。