OpenAI 分享 ChatGPT 负责任与安全使用 AI 的最佳实践
OpenAI 发布指南，介绍使用 ChatGPT 等工具时在安全、准确性和透明度方面的最佳实践，以帮助用户负责任地使用 AI。
#安全/对齐
#安全/对齐
今日 0 条OpenAI NewsAI 评分88
OpenAI NewsAI 评分3838 OpenAI 发布 Child Safety Blueprint 儿童安全蓝图
OpenAI 发布 Child Safety Blueprint，一套面向 AI 负责任开发的路线图，涵盖安全防护措施、适龄设计和多方协作，目标是保护并赋能年轻人在线使用 AI。
OpenAI NewsAI 评分4040 OpenAI 宣布推出 OpenAI Safety Fellowship
OpenAI 宣布推出 Safety Fellowship，这是一个支持独立安全与对齐研究的试点项目，同时致力于培养下一代人才。
Google ResearchAI 评分3838 Google Research 评估 LLM 行为倾向与人类的对齐程度
Google Research 提出一套框架，用改编自 IRI、ERQ 等心理学问卷的情境判断测试（SJT），在真实用户-助手场景中评估 LLM 行为倾向与人类共识的对齐程度。对 25 个 LLM 的大规模分析发现两类差距：模型倾向偏离人类标注者共识，以及在无共识时无法覆盖人类意见的分布范围。
Google Research精选AI 评分6666 Google Quantum AI 发布白皮书：披露量子计算机破解加密货币加密的资源估算
Google Quantum AI 发布白皮书，给出破解 256 位椭圆曲线离散对数问题（ECDLP-256）的更新资源估算：两个 Shor 算法量子电路分别使用不到 1。
推荐理由：Google Quantum AI 给出破解 ECDLP-256 的更新资源估算，并说明用零知识证明确认结论的披露方式。
Google DeepMind精选AI 评分6262 Google DeepMind 发布 AI 有害操纵评测工具包
Google DeepMind 发布关于 AI 有害操纵的研究，称其为首个经实证验证的评测工具包，并公开运行同类人类被试研究所需的全部材料。研究覆盖英国、美国、印度逾 1 万名参与者，开展九项研究，聚焦金融与健康等高风险场景；结果显示 AI 在健康话题上的有害操纵效果最弱，且某一领域的成功无法预测另一领域。
推荐理由：Google DeepMind 公开了首个经实证验证的 AI 有害操纵评测工具包，读者可了解其研究设计与公开材料。
OpenAI NewsAI 评分2222 OpenAI 解读其 Model Spec 方法论
OpenAI 的 Model Spec 是一套公开的模型行为框架，在 AI 系统不断进步的过程中平衡安全、用户自由与责任归属。该框架面向公众开放，用于规范模型行为。
OpenAI News精选AI 评分6060 OpenAI 推出安全漏洞赏金计划
OpenAI 推出 Safety Bug Bounty 计划，用于识别 AI 滥用与安全风险，覆盖范围包括智能体漏洞、提示注入和数据外泄。
推荐理由：OpenAI 官方公布安全漏洞赏金计划，读者可了解其覆盖的智能体漏洞与提示注入等风险范围。
OpenAI NewsAI 评分2929 OpenAI 为开发者发布基于提示词的青少年安全策略，适配 gpt-oss-safeguard
OpenAI 面向使用 gpt-oss-safeguard 的开发者发布基于提示词的青少年安全策略，用于在 AI 系统中审核针对不同年龄段的特定风险。
OpenAI NewsAI 评分4242 OpenAI 如何为 Sora 2 与 Sora 应用构建安全基础
OpenAI 针对先进视频模型与新型社交创作平台带来的安全挑战，在 Sora 2 和 Sora 应用的构建中以安全为基础，其方法以具体防护措施为支撑。
OpenAI NewsAI 评分3838 OpenAI 如何用思维链监控内部编程智能体的失准行为
OpenAI 采用思维链监控（chain-of-thought monitoring）研究内部编程智能体的失准问题，通过分析真实部署环境来检测风险并强化 AI 安全保障措施。
OpenAI NewsAI 评分2626 OpenAI Japan 发布日本青少年安全蓝图，强化年龄保护与家长控制
OpenAI Japan 发布日本青少年安全蓝图，为使用生成式 AI 的青少年引入更严格的年龄保护、家长控制和身心健康保障措施。
OpenAI NewsAI 评分3535 Codex Security 为何不提供 SAST 报告
OpenAI 详解 Codex Security 为何不依赖传统 SAST，而是用 AI 驱动的约束推理与验证来发现真实漏洞，减少误报。
OpenAI NewsAI 评分3838 OpenAI 如何设计 AI 智能体抵御提示词注入
OpenAI 介绍了 ChatGPT 在智能体工作流中抵御提示词注入与社会工程攻击的设计思路：通过限制高风险操作、保护敏感数据来降低风险。
OpenAI News精选AI 评分6262 OpenAI 用 IH-Challenge 改进前沿 LLM 的指令层级
OpenAI 发布 IH-Challenge，用于训练模型优先执行可信指令，从而改进指令层级、安全可控性和对提示词注入攻击的抵抗能力。
推荐理由：OpenAI 公开 IH-Challenge 训练方法，读者可了解指令层级与提示词注入防御的一条技术路径。
OpenAI News精选AI 评分6262 OpenAI 收购 AI 安全平台 Promptfoo
OpenAI 宣布收购 AI 安全平台 Promptfoo，该平台帮助企业在开发阶段识别并修复 AI 系统中的漏洞。
推荐理由：OpenAI 收购 AI 安全平台 Promptfoo，读者可据此了解其在企业 AI 安全测试环节的布局。
OpenAI NewsAI 评分4242 OpenAI 研究：推理模型难以控制其思维链，而这正是好事
OpenAI 提出 CoT-Control，发现推理模型难以控制自身的思维链，这反而强化了可监控性作为 AI 安全保障的价值。
OpenAI News精选AI 评分6262 OpenAI 公布与美国国防部（Department of War）的合同细节
OpenAI 公布其与 Department of War 的合同细节，内容涵盖安全红线、法律保护条款，以及 AI 系统在涉密环境中的部署方式。
推荐理由：OpenAI 官方披露与国防部门合同的边界设定，可了解 AI 进入涉密环境的合规与部署约束。
OpenAI NewsAI 评分4040 OpenAI 更新心理健康相关工作：家长控制、可信联系人、痛苦检测与诉讼进展
OpenAI 更新其心理健康安全相关工作，涵盖家长控制、可信联系人、改进的痛苦检测，以及近期诉讼进展。
OpenAI NewsAI 评分2525 OpenAI 发布 2026 年 2 月威胁报告：剖析 AI 模型的恶意使用
OpenAI 最新威胁报告剖析了恶意行为者如何将 AI 模型与网站、社交平台结合使用，并探讨这对检测与防御意味着什么。报告聚焦于这类组合式滥用手法的识别与应对。
OpenAI NewsAI 评分2222 OpenAI 向 The Alignment Project 投入 750 万美元，推进 AI 对齐独立研究
OpenAI 承诺向 The Alignment Project 投入 750 万美元，用于资助独立的 AI 对齐研究，以加强全球应对 AGI 安全与安保风险的努力。
OpenAI NewsAI 评分3636 OpenAI 与 Paradigm 推出 EVMbench：评估 AI 智能体发现、修补与利用智能合约漏洞的能力
OpenAI 与 Paradigm 联合推出 EVMbench，用于评估 AI 智能体检测、修补和利用高危智能合约漏洞的能力。该基准聚焦高严重性漏洞，覆盖发现、修复与攻击三类任务。
OpenAI News精选AI 评分6060 OpenAI 在 ChatGPT 中推出 Lockdown Mode 与 Elevated Risk 标签
OpenAI 在 ChatGPT 中推出 Lockdown Mode 和 Elevated Risk 标签，帮助组织防御提示词注入和 AI 驱动的数据外泄。官方仅给出这两项功能的名称与防护目标，未披露具体机制和可用范围。
推荐理由：OpenAI 在 ChatGPT 中新增面向组织的提示词注入与数据外泄防护选项，可了解其安全边界思路。
OpenAI NewsAI 评分4545 OpenAI 推出 Trusted Access for Cyber
OpenAI 推出 Trusted Access for Cyber，一个基于信任的框架，在扩大前沿网络安全能力访问权限的同时加强对滥用的防护。
Google Research精选AI 评分6262 Google 与 Included Health 合作开展全国性随机研究，评估真实虚拟诊疗中的对话 AI
Google 宣布与 Included Health 合作，待 IRB 批准后启动一项全国性前瞻性随机对照研究，在真实虚拟诊疗流程中评估对话 AI 的表现。
推荐理由：Google 与 Included Health 将开展全国随机对照研究，读者可了解医疗对话 AI 从模拟走向真实临床的评估路径。
OpenAI NewsAI 评分5050 OpenAI 封禁利用 AI 支持浪漫骗局的账号
OpenAI 封禁了一批利用 AI 支持浪漫骗局工作流的账号，这些账号将 AI 用于接触目标、翻译、与受害者互动以及投资诈骗诱饵。
OpenAI NewsAI 评分5858 OpenAI 封禁与俄罗斯关联的“Trolling Stone”舆论影响行动账号
OpenAI 封禁了一批与一项此前未被报道的行动相关的账号，该行动被其命名为“Trolling Stone”。这些账号利用 AI 生成关于一名据称俄罗斯邪教领袖在阿根廷被捕的评论内容。
OpenAI NewsAI 评分4040 OpenAI 封禁柬埔寨来源账号：用 AI 冒充追损服务与执法机构
OpenAI 封禁了一批很可能源自柬埔寨的账号，这些账号用 AI 冒充追损服务、律所和执法机构，专门针对诈骗受害者下手。该行动被命名为“False Witness”。
OpenAI NewsAI 评分5555 OpenAI 封禁与中国执法相关人员关联的账号
OpenAI 封禁了一个与中国执法相关人员关联的账号，该账号利用 AI 策划影响力活动、骚扰和线上行动。
OpenAI NewsAI 评分4242 OpenAI 封禁与 Rybar 网络关联的账号：俄罗斯来源内容农场利用 AI 开展多语言影响活动
OpenAI 封禁了与 Rybar 网络关联的账号，其中部分账号可能源自俄罗斯，这些账号利用 AI 在网站和社交平台上支持多语言影响活动。
OpenAI NewsAI 评分5050 OpenAI 封禁疑似源自柬埔寨的 AI 诈骗账号，目标为印尼交友用户
OpenAI 封禁了一批很可能源自柬埔寨的账号，这些账号利用 AI 对印尼交友用户实施诈骗，包括翻译和互动。该行动被命名为“Date Bait”。
OpenAI NewsAI 评分4747 OpenAI 封禁“No Bell”行动相关账号
OpenAI 封禁了一批与代号“No Bell”行动相关的账号，该行动疑似源自俄罗斯，此前未被报道。这些账号利用 AI 面向非洲受众生成批评美国及其盟友的内容。
OpenAI NewsAI 评分4040 OpenAI 封禁疑似中国来源账号：利用 AI 研究美国人员与社工手法
OpenAI 封禁了一批疑似中国来源的账号，这些账号利用 AI 研究美国人员、地点及社会工程学手法。
OpenAI NewsAI 评分88 OpenAI 启动 EMEA 青年与福祉资助计划
OpenAI 开放 EMEA Youth & Wellbeing Grant 申请，该项目总额 50 万欧元，用于资助在 AI 时代推进青少年安全与福祉的非政府组织和研究人员。
OpenAI NewsAI 评分3030 OpenAI 如何保障 AI 智能体点击链接时的数据安全
OpenAI 说明了 AI 智能体打开链接时如何保护用户数据，通过内置防护机制防止基于 URL 的数据外泄和提示词注入。
OpenAI NewsAI 评分3838 OpenAI 为 ChatGPT 推出年龄预测功能
ChatGPT 正在推出年龄预测功能，用于判断账号用户是否年满 18 岁，并对青少年账号应用相应保护措施。OpenAI 表示该功能的准确性将随时间推移持续优化。
Hugging Face BlogAI 评分5252 ServiceNow 发布 AprielGuard：面向 LLM 智能体系统的 8B 安全护栏模型
ServiceNow 发布 AprielGuard，一个 8B 参数的安全与安全防护模型，可检测 16 类安全风险以及提示词注入、越狱、思维链污染、上下文劫持、记忆投毒和多智能体攻击序列等对抗攻击。
OpenAI NewsAI 评分3232 OpenAI 发布思维链可监控性评估框架与评测套件
OpenAI 推出面向思维链可监控性的新框架与评测套件，覆盖 24 种环境下的 13 项评估。结果显示，监控模型内部推理远比仅监控输出更有效，为 AI 系统能力提升后的可扩展控制提供了可行路径。
OpenAI NewsAI 评分3131 OpenAI 更新 Model Spec，为 ChatGPT 加入未成年人保护原则
OpenAI 更新 Model Spec，新增 Under-18 Principles，规定 ChatGPT 应基于发展科学为青少年提供安全、适龄的引导。此次更新强化了防护栏，并明确了模型在更高风险情境下的预期行为，是其改善 ChatGPT 青少年安全整体工作的一部分。
OpenAI NewsAI 评分2222 OpenAI 推出面向青少年与家长的 AI 素养资源
OpenAI 发布面向青少年与家长的 AI 素养资源，帮助其更审慎、安全且有信心地使用 ChatGPT。指南包含经专家审核的建议，涵盖负责任使用、批判性思维、健康边界，以及如何支持青少年应对情绪或敏感话题。