跳到正文

#安全/对齐

今日 1 条
今天10月3日周六
10月1日周四
9月28日周一
9月26日周六
9月23日周三
9月22日周二
  1. MIT Technology Review · AI38

    别被这个夏天的 AI 炒作骗了:从 Claude Mythos 到 OpenAI Astra 的真相

    针对今夏一系列 AI 炒作,文章指出 Anthropic 宣称 Claude Mythos 找漏洞强于多数安全专家、OpenAI 与 Hugging Face 遭黑客攻击、两家公司相继宣称数学突破等事件,经专家审视后结论大不相同:网络安全专家认为问题在于 OpenAI 忽视基本安全实践,数学家则指 OpenAI 的 Astra 成果并非首创,并指控其研究不端与抄袭。

9月21日周一
8月31日周一
  1. Import AI34

    Import AI 471:Hugging Face 为何令人担忧、太空采矿、五眼联盟聚焦 AI

    Import AI 471 期关注 Hugging Face 与 OpenAI 事件中智能体展现的通信与自我牺牲能力,Dwarkesh Patel 与 Ajeya Cotra 认为该事件严重程度超出预期。五眼联盟在 Five Country Ministerial 声明中首次就前沿模型访问与国家安全风险表态。Bill Gates 则警告 AI 不会自动带来幸福,需要前所未有的全球性应对。

8月10日周一
  1. Import AI36

    Import AI 468:23 条 RSI 政策建议、PostTrainBench+,以及信任与透明度如何影响 AI 竞赛

    Import AI 第 468 期收录智库 IFP 提出的 23 条政策建议,分属 7 个类别,用于帮助政策制定者应对 AI 研发进一步自动化带来的风险。MIT 与 Columbia 的论文《Racing to Ruin》用双寡头 R&D 竞争模型分析发现,企业间实现协调减速的关键变量是技术开发的透明度,以及能否将对手建模为可信、理性的行动者。

4月21日周二
  1. Hugging Face Blog38

    Hugging Face 谈 AI 与网络安全未来:为什么开放性至关重要

    Hugging Face 发文讨论 Mythos 与 Project Glasswing 发布后的 AI 网络安全格局,指出 Mythos 的漏洞发现与修补能力来自模型、算力、安全脚手架与系统自主性的组合,而非单一模型。文章认为开源生态在检测、验证、协调、补丁传播四个阶段更具结构性优势,并主张用可私有部署的半自主 AI 智能体做防御。

1月13日周一
  1. Hugging Face Blog22

    Hugging Face 发文《AI Agents Are Here. What Now?》:建议不要开发完全自主的 AI 智能体

    Hugging Face 发布文章《AI Agents Are Here. What Now?》,指出 AI 智能体的风险随自主性等级上升而增加,建议不要开发能自行编写并执行代码的完全自主智能体。文章按自主程度将智能体分为五级,从模型不影响程序流程到模型自行编写并执行新代码,并认为半自主智能体在自主性水平、可用任务和人类控制方式合适时,收益可能大于风险。

6月24日周一
  1. Hugging Face Blog22

    Hugging Face 伦理与社会通讯第6期:构建更好的 AI,数据质量为何至关重要

    Hugging Face 发布《伦理与社会通讯》第6期,聚焦 AI 数据质量。文章指出高质量数据并非仅指准确或量大,而应契合具体用途,需具备相关性、全面性、时效性并减少偏见。数据质量直接影响模型性能、鲁棒性、效率与公平性,应从 AI 开发全生命周期加以重视。

12月15日周四
5月19日周四
  1. Hugging Face Blog18

    Hugging Face 多模态团队发布研究伦理章程,将伦理原则置于研究生命周期核心

    Hugging Face 多模态学习团队发布了一份伦理章程,将伦理原则正式纳入其机器学习研究生命周期。章程列出了要防止的用例,包括生成虚假信息、生成个人身份信息,以及在医疗、法律、金融、移民等高风险领域的不谨慎使用。团队同时提出透明、开放可复现、公平、自我批判和尊重署名五项价值观,并承认这些价值观之间可能存在冲突,需逐案权衡。

5月17日周二
3月23日周三
  1. Hugging Face Blog22

    Hugging Face 机器学习专家访谈:Margaret Mitchell 谈伦理 AI

    Hugging Face 发布机器学习专家访谈,嘉宾 Margaret Mitchell 曾任 Google 伦理 AI 团队创始人兼联合负责人,现于 Hugging Face 制定伦理 AI 研究协议与包容性招聘体系。她因在微软 Seeing AI 项目中目睹图像数据偏差而转向伦理 AI,指出 ML 团队普遍缺乏相关概念与词汇,且行业"Alpha"文化使女性主导的伦理研究被轻视。