Hugging Face TRL 推出 RLOO Trainer,把强化学习重新带回 RLHF
Hugging Face 在 TRL 中推出 RLOO(REINFORCE Leave One-Out)Trainer,作为 PPO 之外的在线 RLHF 训练算法。
Hugging Face 在 TRL 中推出 RLOO(REINFORCE Leave One-Out)Trainer,作为 PPO 之外的在线 RLHF 训练算法。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)已上线 Hugging Face Hub 并支持 Diffusers 调用,官方同时提供了模型、Diffusers 集成以及 SD3 Dreambooth 和 LoRA 训练脚本。
推荐理由:官方给出 SD3 Medium 在 Diffusers 中的接入方式、显存优化与微调脚本,可直接对照复现。
OpenAI 与 Apple 宣布达成合作,将 ChatGPT 集成到 Apple 的各项体验中。该消息由 OpenAI 官方发布,未披露集成的具体形式、上线时间或覆盖范围。
推荐理由:OpenAI 官方宣布与 Apple 合作,读者可据此了解 ChatGPT 进入 Apple 生态的官方口径。
OpenAI 宣布 Sarah Friar 出任首席财务官(CFO),Kevin Weil 出任首席产品官(CPO)。Sarah Friar 此前任 Nextdoor CEO,Kevin Weil 曾在 Planet 与 Twitter 任职。
OpenAI 发文详解其文本转语音模型 Voice Engine 的技术原理与安全研究。该模型可根据文本生成语音,OpenAI 同时介绍了围绕这一技术开展的安全研究工作。
Hugging Face Embedding Container for Amazon SageMaker 正式 GA,AWS 用户可在 SageMaker 上部署嵌入模型构建 RAG 等生成式 AI 应用。
Hugging Face 宣布重新设计 Transformers 文档,原因是现有文档内容零散、导航困难且过时。新版将面向构建 AI 产品的开发者,采用代码优先、解决方案导向的写法,并放弃 Diátaxis 的刚性结构,改为随内容自然生长的有机结构,让新增内容与原有文档融合而非层层叠加。
Artificial Analysis 推出文生图排行榜与 Image Arena,基于超 45,000 次人类图像偏好投票计算 ELO 分数,覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等开源与闭源模型。
OpenAI 用可扩展的稀疏自编码器技术,自动识别出 GPT-4 计算过程中的 1600 万个模式。这些模式对应模型内部的可解释概念特征,规模远超以往同类工作。
Mistral AI 在 la Plateforme 上线模型定制功能,提供三种微调入口:面向自建基础设施的开源微调代码库 mistral-finetune、平台上的无服务器微调服务,以及面向特定客户的定制训练服务。
推荐理由:Mistral 给出微调的三条落地路径与 LoRA 效率对比,读者可据此判断自建还是托管微调更合适。
Mistral AI 于 6 月 5 日至 30 日举办线上微调黑客松,参赛项目须使用其全新微调 API,提交截止 6 月 30 日。前三名各获 2500 欧元 Mistral API 额度,入选者可申请 100 美元免费额度,需在 6 月 10 日前填写表单。评审按影响力、技术实现、创意和展示各占 25% 打分,团队最多 4 人。
Hugging Face 上线 NPC-Playground,一个由 Cubzh 与 Gigax 打造的 3D 演示,可在浏览器中与 LLM 驱动的 NPC 对话,并用几行 Lua 脚本教它们新技能。
Hugging Face 将辅助生成(Assisted Generation)适配并优化到 Intel Gaudi,现已集成进 Optimum Habana。该方法基于 Speculative Sampling,用草稿模型生成 K 个 token 再由目标模型评估,大型 Transformer 模型通常可获得约 2x 加速。
Hugging Face 本周检测到 Spaces 平台遭未授权访问,涉及 Spaces secrets,怀疑部分 secrets 可能被未授权读取。作为处置,官方已撤销这些 secrets 中的部分 HF token 并邮件通知相关用户,建议用户刷新密钥或 token 并改用细粒度访问 token。
推荐理由:官方披露 Spaces secrets 遭未授权访问及已采取的处置措施,可了解平台安全策略的调整方向。
OpenAI 终止了与隐蔽影响力行动相关的账号,并称这些账号未因使用其服务而获得显著受众增长。
OpenAI 推出面向大学的平价方案 OpenAI for Education,帮助高校负责任地将 AI 引入校园。该方案主打可负担的定价,让大学能够在校园场景中规范使用 AI。
OpenAI 推出面向非营利组织的新计划 OpenAI for Nonprofits,为这类机构提供 ChatGPT Team 和 Enterprise 的折扣价格,以提升其工具的可及性。
Mistral AI 发布首个代码模型 Codestral,22B 开放权重,支持 80+ 编程语言,上下文窗口 32k,并通过 fill-in-the-middle 机制补全代码。
推荐理由:Codestral 以 22B 开放权重和 32k 上下文切入代码补全,读者可据此判断它在延迟与长仓库补全上的取舍。
MavenAGI 推出基于 GPT-4 的 AI 客服智能体,Tripadvisor、Clickup 和 Rho 等公司已在使用,以节省时间并更好地服务客户。
Mistral AI 推出非生产许可 MNPL,允许开发者将技术用于非商业用途并支持研究工作,要求基于其成果开展商业业务的一方以公平可持续的方式合作。Codestral 于同日在该许可下发布。Mistral 表示将继续以 Apache 2.0 发布模型和代码,并逐步整合 Apache 2.0 与 MNPL 两条产品线。
推荐理由:Mistral 推出 MNPL 非生产许可,读者可了解其如何在开放原则与商业可持续之间划界。
The Atlantic 宣布与 OpenAI 达成战略内容与产品合作,成为 OpenAI 体系内的优质新闻来源,其文章将可在 ChatGPT 等 OpenAI 产品中被发现。作为合作方,The Atlantic 还将参与塑造未来实时发现产品中新闻的呈现方式。
OpenAI 与 Vox Media 达成一项多层面协议,Vox Media 的内容将用于增强 ChatGPT 的输出,Vox Media 则将基于 OpenAI 的技术开发产品,以更好地服务其受众和广告主。
Hugging Face 发布 TGI Benchmarking 工具,可在 Hugging Face Space 中部署 TGI 并评测吞吐量与延迟,帮助用户按需调优 LLM 部署。该工具随 TGI 一同安装,需在服务器端运行,通过 CLI 交互式执行,并提供预填充吞吐量与延迟散点图等可视化结果。
Hugging Face 发布博客,介绍如何用 Python 库 Sentence Transformers 微调嵌入模型以提升特定任务表现,也可从零训练新模型。
Meta 发布 CyberSecEval 2,用于评估 LLM 在生成不安全代码、协助网络攻击、提示注入、滥用代码解释器及自动化攻击能力等方面的表现。相比 2023 年 12 月的首版,LLM 协助网络攻击的平均合规率从 52% 降至 28%。提示注入仍是未解决问题,代码解释器滥用风险突出,全部代码已开源。
TII 发布 Falcon 2 系列,包含 11B 基础语言模型和具备图像理解能力的 11B VLM,训练数据超过 5000B tokens,主要支持英语并覆盖西班牙语、法语、德语等另外十种语言。
推荐理由:TII 官方给出 Falcon 2 的训练数据、架构与评测对比,可据此判断 11B 小模型在多语言和视觉理解上的位置。
OpenAI 与 News Corp 宣布达成一项多年全球合作伙伴关系,将把 News Corp 的优质新闻内容引入 OpenAI 的生成式 AI 产品与平台。
Hugging Face 宣布可在 AWS Inferentia2 上部署 Hub 中超过 100,000 个公开模型,新增 14 种模型架构和 6 类机器学习任务,并支持在 Amazon SageMaker 上使用。
OpenAI 阐述了其安全实践的核心立场:通用人工智能有望惠及生活几乎方方面面,因此必须以负责任的方式开发和部署。
Hugging Face Spaces 发布 Dev Mode,支持一键从 VS Code 或 SSH 直连 Space 编辑代码,无需再用 git 推送本地改动。该功能目前处于 beta 阶段,仅面向 PRO 订阅用户开放,可在 Space 设置中启用。编辑后直接在 Space 内点击 Refresh 即可测试,满意后再 commit 和 merge 保存改动。
Hugging Face 与 Dell 联合发布 Dell Enterprise Hub,可在 Dell 平台上本地训练和部署开源模型,将原本数周的工程工作缩短至几分钟。
Hugging Face 宣布 AMD Instinct MI300 已在 Hugging Face 平台获得一等公民级集成,用户无需改动代码即可通过 transformers 和 text-generation-inference 在 Azure ND MI300x V5 虚拟机上部署模型。
Hugging Face 与微软在 Microsoft Build 上宣布深化战略合作,将 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等热门开源大模型加入 Azure Model Catalog 的 Hugging Face Collection,支持从 Azure AI Studio 一键部署。
OpenAI 与业内顶尖选角及导演专业人士合作,从 400 多份投稿中筛选,最终为 ChatGPT 选定 5 种声音。
ChatGPT 的数据分析功能获得升级,用户现在可以与表格和图表进行交互,并直接从 Google Drive 和 Microsoft OneDrive 添加文件。
OpenAI 与 Reddit 达成合作,将 Reddit 的独特内容带入 ChatGPT 及 OpenAI 旗下产品。
Canva 推出 AI 驱动的 Magic Studio,为其月活超 1.75 亿的视觉传播平台加入 AI 创作能力。该平台支持制作演示文稿、视频、文档、网站和社交媒体图片,面向缺乏设计训练的知识工作者,通过易用界面、庞大素材库和提效工具降低创作门槛。
Hugging Face 在 Transformers 中推出 KV Cache 量化功能,通过降低 KV 缓存精度减少长上下文生成的内存占用,对生成质量影响较小。
OpenAI 宣布 Ilya Sutskever 将离开公司,同时任命 Jakub Pachocki 为首席科学家。
Google 发布视觉语言模型系列 PaliGemma,由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成,可输入图像与文本并输出文本。
推荐理由:Google 开源视觉语言模型 PaliGemma 的架构、三种权重类型与微调路径都在文中给出,可据此判断它适合哪些下游任务。