OpenAI 启动 1000 万美元 Superalignment Fast Grants 资助计划
OpenAI 宣布投入 1000 万美元设立 Superalignment Fast Grants,资助面向超人类 AI 系统对齐与安全的技术研究。资助方向包括弱到强泛化、可解释性和可扩展监督等。
推荐理由:OpenAI 出资 1000 万美元资助超人类 AI 对齐研究,可了解其关注的具体技术方向。
OpenAI 宣布投入 1000 万美元设立 Superalignment Fast Grants,资助面向超人类 AI 系统对齐与安全的技术研究。资助方向包括弱到强泛化、可解释性和可扩展监督等。
推荐理由:OpenAI 出资 1000 万美元资助超人类 AI 对齐研究,可了解其关注的具体技术方向。
OpenAI 提出"弱到强泛化"这一超级对齐新研究方向,探索能否利用深度学习的泛化特性,用弱监督者控制更强的模型,并给出了初步的积极结果。
OpenAI 与 Axel Springer 达成合作,后者成为全球首家与 OpenAI 深度整合新闻业与 AI 技术的出版机构。双方将推动 AI 在新闻领域的良性应用。
Mistral AI 发布 Mixtral 8x7B,一个采用 Apache 2.0 许可、开放权重的稀疏混合专家模型(SMoE)。该模型总参数 46.7B,每个 token 仅激活 12.9B 参数,推理速度比 Llama 2 70B 快 6 倍,在多数基准上匹配或超过 Llama 2 70B 与 GPT3.5,支持 32k token 上下文和英法意德西五种语言。
推荐理由:官方给出 Mixtral 8x7B 的稀疏 MoE 架构与推理成本数据,可据此判断开源模型的性价比边界。
Mistral AI 开放首个平台服务 La Plateforme 的 beta 访问,提供三个生成文本的 chat 端点和 一个嵌入端点,各端点性能与价格不同。
推荐理由:Mistral 官方公布首批平台服务,给出三个生成端点的模型、语言与 MT-Bench 分数,可据此判断其早期 API 的能力与定价分层。
Hugging Face 发布长文《Mixture of Experts Explained》,以 Mixtral 8x7B 发布为背景,讲解 MoE 的构成、训练与推理取舍。
推荐理由:从 MoE 的稀疏路由、负载均衡到专家并行与部署取舍,系统梳理了这类架构的原理与工程代价。
Mistral 发布 Mixtral 8x7B,采用 Mixture of Experts 架构,8 个专家模型每个时间步激活 2 个,总参数量约 45B,支持 32k token 上下文,在多数基准上超过 Llama 2 70B 并追平 GPT-3.5,以 Apache 2.0 许可开放。
推荐理由:文章给出 Mixtral 8x7B 的架构说明、基准对比与 Hugging Face 全套集成方式,便于判断开源 MoE 模型的可用性。
Hugging Face 与 Intel Labs 推出 SetFitABSA,一个用于少样本训练领域特定方面级情感分析(ABSA)模型的框架,在少样本场景下表现优于 Llama2 和 T5 等生成式模型。
Hugging Face 与 AMD 宣布合作进展,Transformers 模型和任务现可在 AMD Instinct GPU 上无需修改代码直接运行,并已支持 Flash Attention v2、Paged Attention、DeepSpeed、GPTQ 等加速与量化方案。
推荐理由:Hugging Face 与 AMD 公布开箱即用支持进展,读者可了解在 AMD Instinct 上运行 Transformers 与 TGI 的实际路径与性能对比。
Hugging Face 在 Inference API 中实现 LoRA 动态加载,让基础模型保持热启动、按请求即时加载和卸载适配器,把冷启动时间从 25 秒降到 3 秒,用户请求响应时间从 35 秒降到 13 秒。
Hugging Face 发布 Optimum-NVIDIA 推理库,只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码,即可在 NVIDIA 平台获得最高 28 倍吞吐提升和 1200 tokens/秒。
推荐理由:官方给出单行代码替换即可提速的量化数据与 FP8 支持范围,便于判断迁移成本。
Open LLM Leaderboard 新增 DROP 基准后,绝大多数模型 f1-score 低于 10 分。Hugging Face 排查发现,归一化步骤会忽略后接非空格空白符的数字答案,且以 . 作为停止词会截断浮点答案、让长回答的高质量模型 f1 更低。改用 \n 作为停止词重新计算后,分数与模型整体表现的相关性明显改善。
OpenAI 宣布 Sam Altman 回归担任 CEO,Greg Brockman 回归担任总裁,Mira Murati 继续担任 CTO,公司同时成立新的初始董事会。官方还附上了 CEO Sam Altman 与董事会主席 Bret Taylor 的致辞。
推荐理由:OpenAI 官方确认 Sam Altman 回归 CEO 并公布新一届初始董事会,可据此了解这场人事风波的最终安排。
OpenAI 宣布领导层变动,官方公告未提供更多细节。
OpenAI 启动 Data Partnerships 计划,与各方合作创建用于 AI 训练的开源和私有数据集。
Hugging Face 发布 Latent Consistency LoRA(LCM LoRA),通过训练少量 LoRA 适配层而非蒸馏整个模型,让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步生成图像。
推荐理由:官方给出 LCM LoRA 的推理代码、多硬件速度对比和训练脚本,读者可据此判断少步数生成的可用性。
Explosion 发布 Prodigy-HF 插件,让 Prodigy 标注工具直接对接 Hugging Face 生态。
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 LLM 进行文本生成,并以 Llama 2 为例演示。
一项对比实验用 LoRA 微调 RoBERTa-large(355M)、Llama-2-7b 和 Mistral-7B-v0.1(7.3B)三个模型,在灾难推文分类任务上评测性能,统一设置 MAX_LEN=512 以保证公平比较。
OpenAI 在 DevDay 上发布 GPT-4 Turbo,支持 128K 上下文且价格更低,并推出 GPT-4 Turbo with Vision。同时公布新的 Assistants API 和 DALL·E 3 API 等开发者产品。
推荐理由:OpenAI 在 DevDay 一次性公布模型与开发者产品更新,可据此了解其 API 能力与定价方向。
Hugging Face 为 Enterprise Hub 推出 Storage Regions,让组织决定模型和数据集的存储位置,目前支持 US 和 EU,亚太地区即将上线。该功能用于满足监管与法律合规(如欧盟 GDPR)需求,并提升性能:欧洲用户将仓库存于 EU 区域时,上传和下载速度约提升 4-5 倍。非默认位置的仓库会直接显示 Region 标签。
Hugging Face 发布博客,介绍如何基于自家 GitHub 组织公开仓库代码微调出代码助手 HugCoder,让开发者可参照搭建自己的个人 copilot。
推荐理由:完整给出从数据采集到 QLoRA 与全量微调的成本对比,可迁移到自有代码库搭建补全助手。
OpenAI 正在制定灾难性风险应对方案,以保障高能力 AI 系统的安全,具体举措包括组建一支 Preparedness 团队并发起一项挑战赛。
OpenAI 联合 Anthropic、Google 和 Microsoft 宣布 Frontier Model Forum 新任执行董事,并设立 1000 万美元 AI 安全基金。该论坛由上述四家公司共同推进,此次更新聚焦于治理层人事与安全资金两项安排。
Hugging Face datasets 库与 Renumics Spotlight 集成,只需一行代码即可对数据集进行交互式可视化。Spotlight 直接读取 datasets 的 Arrow 表结构,无需复制或预处理数据,并支持利用模型预测和嵌入向量定位关键数据簇与模型失败模式。用户可通过 GUI 或 Python API 自定义布局,用于 EDA、模型调试和监控。
Hugging Face 复现了 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences,在情感与描述性等风格任务上匹配了其学习曲线。
Hugging Face 发布教程,介绍如何通过 Text Embeddings Inference(TEI)将开源嵌入模型部署到 Hugging Face Inference Endpoints。
Hugging Face 在 A100 40GB 上实测了 SDXL 的多项推理优化,未优化管线需 28GB 显存、72.2 秒,改用 fp16 后降至 21.7GB、14.8 秒,叠加 SDPA 后进一步降到 11.4 秒。
推荐理由:原文给出 SDXL 各项优化前后的显存与延迟实测数据,读者可据此选择适合自己硬件的组合方案。
Hugging Face 发布 @gradio/lite,一个借助 Pyodide 让 Gradio 应用完全在浏览器中运行的 JavaScript 库,无需服务器端基础设施。
推荐理由:官方给出在浏览器内运行 Gradio 的完整用法与限制,可据此判断无服务器部署的可行边界。
Typeform 借助 GPT-3.5 和 GPT-4 把在线表单升级为动态、对话式的数据收集体验。
Ironclad 借助 GPT-4 简化合同审查流程。该工具将 AI 引入合同审阅环节,帮助用户更高效地处理合同文本。
Retool 借助 GPT-4 为企业提供快速、安全的 AI 应用构建方式。该方案面向商业场景,强调速度与安全性。
Hugging Face 上已有超过 13 万个支持 ONNX 的模型可借助 ONNX Runtime 加速,覆盖 90 多种模型架构,包括 BERT、GPT2、T5、Whisper、Stable-Diffusion 等。以 whisper-tiny 为例,使用 ONNX Runtime 后单次推理平均延迟相比 PyTorch 最高提升 74.30%。
OpenAI 发布 DALL·E 3 系统卡,用于说明该图像生成模型在安全与对齐方面的评估情况。原文正文未能抓取,具体评估内容暂不可见。
Hugging Face tokenizers 新增 chat_template 属性,用 Jinja 模板保存模型训练时使用的对话格式,避免因格式不一致造成的静默性能下降。
推荐理由:Hugging Face 把聊天格式从 transformers 硬编码搬到 tokenizer 属性,读者可据此理解格式错配为何会静默拉低模型表现。
Hugging Face Diffusers 现已支持在 Cloud TPU 上通过 JAX 运行 Stable Diffusion XL 推理。该方案借助 JAX jit 编译与 XLA pmap 并行,在多个 TPU v5e-4 实例上约 4 秒可生成四张 1024×1024 图像,实际生成时间约 2.3 秒。TPU v5e 成本不到 TPU v4 的一半。
Hugging Face 发布教程,介绍如何通过 Inference API 将 AI Comic Factory 复制并部署到自己的私有 Space,以避免官方 Space 的长时间等待。
Hugging Face 在 trl 库中集成 DDPOTrainer,可用 DDPO(Denoising Diffusion Policy Optimization)对 Stable Diffusion 做强化学习微调。
Hugging Face 发布 Ethics and Society Newsletter #5,回顾 2023 夏季在 AI 伦理与政策方面的工作。CEO Clem 向美国国会作证并在参议院 AI Insight Forum 发言,公司还就 E.U. AI Act、NTIA AI Accountability 提交意见。
Hugging Face 发布教程,展示非工程师如何零代码训练 LLaMA 2 聊天机器人。流程分三步:在 Spaces 部署 AutoTrain 与 ChatUI 模板,用 Alpaca 指令数据集微调 Meta Llama 2 7b,再部署为可分享的聊天应用。训练 7b 模型建议选用 A10G Large GPU,AutoTrain 支持 FP16、Int4/8 量化与 PEFT 等设置。
最多提供 50 页,更早的内容请使用搜索或主题页。