OpenAI 如何用人类与 AI 推进红队测试
OpenAI 发布文章阐述如何结合人类与 AI 推进红队测试。原文未披露具体模型版本、参数规模或评测分数等细节。
OpenAI 发布文章阐述如何结合人类与 AI 推进红队测试。原文未披露具体模型版本、参数规模或评测分数等细节。
OpenAI 介绍了如何通过 GPT-4o 的视觉微调能力构建更智能的地图。该能力可针对特定图像任务优化模型表现,帮助开发者提升地图相关场景的识别与理解效果。
Hugging Face 与 LLM-jp 联合发布 Open Japanese LLM Leaderboard,用 llm-jp-eval 评测套件覆盖 16 项任务,从自然语言推理、机器翻译到代码生成与数学推理,均以 4-shot 方式运行。该榜单整合超 20 个数据集,由 LLM-jp 评测团队联合语言学家与标注人员构建或翻译调整,旨在为日语 LLM 提供集中、开放的对比平台。
Hugging Face 发布博客详解 LayerSkip 提出的自推测解码,用同一 LLM 的早期层生成 draft token、深层网络负责验证,无需额外小模型即可加速文本生成并降低显存占用。
Hugging Face 的 Xet 团队采用内容定义分块(CDC)将文件拆分为可变大小的块,仅传输和存储修改过的块,从而提升存储与迭代效率。在 CORD-19 数据集基准测试中,Xet 后端将平均下载时间从 51 分钟降至 19 分钟,上传从 47 分钟降至 24 分钟,存储占用从 8.9 GB 降至 3.52 GB。
BAAI 推出 FlagEval Debate 平台,让大模型以辩论形式直接对抗,目前支持英语、中文、阿拉伯语和韩语四种语言。平台采用专家评审与用户投票的双重评估机制,并提供开发者自定义参数功能,以解决静态评测和 Chatbot Arena 存在的判别力不足、模型孤立生成及投票偏差等问题。2024 年 Q3 的实验显示,当前多数模型已具备参与辩论的能力。
Rox 宣布“all in”OpenAI,将商业经验与深厚的 LLM 专业能力同 OpenAI 模型结合,目标是让每位销售都成为前 1% 的销售。
Hugging Face 博客发布 Judge Arena,一个让用户对两个 LLM 裁判的评分和评语进行投票对比的平台,投票结果汇总为 Elo 排行榜并每小时更新。
Mistral AI 为免费生成式 AI 助手 le Chat 推出一批 beta 功能,包括带引用的联网搜索、用于构思与就地编辑和导出的 Canvas、由新多模态模型 Pixtral Large 支持的文档与图像理解、由 Black Forest Labs Flux Pro 支持的图像生成,以及可复用提示词流程的智能体。
推荐理由:官方一次性列出 le Chat 的联网搜索、Canvas、文档图像理解与智能体等能力,并给出与主流助手的逐项对比。
Mistral AI 发布 Pixtral Large,一个基于 Mistral Large 2 的 124B 开放权重多模态模型,含 123B 多模态解码器和 1B 参数视觉编码器,支持 128K 上下文窗口,可容纳至少 30 张高分辨率图像。
推荐理由:原文给出 Pixtral Large 的基准成绩与开放权重许可,读者可据此判断开源多模态模型与闭源前沿模型的差距。
OpenAI 在法国开设了其在欧洲大陆的首个办公室。这是 OpenAI 在欧洲大陆的第一处办公机构,此前其欧洲布局仅涉及其他地区。
雅诗兰黛公司使用 ChatGPT Enterprise 和自定义 GPT 分析消费者数据、挖掘洞察并加速美妆创新。该案例展示了 OpenAI 企业级产品在美妆行业的数据驱动应用。
Hugging Face Hub 支持托管 TB 级数据集,并提供 Dataset Viewer、全文搜索、SQL Console 及 Pandas、DuckDB 等第三方库的一行代码加载支持。Xet 团队正将单文件上限从 50 GB 提升至 500 GB,同时改进存储与传输效率。数据集可设为公开、私有或门控访问,Nvidia、Google、NASA 等机构已在使用该平台。
Mistral AI 在 La Plateforme 上线 Batch API,处理高并发请求的成本比同步 API 调用低 50%。用户上传批量文件、处理完成后下载输出文件即可,适用于情感分析、文档批量摘要与翻译、向量嵌入建索引和数据标注等场景。该 API 覆盖 La Plateforme 上全部模型,每个工作区最多 100 万个进行中的请求,并将陆续登陆其云厂商合作伙伴。
Mistral AI 发布新的内容审核 API,即其 Le Chat 审核服务所用的同一套接口,现对外开放供用户按自身安全标准定制。该模型是一个 LLM 分类器,将文本输入分为 9 个类别,提供原始文本和对话内容两个端点,对话端点只对上下文中的最后一条消息分类。
Hugging Face 与 PyCharm 的集成现已上线,开发者可在代码中右键选择 "Insert HF Model",按 image-text-to-text 等任务筛选模型并直接插入示例代码,例如 microsoft/Phi-3.5-vision-instruct。
Argilla 2.4 推出无需代码的数据集构建功能,用户可直接从 Hugging Face Hub 导入数据集并在 Argilla UI 中定义问题、收集人工反馈。该功能支持公开数据集导入,默认启用 Hugging Face OAuth,方便社区或团队协作标注,适用于微调与评测数据集的构建。
OpenAI 发布 ChatGPT 搜索,可快速给出及时答案并附上相关网页来源链接。
推荐理由:OpenAI 官方发布 ChatGPT 搜索,读者可据此了解 ChatGPT 开始直接给出带网页来源链接的答案。
Promega 自上而下推动全员采用 ChatGPT,用于加速制造、销售和营销环节。该案例展示了企业级 ChatGPT 部署在生命科学公司中的落地方式。
OpenAI 发布名为 SimpleQA 的事实性基准,用于衡量语言模型回答简短事实性问题的能力。该基准聚焦短小、寻求事实的提问场景,评估模型的事实准确性。
Decagon 与 OpenAI 合作,实现大规模、全自动的高性能客户支持。该方案面向规模化场景,提供完全自动化的客户支持能力。
Intel Labs 与 Hugging Face 提出 Universal Assisted Generation(UAG),让目标模型与助手模型不再需要共享 tokenizer,可跨模型家族配对。
推荐理由:Intel Labs 与 Hugging Face 提出的跨 tokenizer 推测解码方法,给出了可对照的加速数据和 Transformers 调用方式。
Digital Green 在 CGIAR 主导的 GAIA 项目中开发了农业问答机器人 Farmer.chat,并联合 Hugging Face 专家搭建 LLM-as-a-Judge 评估体系来评测其 RAG 管线。
Cohere For AI 发布 Aya Expanse 系列多语言模型,包含 8B 和 32B 两个参数版本,并以开放权重形式提供给研究社区。在成对比较中,Aya Expanse 32B 优于 Gemma 2 27B、Mistral 8x22B 和参数量超过其两倍的 Llama 3.1 70B;Aya Expanse 8B 在同参数级别中胜率为 60.4% 至 70.6%。
推荐理由:Cohere For AI 公开了 Aya Expanse 的完整后训练流程,读者可了解多语言模型如何用数据套利、偏好训练与模型合并提升表现。
OpenAI 对连续时间一致性模型进行了简化、稳定化和规模化,仅用两步采样即可达到与领先扩散模型相当的样本质量。
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text,可通过 logits processor 为 AI 生成文本加水印,并用分类器检测。
推荐理由:Google DeepMind 与 Hugging Face 把文本水印做成 Transformers 里的可调用组件,读者可据此了解生成内容溯源的具体做法与边界。
Hugging Face 发布 CinePile 2.0 长视频问答数据集,采用其提出的对抗式数据集精炼(adversarial dataset refinement)方法进行改进。
Hugging Face 发布生成式 AI 服务 HUGS,提供零配置的优化推理微服务,基于 Text Generation Inference 和 Transformers,支持 NVIDIA、AMD GPU,AWS Inferentia 和 Google TPU 即将支持。
推荐理由:HUGS 把开源模型的推理部署从数周压缩到分钟级,并给出兼容 OpenAI API 的落地路径,可据此判断自托管开源模型的工程成本。
OpenAI 与 Lenfest Institute 合作开展 AI Collaborative and Fellowship 项目。该项目面向新闻行业,具体参与方式、名额与时间安排尚未在原文中披露。
Hugging Face 发布 Speech-to-Speech(S2S)项目,通过 VAD、STT、语言模型和 TTS 组成的级联流水线实现语音对话,支持英语、法语、西班牙语、中文、日语和韩语,可单语言运行或用 auto 标志自动检测语言。
Hugging Face 宣布与 Protect AI 合作,将后者的 Guardian 扫描器集成进平台扫描套件,用于检测 pickle 等序列化格式中的任意代码执行等漏洞。所有公开模型仓库在推送文件后会自动被 Guardian 扫描,无需额外操作,目前平台已扫描数亿个文件。
dottxt 与 Hugging Face 联合发布 outlines-core 0.1.0,这是 outlines 结构化生成核心算法的 Rust 移植版,索引编译速度平均提升 2 倍。该库已集成进 outlines,Python 绑定 0.1.0 版本同步上线,其轻量化设计便于其他库直接引入结构化生成能力,Rust 实现还为 Python 之外的语言绑定提供了可能。
Hugging Face 发布 Transformers.js v3,新增 WebGPU 支持,官方称比 WASM 快最多 100 倍,加载模型时设置 device: 'webgpu' 即可启用。
推荐理由:官方给出 WebGPU 加速、量化格式与 120 个架构支持的具体变化,可据此判断浏览器端推理的可用边界。
Stability AI 的 Stable Diffusion 3.5 已在 Hugging Face Hub 发布并接入 Diffusers,包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型,后者支持 4-8 步少步推理。
推荐理由:官方给出 SD3.5 Large 在 Diffusers 中的推理、量化与 LoRA 训练代码,可直接照此在消费级显卡上跑通。
Llama 3.2 在 Hugging Face / Transformers 上线两周后,Keras 已从第一天起支持加载 Llama 3.2 checkpoint,包括 meta-llama/Llama-3.2-1B-Instruct,无需转换即可通过 keras_hub 的 Llama3CausalLM.from_preset 直接调用。
Mistral AI 在 Mistral 7B 发布一周年之际推出两款面向端侧与本地推理的模型 Ministral 3B 和 Ministral 8B,官方称其在 10B 以下级别刷新了知识、常识、推理、函数调用和效率的表现。
推荐理由:官方给出两款端侧小模型的能力定位、上下文长度与 API 定价,可据此判断本地推理的选型与成本。
Hugging Face 修复了 transformers Trainer 中梯度累积的损失计算错误:此前开启梯度累积与全批量训练的损失不一致,正确做法应为累积步内所有批次总损失除以全部非 padding token 数,而非各批次损失的平均值。
OpenAI 分析了 ChatGPT 如何根据用户姓名作出不同回应,并借助 AI 研究助手保护隐私。该评估聚焦于模型响应的公平性问题。
OpenAI 推出 MLE-bench,用于衡量 AI 智能体在机器学习工程任务上的表现。该基准聚焦智能体完成机器学习工程的能力评估。
AMD 发布基于 Zen5 架构的第五代服务器级 EPYC CPU(代号 Turin),最高 192 核 384 线程。Hugging Face 用 Meta Llama 3.1 8B 在 Turin(128 核)与 Genoa(96 核)上对比测试,借助 ZenDNN PyTorch 插件(zentorch)与 bfloat16,多数配置下解码吞吐提升约 2 倍。