dottxt 与 Hugging Face 发布 outlines-core 0.1.0:Rust 重写结构化生成核心
dottxt 与 Hugging Face 联合发布 outlines-core 0.1.0,这是 outlines 结构化生成核心算法的 Rust 移植版,索引编译速度平均提升 2 倍。该库已集成进 outlines,Python 绑定 0.1.0 版本同步上线,其轻量化设计便于其他库直接引入结构化生成能力,Rust 实现还为 Python 之外的语言绑定提供了可能。
dottxt 与 Hugging Face 联合发布 outlines-core 0.1.0,这是 outlines 结构化生成核心算法的 Rust 移植版,索引编译速度平均提升 2 倍。该库已集成进 outlines,Python 绑定 0.1.0 版本同步上线,其轻量化设计便于其他库直接引入结构化生成能力,Rust 实现还为 Python 之外的语言绑定提供了可能。
Hugging Face 发布 Transformers.js v3,新增 WebGPU 支持,官方称比 WASM 快最多 100 倍,加载模型时设置 device: 'webgpu' 即可启用。
推荐理由:官方给出 WebGPU 加速、量化格式与 120 个架构支持的具体变化,可据此判断浏览器端推理的可用边界。
Stability AI 的 Stable Diffusion 3.5 已在 Hugging Face Hub 发布并接入 Diffusers,包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型,后者支持 4-8 步少步推理。
推荐理由:官方给出 SD3.5 Large 在 Diffusers 中的推理、量化与 LoRA 训练代码,可直接照此在消费级显卡上跑通。
Llama 3.2 在 Hugging Face / Transformers 上线两周后,Keras 已从第一天起支持加载 Llama 3.2 checkpoint,包括 meta-llama/Llama-3.2-1B-Instruct,无需转换即可通过 keras_hub 的 Llama3CausalLM.from_preset 直接调用。
Mistral AI 在 Mistral 7B 发布一周年之际推出两款面向端侧与本地推理的模型 Ministral 3B 和 Ministral 8B,官方称其在 10B 以下级别刷新了知识、常识、推理、函数调用和效率的表现。
推荐理由:官方给出两款端侧小模型的能力定位、上下文长度与 API 定价,可据此判断本地推理的选型与成本。
Hugging Face 修复了 transformers Trainer 中梯度累积的损失计算错误:此前开启梯度累积与全批量训练的损失不一致,正确做法应为累积步内所有批次总损失除以全部非 padding token 数,而非各批次损失的平均值。
OpenAI 分析了 ChatGPT 如何根据用户姓名作出不同回应,并借助 AI 研究助手保护隐私。该评估聚焦于模型响应的公平性问题。
OpenAI 推出 MLE-bench,用于衡量 AI 智能体在机器学习工程任务上的表现。该基准聚焦智能体完成机器学习工程的能力评估。
AMD 发布基于 Zen5 架构的第五代服务器级 EPYC CPU(代号 Turin),最高 192 核 384 线程。Hugging Face 用 Meta Llama 3.1 8B 在 Turin(128 核)与 Genoa(96 核)上对比测试,借助 ZenDNN PyTorch 插件(zentorch)与 bfloat16,多数配置下解码吞吐提升约 2 倍。
Hugging Face 委托 Trail of Bits 对 Gradio 5 进行独立安全审计,发现的全部安全风险已在 Gradio 5.0 发布前修复并通过验证。
Hugging Face 发布 Gradio 5 稳定版,开发者可用几行 Python 构建生产级机器学习 Web 应用,通过 pip install --upgrade gradio 升级。
推荐理由:官方列出 Gradio 5 在 SSR 加载、流式与安全上的具体改动,可据此判断现有应用的迁移成本。
Hugging Face 联合 Dask 展示用 Dask DataFrame 并行化 pandas,将 FineWeb 数据集的教育价值分类从本地 100 行扩展到云端多 GPU 上的 2.11 亿行。该流程用 FineWeb-Edu classifier 对 432 GB、250 个 Parquet 文件打分,并通过 map_partitions 实现多节点 GPU 并行推理。
OpenAI 与 Hearst 达成内容合作,将 Hearst 旗下品牌精选的生活方式与本地新闻内容引入 OpenAI 产品。
Intel Labs 与 Hugging Face 提出动态推测解码方法,可根据助手模型置信度逐 token 动态调整推测前瞻长度,文本生成最高提速 2.7 倍。
Hugging Face 的 Xet 团队针对 Hub 上超 2.2PB 的 Parquet 存储测试了字节级 CDC 去重效果:追加 10,000 行可去重 99.1%,仅需额外 20MB;但修改一行因列头含绝对偏移量,去重率降至 89%,需额外 230MB。团队提出改用相对偏移量、按行组做内容定义分块等方案,并希望与 Apache Arrow 合作落地。
Hugging Face 发布 Open FinLLM Leaderboard,为金融场景提供专门的 LLM 评测框架,覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测和决策七大类任务。榜单采用零样本评测,使用 Accuracy、F1、ROUGE 和 MCC 等指标,数据集来自金融行业真实挑战,如信用评分、欺诈检测和股价走势预测。
非凡研究 6 月报告显示,全球 1500 家活跃 AI 公司中有 751 家位于中国,其中 103 家已向海外扩张。华为、腾讯、阿里聚焦云计算与 AI 基础设施,主攻东南亚和中东;字节跳动七个月内推出 11 款海外应用,CapCut 月活超 3 亿、截至 2024 年 7 月移动端累计收入 1.25 亿美元。
OpenAI 宣布获得新一轮融资,用于推进其确保通用人工智能惠及全人类的使命,并扩大 AI 带来的效益。
OpenAI 发布 Realtime API,开发者现在可以在自己的应用中构建快速的语音到语音体验。
推荐理由:OpenAI 官方发布 Realtime API,开发者可据此判断语音到语音交互的接入方式。
OpenAI 在微调 API 中引入视觉能力,开发者现在可以用图像和文本对 GPT-4o 进行微调,以提升其视觉表现。
推荐理由:OpenAI 官方开放 GPT-4o 图像微调,开发者可据此评估视觉能力的定制路径。
OpenAI 在 API 中推出 Prompt Caching,对模型近期已见过的输入提供自动折扣。该功能面向重复使用相同输入内容的调用场景,无需额外配置即可获得输入费用优惠。
推荐理由:OpenAI 官方公布 API 提示词缓存机制,读者可了解重复输入自动折扣对调用成本的影响。
OpenAI 在 API 中推出模型蒸馏功能,开发者可用大型前沿模型的输出微调成本更低的模型,全部流程在 OpenAI 平台上完成。该功能面向希望通过蒸馏降低推理成本的开发者。
Altera 基于 GPT-4o 构建智能体与人类协作的新领域。该方向聚焦 agent 与人的协同交互,而非单纯自动化。
OpenAI 封禁了一批与伊朗关联的 STORM-0817 账号,这些账号利用 AI 调试 Android 恶意软件、抓取社交平台内容并翻译工具。
OpenAI 封禁了一批通过一家以色列初创公司访问其模型的账号,这些账号用模型生成对话并在 X 上发送赌博网站链接。
OpenAI 封禁了一批伊朗来源的 STORM-2035 账号,这些账号利用 AI 生成美国和英国选举相关内容并发布到多个网站。
OpenAI 封禁了一批疑似属于 CyberAv3ngers 的账号,这些账号利用 AI 研究工业控制系统、默认凭据和攻击目标。该组织被指与伊朗存在关联。
OpenAI 封禁了一批俄罗斯来源的 Stop News 账号,这些账号利用 AI 生成多语言文章和帖子,针对乌克兰和西方国家。该行动由 OpenAI 官方披露。
OpenAI 封禁了名为“A2Z”的账号网络,这些账号利用 AI 生成涉及选举、乌克兰和政治的多语言影响力内容,并发布在多个平台上。
OpenAI 封禁了一批利用 AI 生成评论、批评俄罗斯反腐基金会及相关人物的账号。
Hugging Face 发布 BenCzechMark,首个面向捷克语的大语言模型综合评测套件,涵盖 9 大类共 50 项任务,其中 90% 为原生非翻译内容。配套榜单已收录超过 25 个不同规模的开源模型,任务采用 Acc、EM、AUROC、Ppl 等指标,并区分阅读理解、事实知识、捷克语理解、语言建模、数学推理、自然语言推理、命名实体识别、情感分析与文档检索等类别。
OpenAI 封禁了一批疑似属于中国相关攻击方 SweetSpecter 的账号。OpenAI 称这些账号利用 AI 研究漏洞、编写代码并支持鱼叉式钓鱼活动。
OpenAI 封禁了一批利用 AI 起草滥用举报和投诉的账号,这些举报针对越南公众人物和平台。
OpenAI 封禁了一批源自卢旺达的账号,这些账号在该国选举前使用 AI 生成党派性评论内容。
OpenAI 封禁了一个很可能来自美国的账号,该账号用 AI 生成了一条假的 ChatGPT 报错信息,谎称能检测“俄罗斯水军”活动。
Hugging Face 发布教程与 InstantTexture 库,可将 InstantMesh 等生成模型输出的顶点着色网格转换为 UV 贴图纹理网格。流程用 xatlas 生成 UV 映射,再通过重心坐标插值填充 1024 像素纹理,并配合修复、中值滤波、高斯模糊与 LANCZOS 降采样消除空洞。该库可通过 pip 安装,将 .obj 网格转换为 .glb 输出。
OpenAI 推出基于 GPT-4o 构建的新多模态审核模型,可更准确地检测有害文本和图像,帮助开发者构建更稳健的审核系统。该模型已用于升级 Moderation API。
明尼苏达州企业翻译办公室借助 ChatGPT 弥合语言鸿沟。
OpenAI 与 GEDI 宣布战略合作,把意大利语新闻内容带入 ChatGPT。这是 OpenAI 与意大利媒体集团的内容合作,具体上线时间与内容范围未在原文披露。
Meta 发布 Llama 3.2 系列共十款开放权重模型,包括 5 款多模态视觉模型和 5 款纯文本模型,均已上线 Hugging Face Hub。
推荐理由:Hugging Face 官方给出 Llama 3.2 十款开源权重的规格、基准与端侧运行方式,可据此判断多模态与 1B/3B 小模型的落地路径。