在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 展示了如何用 Optimum Habana 的自定义 pipeline 类在 Intel Gaudi 2 AI 加速器上运行 Llama 2 系列模型（7b、13b、70b）进行文本生成，仅需几行代码即可完成端到端的预处理与后处理。
全部AI 动态
全部动态
今日 56 条Hugging Face BlogAI 评分2222
Hugging Face Blog精选AI 评分7878 BigCode 发布 StarCoder2 系列代码模型与 The Stack v2 数据集
BigCode 发布 StarCoder2，这是新一代透明训练的开放代码大语言模型，包含 3B、7B、15B 三个尺寸，分别由 ServiceNow、Hugging Face 和 NVIDIA 训练。
推荐理由：BigCode 同时放出三个尺寸的代码模型与配套数据集，读者可据此了解开源代码模型当前的规模与训练数据构成。
Hugging Face BlogAI 评分5858 Hugging Face 发布 TTS Arena，用众包投票评测语音合成模型
Hugging Face 发布 TTS Arena，借鉴 LMSys 的 Chatbot Arena，让用户输入文本后对比两个 TTS 模型的合成语音并投票选出更自然的一方，结果汇入公开排行榜。
Mistral AI精选AI 评分6262 Mistral AI 发布对话助手 Le Chat 及企业版
Mistral AI 发布对话助手 Le Chat，作为与 Mistral 各模型交互的对话入口，底层可调用 Mistral Large、Mistral Small 或原型模型 Mistral Next。
推荐理由：Mistral 官方发布对话助手 Le Chat 及企业版，可了解其模型接入方式与自部署、审核机制。
Mistral AI精选AI 评分8080 Mistral AI 发布旗舰模型 Mistral Large 与 Mistral Small
Mistral AI 发布最新旗舰文本生成模型 Mistral Large，可通过 la Plateforme 和 Azure 使用，Azure 是其首个分发合作伙伴。
推荐理由：Mistral 官方给出旗舰模型 Mistral Large 的基准对比与 Azure 分发路径，可据此判断其能力定位与接入方式。
Hugging Face BlogAI 评分3636 Hugging Face：AI 水印工具与技术入门指南
Hugging Face 发文梳理 AI 生成内容的水印方案，区分生成时嵌入与生成后添加两类方法，并盘点 Hub 上的相关工具。文中提到 Glaze、Photoguard 可微调图像干扰 AI 处理，Nightshade、Fawkes 则通过"投毒"破坏训练假设；Truepic 按 C2PA 标准嵌入元数据，IMATAG 采用水印器与检测器闭源、调用代码开源的混合模式。
Hugging Face BlogAI 评分4040 如何在 Hugging Face 上微调 Gemma 模型
Hugging Face 发布教程，介绍如何用 Transformers 和 PEFT 库对 Google DeepMind 的开源模型 Gemma（2B 和 7B 参数）进行参数高效微调（PEFT）。教程以 LoRA 为例，结合 QLoRA 的 4-bit 量化，在 GPU 和 Cloud TPU 上以低显存成本完成微调，并使用 Abirate/english_quotes 数据集演示训练流程。
Hugging Face BlogAI 评分3636 Haize Labs 联合 Hugging Face 推出红队抵抗排行榜
Haize Labs 在 Hugging Face 团队支持下发布 Red Teaming Resistance Benchmark，用真实人类越狱提示词测试前沿模型的抗攻击能力，最终得分由 LlamaGuard 与 GPT-4 判定为 Safe 的提示词百分比构成。
Hugging Face BlogAI 评分5050 Hugging Face 详解 Matryoshka 嵌入模型：原理、训练与实战
Hugging Face 发布 Matryoshka 嵌入模型入门指南，介绍这类模型可将完整嵌入截断为多种维度仍保持性能，灵感来自俄罗斯套娃，由 Kusupati 等人于 2022 年提出。
Hugging Face Blog精选AI 评分7777 Google 发布开源大模型 Gemma，Hugging Face 全面集成
Google 发布开源大模型家族 Gemma，包含 2B 和 7B 两种规模，各有基础版与指令微调版共 4 个开放模型，上下文长度 8K tokens。Hugging Face 同步完成集成，覆盖 Transformers 4.38、Google Cloud、Inference Endpoints 以及用 TRL 在单卡上微调的示例。
推荐理由：Google 开源 Gemma 后，Hugging Face 同步给出 2B/7B 四个模型的集成与部署路径，可对照榜单分数判断其定位。
Hugging Face BlogAI 评分2222 Hugging Face 与 Upstage 推出 Open Ko-LLM Leaderboard：韩国大语言模型评测生态
Upstage 于 2023 年 9 月发起 Open Ko-LLM Leaderboard，用于评测韩语大语言模型，采用 Ko-ARC、Ko-HellaSwag、Ko-MMLU、Ko-Truthful QA 和 Ko-CommonGEN V2 五项任务，并新建私有测试集以防止数据污染。
Hugging Face BlogAI 评分5858 Hugging Face PEFT 新增多种 LoRA 适配器合并方法
Hugging Face 在 PEFT 中新增面向 LoRA 适配器的多种合并方法，包括 cat、linear、svd、ties、dare 和 magnitude_prune 系列，可通过 add_weighted_adapter() 调用。
Hugging Face Blog精选AI 评分6262 Hugging Face 教程：用开源 LLM 合成数据训练定制模型，成本降至 2.7 美元
Hugging Face 发布教程，展示如何用开源 LLM 生成合成数据来训练更小更专用的模型。案例以金融新闻投资者情绪分类为例，用 Mixtral-8x7B-Instruct-v0.1 配合 CoT 与 Self-Consistency 标注数据。
推荐理由：用开源 LLM 生成合成数据再蒸馏小模型的完整流程，附可复用 notebook 与成本、延迟、碳排放对比。
Hugging Face BlogAI 评分2020 AMD 与 Hugging Face 联合举办 Pervasive AI 开发者大赛
AMD 与 Hugging Face 联合启动 Pervasive AI Developer Contest，设生成式 AI、机器人 AI 和 PC AI 三个赛道，总奖金 16 万美元，单个获奖者最高可得 1 万美元，并提供 700 个 AMD 平台供参赛者使用。
OpenAI News精选AI 评分6262 OpenAI 为 ChatGPT 测试记忆功能并加入控制选项
OpenAI 正在测试 ChatGPT 记住用户讨论内容的能力，以便让后续对话更有帮助。官方表示，记忆功能的控制权在用户手中。
推荐理由：OpenAI 官方说明 ChatGPT 记忆功能的测试范围与用户控制方式，可了解该能力上线时的边界设定。
Hugging Face Blog精选AI 评分6060 Hugging Face 为 TGI 和 Inference Endpoints 推出兼容 OpenAI 的 Messages API
Hugging Face 为 Text Generation Inference（TGI）和 Inference Endpoints 推出 Messages API，从 TGI 1.4.0 起提供与 OpenAI Chat Completion API 兼容的接口，可直接配合 OpenAI 客户端库以及 LangChain、LlamaIndex 使用。
推荐理由：官方给出 OpenAI 兼容接口的接入方式与限制，读者可据此评估把现有 OpenAI 调用迁到开源模型的成本。
Hugging Face BlogAI 评分5757 SegMind 发布 SegMoE 混合专家扩散模型框架
SegMind 发布 SegMoE 框架，可从零构建混合专家扩散模型，并已集成进 Hugging Face diffusers 生态。此次发布包括 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型，以及用于自建 MoE 模型的 segmoe 包和 GitHub 仓库，模型采用 Apache 2.0 许可。
Hugging Face BlogAI 评分2929 Hugging Face 上线 NPHardEval 排行榜：用复杂度类别动态评测 LLM 推理能力
Hugging Face 推出 NPHardEval 排行榜，基于密歇根大学和罗格斯大学研究者开发的 NPHardEval 基准，通过计算复杂度类别评估 LLM 推理能力。
Hugging Face BlogAI 评分4040 Hugging Face Text Generation Inference 正式支持 AWS Inferentia2 与 Amazon SageMaker
Hugging Face Text Generation Inference（TGI）正式在 AWS Inferentia2 和 Amazon SageMaker 上全面可用，为生产级 LLM 部署提供 GPU 之外的替代方案。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布开源模型 Constitutional AI 完整配方
Hugging Face 发布用开源模型实现 Constitutional AI 的端到端配方，并开源 llm-swarm 工具，基于 TGI 和 vLLM 在 Slurm 集群上做可扩展合成数据生成。
推荐理由：Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方，含数据集、模型与评测对比，可迁移到自定义价值观对齐。
Hugging Face BlogAI 评分2222 Hugging Face 上的 PatchTST 时间序列 Transformer 实战指南
Hugging Face 博客演示了 PatchTST 时间序列模型的用法：先在 Electricity 数据集上训练并评估预测性能，再用该模型对 ETTh1 数据集做零样本预测，随后进行线性探测与微调。
OpenAI NewsAI 评分4747 OpenAI 构建 LLM 辅助生物威胁创建的早期预警系统
OpenAI 正在制定一套评估大语言模型可能协助制造生物威胁风险的蓝图。在生物专家与学生参与的评估中，GPT-4 对生物威胁创建准确率的提升至多为轻微程度。该提升尚不足以形成定论，但可作为后续研究与社区讨论的起点。
Hugging Face BlogAI 评分3131 Hugging Face 与 Patronus 推出 Enterprise Scenarios Leaderboard，评测真实企业用例
Patronus 团队与 Hugging Face 合作，基于 Hugging Face Leaderboard Template 推出 Enterprise Scenarios Leaderboard，用于评测语言模型在真实企业用例中的表现。
Hugging Face BlogAI 评分2424 在 Intel Xeon 上用 🤗 Optimum Intel 加速 StarCoder：Q8/Q4 量化与推测解码
借助 8bit/4bit 量化与辅助生成（assisted generation），StarCoder-15B 在第四代 Intel Xeon 上实现超过 7 倍的推理加速。其中 Q8-StarCoder 采用 SmoothQuant 静态量化，精度与 BF16 基线持平甚至略有提升，TTFT 与 TPOT 分别提速约 2.19 倍和 2.20 倍。
Hugging Face BlogAI 评分3838 Hugging Face 推出幻觉排行榜，开放评测大语言模型的幻觉问题
Hugging Face 发布 Hallucinations Leaderboard，基于 EleutherAI Language Model Evaluation Harness 对多种 LLM 进行幻觉相关基准评测，覆盖闭卷问答、摘要、阅读理解、指令遵循、事实核查等任务，并已发布相关论文。
Hugging Face BlogAI 评分4040 Hugging Face 发布 AI Secure LLM Safety Leaderboard
Hugging Face 推出 LLM Safety Leaderboard，基于 DecodingTrust 评估框架对 LLM 安全性进行评测，该框架曾获 NeurIPS 2023 杰出论文奖。
Hugging Face BlogAI 评分4747 Hugging Face 与 Google Cloud 达成战略合作，共建开放 AI 生态
Hugging Face 宣布与 Google Cloud 建立战略合作，围绕开放科学、开源、云与硬件展开协作，帮助企业在 Hugging Face 开放模型与 Google Cloud 基础设施上构建自己的 AI。
Hugging Face Blog精选AI 评分6262 Hugging Face 实测开源 LLM 作为 LangChain 智能体的表现
Hugging Face 在 LangChain 的 ReAct 实现中评测了 Llama2-70b-chat、Mixtral-8x7B-Instruct-v0.1、OpenHermes-2.5-Mistral-7B、Zephyr-7b-beta、SOLAR-10.7B-Instruct-v1.0 等开源模型作为通用推理智能体的表现，并与 GPT-3.5、GPT-4 对比。
推荐理由：用同一套 ReAct 基准横向对比多个开源模型与 GPT-3.5、GPT-4，并给出 LangChain 搭建代码，可据此判断开源模型做智能体的可用性。
Hugging Face BlogAI 评分3434 Hugging Face 发布 PatchTSMixer：轻量 MLP-Mixer 时间序列模型
IBM Research 与 Hugging Face 团队合作，在 Transformers 库中发布了轻量级时间序列建模方法 PatchTSMixer。该模型基于 MLP-Mixer 架构，支持跨 patch、通道和隐藏特征的轻量混合，可预训练后用于预测、分类和回归任务。
Hugging Face BlogAI 评分2828 用 🤗 Transformers 微调 W2V2-BERT 实现低资源 ASR
Hugging Face 发布教程，介绍如何用 🤗 Transformers 微调 facebook/w2v-bert-2.0 完成低资源 ASR。Wav2Vec2-BERT 是 580M 参数音频模型，预训练于 4.5M 小时、覆盖 143 种语言的无标注音频。
Hugging Face BlogAI 评分3232 用 DPO、IPO 与 KTO 做偏好微调：Hugging Face 的 LLM 对齐方法实证评测
Hugging Face 在 7B 模型上实证评测了 DPO、IPO、KTO 三种无需强化学习的 LLM 偏好对齐方法，扫描 β 等关键超参数并用 MT-Bench 评估。
OpenAI NewsAI 评分2222 OpenAI 民主输入 AI 资助计划：经验总结与实施规划
OpenAI 公布了其"民主输入 AI"资助计划的结果，该计划资助了来自全球的 10 支团队，用于设计集体治理 AI 的想法和工具。OpenAI 总结了这些团队的创新成果与自身经验，并呼吁研究人员和工程师加入后续工作。
OpenAI NewsAI 评分2626 OpenAI 如何应对 2024 年全球选举
OpenAI 正从三方面应对 2024 年全球选举：防止滥用、为 AI 生成内容提供透明度，以及改善选民获取准确投票信息的渠道。
Hugging Face BlogAI 评分3838 用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Hugging Face 发布经 Olive 优化的 SD Turbo 与 SDXL Turbo 模型，在 NVIDIA GPU 上通过 ONNX Runtime 的 CUDA 和 TensorRT 执行提供程序加速推理，吞吐量相比 PyTorch 最高提升 229%（SDXL Turbo）和 120%（SD Turbo）。
Hugging Face Blog精选AI 评分6262 在 Hugging Face Spaces 上用 Gradio 免费运行 ComfyUI 工作流
Hugging Face 发布教程，讲解如何把 ComfyUI 工作流转成 Gradio 应用并部署到 Spaces 的 ZeroGPU 上免费运行。
推荐理由：完整走通从 ComfyUI 工作流导出 Python、包成 Gradio 应用到 ZeroGPU 免费部署的链路，可迁移到任意工作流。
OpenAI NewsAI 评分1212 OpenAI 助力 Digital Green 构建农民农业数据库
Digital Green 借助 OpenAI 构建农业数据库，用于提升农民收入。
Hugging Face BlogAI 评分2828 如何用 Hugging Face 排行榜模板搭建自己的 LLM 排行榜：以 Vectara 幻觉排行榜为例
Vectara 基于 Hugging Face 开源的排行榜模板，发布了新的 HHEM 幻觉排行榜，用于评估 GPT-4、Gemini、Llama 2 等 LLM 在文档摘要中的幻觉频率。该排行榜通过 requests 和 results 两个数据集管理模型评测请求与结果，并支持动态更新和社区提交新模型。Vectara 还公开了定制后的后端源码，可部署为 Hugging Face Space。
OpenAI News精选AI 评分7575 OpenAI 推出 GPT Store
OpenAI 发布 GPT Store，官方公告标题为 Introducing the GPT Store，正文内容未能抓取。
OpenAI News精选AI 评分6262 OpenAI 推出 ChatGPT Team 团队套餐
OpenAI 发布面向各种规模团队的新 ChatGPT 套餐 ChatGPT Team，提供安全、可协作的工作空间，帮助团队在工作中充分利用 ChatGPT。
推荐理由：OpenAI 官方发布面向团队的 ChatGPT 新套餐，读者可了解其安全协作工作区的定位。
Hugging Face Blog精选AI 评分7878 用 Unsloth 和 TRL 让 LLM 微调提速 2 倍
Hugging Face 博客介绍社区工具 Unsloth，与 transformers、PEFT、TRL 完全兼容，可将 LLM 微调速度提升约 2 倍、显存占用最多降低 74%，且相对标准 QLoRA 精度损失为 0%。
推荐理由：原文给出 Unsloth 与 TRL 的完整接入代码和 59 次基准数据，读者可据此判断微调提速与显存节省幅度。