Hugging Face 教程：用开源 LLM 合成数据训练定制模型，成本降至 2.7 美元
Hugging Face 发布教程，展示如何用开源 LLM 生成合成数据来训练更小更专用的模型。案例以金融新闻投资者情绪分类为例，用 Mixtral-8x7B-Instruct-v0.1 配合 CoT 与 Self-Consistency 标注数据。
推荐理由：用开源 LLM 生成合成数据再蒸馏小模型的完整流程，附可复用 notebook 与成本、延迟、碳排放对比。
#数据/训练
#数据/训练
今日 1 条Hugging Face Blog精选AI 评分6262
Hugging Face Blog精选AI 评分6262 Hugging Face 发布开源模型 Constitutional AI 完整配方
Hugging Face 发布用开源模型实现 Constitutional AI 的端到端配方，并开源 llm-swarm 工具，基于 TGI 和 vLLM 在 Slurm 集群上做可扩展合成数据生成。
推荐理由：Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方，含数据集、模型与评测对比，可迁移到自定义价值观对齐。
Hugging Face BlogAI 评分2222 Hugging Face 上的 PatchTST 时间序列 Transformer 实战指南
Hugging Face 博客演示了 PatchTST 时间序列模型的用法：先在 Electricity 数据集上训练并评估预测性能，再用该模型对 ETTh1 数据集做零样本预测，随后进行线性探测与微调。
Hugging Face BlogAI 评分3131 Hugging Face 与 Patronus 推出 Enterprise Scenarios Leaderboard，评测真实企业用例
Patronus 团队与 Hugging Face 合作，基于 Hugging Face Leaderboard Template 推出 Enterprise Scenarios Leaderboard，用于评测语言模型在真实企业用例中的表现。
Hugging Face BlogAI 评分3434 Hugging Face 发布 PatchTSMixer：轻量 MLP-Mixer 时间序列模型
IBM Research 与 Hugging Face 团队合作，在 Transformers 库中发布了轻量级时间序列建模方法 PatchTSMixer。该模型基于 MLP-Mixer 架构，支持跨 patch、通道和隐藏特征的轻量混合，可预训练后用于预测、分类和回归任务。
Hugging Face BlogAI 评分3232 用 DPO、IPO 与 KTO 做偏好微调：Hugging Face 的 LLM 对齐方法实证评测
Hugging Face 在 7B 模型上实证评测了 DPO、IPO、KTO 三种无需强化学习的 LLM 偏好对齐方法，扫描 β 等关键超参数并用 MT-Bench 评估。
Hugging Face Blog精选AI 评分7878 用 Unsloth 和 TRL 让 LLM 微调提速 2 倍
Hugging Face 博客介绍社区工具 Unsloth，与 transformers、PEFT、TRL 完全兼容，可将 LLM 微调速度提升约 2 倍、显存占用最多降低 74%，且相对标准 QLoRA 精度损失为 0%。
推荐理由：原文给出 Unsloth 与 TRL 的完整接入代码和 59 次基准数据，读者可据此判断微调提速与显存节省幅度。
Hugging Face BlogAI 评分2222 Hugging Face 回顾 2023：开源大语言模型之年
Hugging Face 发布 2023 年开源 LLM 回顾，梳理了 BLOOM、OPT、GLM-130B 等预训练模型家族。BLOOM 最大版本为 176B 参数，基于 350B token 的 46 种人类语言和 13 种编程语言数据训练；Meta 的 OPT 最大版本为 175B 参数，训练数据 180B token。
Hugging Face Blog精选AI 评分6262 Hugging Face 详解混合专家模型 MoE 的原理、训练与部署
Hugging Face 发布长文《Mixture of Experts Explained》，以 Mixtral 8x7B 发布为背景，讲解 MoE 的构成、训练与推理取舍。
推荐理由：从 MoE 的稀疏路由、负载均衡到专家并行与部署取舍，系统梳理了这类架构的原理与工程代价。
Hugging Face BlogAI 评分4040 Hugging Face 与 Intel Labs 推出 SetFitABSA：基于 SetFit 的少样本方面级情感分析
Hugging Face 与 Intel Labs 推出 SetFitABSA，一个用于少样本训练领域特定方面级情感分析（ABSA）模型的框架，在少样本场景下表现优于 Llama2 和 T5 等生成式模型。
OpenAI NewsAI 评分3838 OpenAI 数据合作计划：共建开源与私有 AI 训练数据集
OpenAI 启动 Data Partnerships 计划，与各方合作创建用于 AI 训练的开源和私有数据集。
Hugging Face BlogAI 评分3131 Explosion 推出 Prodigy-HF：与 Hugging Face 直接集成
Explosion 发布 Prodigy-HF 插件，让 Prodigy 标注工具直接对接 Hugging Face 生态。
Hugging Face BlogAI 评分2222 RoBERTa、Llama 2 与 Mistral 7B 灾难推文分类性能对比：基于 LoRA 的微调实践
一项对比实验用 LoRA 微调 RoBERTa-large（355M）、Llama-2-7b 和 Mistral-7B-v0.1（7.3B）三个模型，在灾难推文分类任务上评测性能，统一设置 MAX_LEN=512 以保证公平比较。
Hugging Face BlogAI 评分2222 用一行代码交互式探索你的 Hugging Face 数据集
Hugging Face datasets 库与 Renumics Spotlight 集成，只需一行代码即可对数据集进行交互式可视化。Spotlight 直接读取 datasets 的 Arrow 表结构，无需复制或预处理数据，并支持利用模型预测和嵌入向量定位关键数据簇与模型失败模式。用户可通过 GUI 或 Python API 自定义布局，用于 EDA、模型调试和监控。
Hugging Face BlogAI 评分4848 Hugging Face 复现 OpenAI RLHF 与 PPO 的实现细节
Hugging Face 复现了 OpenAI 2019 年的 RLHF 代码库 openai/lm-human-preferences，在情感与描述性等风格任务上匹配了其学习曲线。
Hugging Face Blog精选AI 评分6262 Hugging Face tokenizers 新增 chat_template 属性，解决聊天格式错配导致的性能下降
Hugging Face tokenizers 新增 chat_template 属性，用 Jinja 模板保存模型训练时使用的对话格式，避免因格式不一致造成的静默性能下降。
推荐理由：Hugging Face 把聊天格式从 transformers 硬编码搬到 tokenizer 属性，读者可据此理解格式错配为何会静默拉低模型表现。
Hugging Face BlogAI 评分4040 用 TRL 的 DDPO 微调 Stable Diffusion 模型
Hugging Face 在 trl 库中集成 DDPOTrainer，可用 DDPO（Denoising Diffusion Policy Optimization）对 Stable Diffusion 做强化学习微调。
Hugging Face BlogAI 评分3838 非工程师指南：训练一个 LLaMA 2 聊天机器人
Hugging Face 发布教程，展示非工程师如何零代码训练 LLaMA 2 聊天机器人。流程分三步：在 Spaces 部署 AutoTrain 与 ChatUI 模板，用 Alpaca 指令数据集微调 Meta Llama 2 7b，再部署为可分享的聊天应用。训练 7b 模型建议选用 A10G Large GPU，AutoTrain 支持 FP16、Int4/8 量化与 PEFT 等设置。
Mistral AI精选AI 评分7878 Mistral AI 发布首个模型 Mistral 7B，以 Apache 2.0 开源
Mistral AI 发布首个模型 Mistral 7B，这是一个 7B 参数模型，在全部标准英文与代码基准上超过当时所有 13B 参数以下的开源模型，并以 Apache 2.0 许可发布、可无限制使用。官方称这是三个月内从零搭建团队、MLops 栈与数据处理流水线的结果，同时开放 GitHub 仓库和 Discord 频道，并计划今年秋季继续发布更大模型与新架构。
推荐理由：Mistral AI 首篇官方博客，交代开源路线与 Mistral 7B 的定位，可对照其后续模型演进。
Hugging Face BlogAI 评分3434 如何在生产环境中优化 LLM：低精度、Flash Attention 与架构创新
Hugging Face 博客梳理了生产环境部署 LLM 的三大优化方向：8-bit 和 4-bit 低精度推理、Flash Attention 以及 Alibi、Rotary embeddings、MQA、GQA 等架构改进。
Hugging Face Blog精选AI 评分6262 用 PyTorch FSDP 微调 Llama 2 70B 的实践与配置
Hugging Face 博客介绍了如何用 PyTorch FSDP 在多节点多 GPU 上微调 Llama 2 70B，并给出配套的 Transformers、Accelerate 与 TRL 配置。
推荐理由：完整给出了 70B 模型多节点微调的三个显存与检查点难题及对应配置解法，可直接迁移到自有训练流程。
Hugging Face Blog精选AI 评分8080 TII 的 Falcon 180B 上线 Hugging Face
TII 的 Falcon 180B 正式上线 Hugging Face，以 1800 亿参数成为当时最大的公开可用语言模型，基于 RefinedWeb 等数据训练了 3.5 万亿 token，使用最多 4096 张 GPU、约 700 万 GPU 小时。
推荐理由：官方给出 180B 模型的训练规模、评测对比与显存需求，可据此判断开源大模型的部署门槛。
OpenAI NewsAI 评分2222 OpenAI 携手 Scale 为企业微调模型提供支持
OpenAI 与 Scale 达成合作，企业客户可借助 Scale 的 AI 专业能力微调 OpenAI 最先进的模型。该支持面向企业微调场景，帮助客户定制模型。
OpenAI News精选AI 评分6262 OpenAI 开放 GPT-3.5 Turbo 微调并更新 API
OpenAI 宣布开发者可以用自己的数据微调 GPT-3.5 Turbo，以适配各自的使用场景，同时更新了 API。官方未在摘要中给出微调的具体价格、上下文长度或可用范围等细节。
推荐理由：OpenAI 官方开放 GPT-3.5 Turbo 微调，开发者可据此判断自有数据定制模型的可行路径。
Hugging Face Blog精选AI 评分6262 用 DPO 微调 Llama 2：TRL 库实践教程
Hugging Face 在 TRL 库中上线 Direct Preference Optimization（DPO）方法，并给出用 QLoRA 在 stack-exchange 偏好数据上微调 Llama v2 7B 的完整流程。
推荐理由：Hugging Face 官方给出 DPO 在 TRL 中的完整训练流程与代码，读者可据此在自己的偏好数据上复现对齐训练。
Hugging Face BlogAI 评分2626 Hugging Face 用机器学习为 Hub 数据集补全语言元数据
Hugging Face 正用机器学习检测 Hub 上缺少语言元数据的数据集语言，并通过 librarian-bots 提交 PR 补全这些元数据。Hub 现有约 5 万个公开数据集，仅约 13% 标注了语言信息，其中约 19% 标注为 en。
Hugging Face BlogAI 评分5555 Segmind 开源 SD-Small 与 SD-Tiny 知识蒸馏代码和权重
Segmind 开源了压缩版 Stable Diffusion 模型 SD-Small 和 SD-Tiny 的权重与蒸馏训练代码，两者参数量分别比基础模型少 35% 和 55%，图像保真度接近基础模型。
Hugging Face BlogAI 评分2222 Hugging Face 开源文本生成与 LLM 生态概览
Hugging Face 梳理其开源文本生成与 LLM 生态，涵盖因果语言模型与 text-to-text 模型、LLM 服务工具及 PEFT 微调。
Hugging Face BlogAI 评分3434 Open LLM Leaderboard 的 MMLU 评分为何与 LLaMA 论文对不上？
Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何显著低于 LLaMA 论文报告值：榜单基于 EleutherAI LM Evaluation Harness，而 LLaMA 团队用的是 UC Berkeley 原始实现，Stanford HELM 又是第三种实现。
Hugging Face BlogAI 评分1212 Hugging Face Hub 如何服务美术馆、图书馆、档案馆与博物馆（GLAM）
Hugging Face Hub 面向美术馆、图书馆、档案馆与博物馆（GLAM）从业者，介绍如何查找模型、上传数据集并托管演示应用。Hub 目前托管超 190,000 个模型、33,000 个数据集和超 100,000 个应用与 demo，覆盖文本、图像、音频等任务。文中以挪威语文献的命名实体识别（NER）模型为例，并演示通过浏览器界面上传 CSV 数据集。
Hugging Face BlogAI 评分4242 Hugging Face Hub 集成 DuckDB：用 SQL 分析 5 万+数据集
Hugging Face Hub 新增 DuckDB 集成，用户可对 Hub 上任意公开数据集运行 SQL 查询。数据集查看器会自动将所有公开数据集转换为 Parquet 文件，大文件按 500MB 分片，可通过 /parquet 端点获取 URL，再借助 httpfs 扩展直接查询远程文件。
Hugging Face BlogAI 评分2222 Hugging Face Hub 上线 fastText 官方模型镜像
Hugging Face 开始托管 Meta AI 开源的 fastText 官方镜像，涵盖全部 157 种语言的词向量和最新语言识别模型，用户可通过 huggingface_hub 的 hf_hub_download 几行命令下载使用。该集成同时支持文本分类与特征提取 widget，并提供语言识别在线体验。
Hugging Face Blog精选AI 评分7676 Falcon 模型家族落地 Hugging Face 生态
阿布扎比 TII 发布 Apache 2.0 许可的 Falcon 语言模型家族，包含 Falcon-40B 与 Falcon-7B 两个基础模型及对应 instruct 版本。
推荐理由：以 Apache 2.0 开源的 Falcon 系列在 Hugging Face 生态中的推理、量化与微调路径被完整拆解，可据此判断开源大模型落地成本。
Hugging Face Blog精选AI 评分7878 Hugging Face 联合 bitsandbytes 在 transformers 中支持 4-bit 量化与 QLoRA
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持以 4-bit 精度加载模型，覆盖文本、视觉和多模态等大多数 HF 模型，并可在 4bit 模型上训练适配器。
推荐理由：Hugging Face 与 bitsandbytes 合作把 4-bit 量化接入 transformers，读者可据此了解消费级硬件跑大模型的具体路径。
Hugging Face Blog精选AI 评分6262 Safetensors 通过外部安全审计，Hugging Face 等三方推动其成为默认格式
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库做了外部安全审计，未发现可导致任意代码执行的关键安全漏洞，报告已完全公开。
推荐理由：外部安全审计结果与三家机构推动默认格式的路线，能帮读者理解模型权重存储格式的安全取舍。
Hugging Face BlogAI 评分4242 用 InstructPix2Pix 对 Stable Diffusion 做指令微调
Hugging Face 博客介绍如何借鉴 InstructPix2Pix 的训练策略与 FLAN 的指令模板思路，对 Stable Diffusion 做指令微调，使其按输入图像加指令完成卡通化、去雨等图像翻译与底层图像处理任务。
Hugging Face BlogAI 评分2828 BigCode 背后的大规模近重复数据删除
Hugging Face 博客分享了 BigCode 项目在大规模代码数据集上做近重复数据删除（near-deduplication）的实践，采用 MinHash + LSH 方法，参数为 (256, 0.7, 5)。该工作延续自 BigScience 的 ROOTS 语料去重经验，此前已确认去重能提升代码模型表现，同时使用更小的数据集。
OpenAI News精选AI 评分6161 OpenAI 用 GPT-4 解释语言模型神经元并公开 GPT-2 数据集
OpenAI 使用 GPT-4 自动为大型语言模型中的神经元行为撰写解释，并对这些解释打分。团队公开了覆盖 GPT-2 每个神经元的解释与评分数据集，并说明这些解释并不完美。
推荐理由：OpenAI 用 GPT-4 自动解释并打分 GPT-2 神经元行为，公开了逐神经元解释数据集，可供研究模型可解释性方法。
Hugging Face BlogAI 评分3232 用 🤗 Transformers 在 TensorFlow 和 TPU 上训练语言模型
Hugging Face 发布端到端教程，演示如何用 🤗 Transformers、TensorFlow 和 TPU 从零训练一个 RoBERTa base 模型，涵盖训练 tokenizer、处理 WikiText v1 数据集、生成 TFRecord 分片并上传至 Google Cloud Storage，以及最终模型训练与上传的完整流程。
Hugging Face BlogAI 评分2626 Databricks 与 Hugging Face 合作：LLM 训练和调优速度提升最高 40%
Databricks 向 Hugging Face 代码库提交首个官方贡献，新增 Datasets 的 from_spark 函数，可直接将 Apache Spark dataframe 转为 Hugging Face Dataset。以 16GB 数据集为例，处理时间从 22 分钟降至 12 分钟，提速超 40%。Databricks 还计划为 Spark 加入流式支持以进一步加快数据集加载。