Hugging Face 解读对话智能体为何有用：IFT、SFT、CoT 与 RLHF 的分工
Hugging Face 博客梳理了让对话智能体有用的关键技术，包括指令微调（IFT）、监督微调（SFT）、思维链（CoT）提示和基于人类反馈的强化学习（RLHF），并对比了 LaMDA、BlenderBot 3、Sparrow、ChatGPT/InstructGPT 和 Anthropic Assistant 在访问方式、训练数据、模型架构与评测方向上的差异。
#数据/训练
#数据/训练
今日 1 条Hugging Face BlogAI 评分5252
Hugging Face BlogAI 评分2222 AI 游戏开发：5 天做出农场游戏（第 2 天，用 ChatGPT 做游戏设计）
Hugging Face 博客系列教程第二部分介绍如何用 ChatGPT 辅助农场游戏设计，作者让它以专业游戏设计师身份给出作物多样性、成长系统等建议，并自行取舍实现。文章同时解释语言模型与 Transformer 原理，指出 ChatGPT 常言之凿凿却出错，建议将其用作头脑风暴和加速工具而非开发流程的替代品。
Hugging Face BlogAI 评分2222 Hugging Face 博客：图机器学习入门指南
Hugging Face 发布图机器学习入门博客，介绍图的基本概念、表示方法及学习范式，涵盖从预神经网络方法到图神经网络（GNN），并延伸至面向图的 Transformer。文章还梳理了图级别、节点级别、边级别和子图级别的典型任务，如分子生成、Alphafold 的原子坐标预测、药物副作用预测与推荐系统中的缺失边预测。
Hugging Face BlogAI 评分3636 用 Intel Sapphire Rapids 加速 PyTorch Transformers（上）：分布式训练实战
Hugging Face 展示了如何在 AWS 的 Intel Sapphire Rapids（第四代 Xeon）裸金属实例上分布式训练 PyTorch Transformers，借助 Intel oneAPI CCL 和 IPEX 库，无需改动一行代码即可启用 AMX 指令加速矩阵乘法。
Hugging Face BlogAI 评分2626 Hugging Face 谈机器学习中的偏见：Ethics and Society Newsletter #2
Hugging Face 发布 Ethics and Society Newsletter 第二期，讨论机器学习中的偏见问题。文章指出偏见是复杂的社会技术问题，单一技术手段难以有效解决，并介绍了团队在数据集与模型等 ML 开发各环节开发的偏见分析工具。
Hugging Face BlogAI 评分3434 Habana Gaudi2 对比 Nvidia A100 80GB：训练与推理速度基准测试
Hugging Face 用 Optimum Habana 在 BERT 预训练、Stable Diffusion 推理和 T5-3B 微调上对比了 Habana Gaudi2、初代 Gaudi 与 Nvidia A100 80GB，Gaudi2 训练和推理速度约为 A100 80GB 的两倍。
Hugging Face BlogAI 评分3434 Hugging Face 博客：蛋白质深度学习入门指南
Hugging Face 发布《Deep Learning with Proteins》博文，面向想入门机器学习的生物学家和想入门生物学的机器学习研究者。
Hugging Face BlogAI 评分2424 用同态加密在加密数据上做情感分析：Concrete-ML 实战教程
Hugging Face 博客发布教程，演示如何用 Concrete-ML 库在完全同态加密（FHE）环境下构建情感分析模型，无需密码学背景即可上手。方案先用 BERT 提取文本隐藏表示（hidden size 为 768），再交给 XGBoost 分类，并通过客户端/服务器协议部署到云端，最终在 Hugging Face Spaces 上提供完整演示。
Hugging Face BlogAI 评分5555 Hugging Face 在 transformers 中引入对比搜索解码方法
Hugging Face 将对比搜索（Contrastive Search）解码方法集成进 transformers，PyTorch 和 TensorFlow 均可用，需安装 transformers==4.24.0。
Hugging Face BlogAI 评分4545 Hugging Face 发布 MTEB：大规模文本嵌入基准
Hugging Face 推出 MTEB（Massive Text Embedding Benchmark），覆盖 8 类任务、56 个数据集、最多 112 种语言，排行榜已汇总超 2000 条结果。该基准通过 pip install mteb 即可对任意嵌入模型评测，并将结果提交至公开排行榜，方便按速度、性能与嵌入维度筛选模型。
Hugging Face BlogAI 评分3838 Hugging Face 为模型和数据集引入 DOI
Hugging Face 宣布用户可直接在 Hub 的仓库设置中为模型或数据集生成 DOI，其他人在模型或数据集页面点击“Cite this model/dataset”即可引用。该功能与 DataCite 合作实现，DOI 绑定对象的 URL、版本、创建日期等元数据，新版本发布时 DOI 可更新，旧版本 DOI 随之失效。带 DOI 的数据集和模型将永久保留，仅能通过向官方支持提交请求后删除。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SetFit：无需提示词的高效少样本微调框架
Hugging Face 与 Intel Labs、UKP Lab 合作推出 SetFit，一个面向 Sentence Transformers 的高效少样本微调框架。
推荐理由：Hugging Face 与 Intel Labs 等合作方发布少样本微调框架 SetFit，读者可了解其免提示词的两阶段训练思路与成本对比。
Hugging Face BlogAI 评分3030 如何训练你的第一个 Decision Transformer
Hugging Face 发布教程，教你用 transformers 库的 Trainer 和自定义 Data Collator，从零训练一个离线 Decision Transformer，让 HalfCheetah 学会奔跑。
Hugging Face BlogAI 评分4040 如何用 Megatron-LM 训练语言模型
Hugging Face 发布教程，讲解如何在 NVIDIA GPU 上用 Megatron-LM 训练 GPT2 语言模型，并转换到 Transformers 使用。
Hugging Face BlogAI 评分3232 用 Hugging Face Transformers 和 Habana Gaudi 预训练 BERT
Hugging Face 发布教程，演示如何在 AWS DL1 实例上借助 Habana Gaudi 从零预训练 BERT-base，使用 Transformers、Optimum Habana 和 Datasets 库，以 masked-language modeling 为预训练任务。
Hugging Face BlogAI 评分2222 Hugging Face 教程：训练与微调 Sentence Transformers 模型
Hugging Face 发布 Sentence Transformers 训练与微调教程，讲解如何从零构建模型或从 Hub 加载已有模型微调，并以 distilroberta-base 加池化层为例说明其两层架构。
Hugging Face BlogAI 评分2222 如何用对抗数据动态训练你的模型
Hugging Face 博客介绍动态对抗数据收集（DADC）：让用户用各种手写方式欺骗模型，再把被标记的对抗样本加入数据集反复训练。文章以 MNIST 手写数字识别为例，模型训练 20 个 epoch 后在测试集上达到 89% 准确率，并借助 🤗 Spaces 搭建交互与标记流程。
Hugging Face BlogAI 评分3434 BLOOM 176B 参数模型训练背后的技术揭秘
Hugging Face 披露了 176B 参数多语言模型 BLOOM 的训练技术细节，该模型基于 Megatron-DeepSpeed 框架、采用 3D 并行技术，在 384 块 80GB A100 GPU 上训练了约 3.5 个月。训练数据为 59 种语言、350B token，模型架构类似 GPT3 并做了改进，词表规模 250,680。
Hugging Face Blog精选AI 评分7878 Hugging Face 发布 176B 参数开源多语言模型 BLOOM
Hugging Face 发布 BLOOM，一个 176B 参数的多语言大语言模型，可生成 46 种自然语言和 13 种编程语言的文本，由 70 多个国家 1000 多名研究者协作完成，在法国 Jean Zay 超算上训练 117 天。
推荐理由：BLOOM 以 176B 参数覆盖 46 种自然语言，并公开训练中间检查点，可据此了解开放大模型在透明度上的做法。
Hugging Face BlogAI 评分4848 如何用 Accelerate 结合 DeepSpeed 加速大模型训练
Hugging Face 展示了用 Accelerate 库调用 DeepSpeed ZeRO 加速大模型训练的方法，无需改动代码即可启用 ZeRO Stage-2。
OpenAI News精选AI 评分7171 OpenAI 用 Video PreTraining 训练神经网络玩 Minecraft
OpenAI 提出 Video PreTraining（VPT），在大量无标注的人类 Minecraft 游戏视频上训练神经网络，仅使用少量标注的承包商数据。经微调后，模型能学会制作钻石工具，这一任务通常需要熟练人类花费 20 分钟以上、约 24000 次操作。模型使用键盘按键和鼠标移动的原生人类接口，具有较强通用性，是迈向通用计算机操作智能体的一步。
推荐理由：OpenAI 用大量无标注人类游戏视频预训练网络，展示从少量标注数据到通用计算机操作智能体的路径。
OpenAI News精选AI 评分6262 OpenAI 训练批评写作模型帮助人类发现摘要缺陷
OpenAI 训练了批评写作模型，用于描述摘要中的缺陷。人类评估者在看到模型批评后，发现摘要缺陷的频率明显提高。研究还显示，模型越大自我批评能力越强，规模对批评写作的提升大于对摘要写作的提升，这为用 AI 系统辅助人类监督 AI 系统提供了可能。
推荐理由：OpenAI 用自训练模型写批评来辅助人类发现摘要缺陷，并给出模型规模与批评能力的关系。
OpenAI NewsAI 评分2626 训练大型神经网络的技术
大型神经网络是近期许多 AI 进展的核心，但训练它们是一项艰巨的工程与研究挑战，需要协调一整个 GPU 集群来完成单次同步计算。
Hugging Face Blog精选AI 评分6262 图解扩散模型：用 PyTorch 逐步实现 DDPM
Hugging Face 博客发布《The Annotated Diffusion Model》，基于 Ho 等人 2020 年的 DDPM 论文，用 PyTorch 逐步实现扩散模型。
推荐理由：从 DDPM 论文出发逐步用 PyTorch 复现扩散模型，读者可据此理解前向加噪与反向去噪的完整训练流程。
Hugging Face BlogAI 评分2222 TAPEX：无需真实数据的高效表格预训练
微软提出 TAPEX，通过让 BART 学习充当神经 SQL 执行器，在合成 SQL 查询语料上完成表格预训练，无需真实数据。该方法在 WikiSQL、TabFact、SQA 和 WikiTableQuestions 四个基准上均取得 SOTA，其中 WikiSQL 准确率达 89.6%，较此前最佳提升 2.3%。
Hugging Face BlogAI 评分1212 Sempre Health 如何借助 Hugging Face Expert Acceleration Program 加速其 ML 路线图
Sempre Health 借助 Hugging Face 的 Expert Acceleration Program 搭建了自动分类并回复患者短信的 NLP 流水线，上线数周后近 20% 的入站消息由该系统自动处理，此前这些消息都会生成工单。该团队原本的规则系统只能覆盖约 80% 的短信，Hugging Face 团队在标签质量和模型选型上提供了指导。
Hugging Face BlogAI 评分1818 Hugging Face 机器学习专家 Sasha Luccioni 谈 AI 碳足迹与数据治理
Hugging Face 研究科学家 Sasha Luccioni 在访谈中介绍了她在 Big Science 项目中主持碳足迹工作组的工作，研究范围不止于统计 CO2 排放，还涵盖制造成本乃至一封邮件产生多少 CO2 等维度。
Hugging Face BlogAI 评分3838 用 PyTorch FullyShardedDataParallel 加速大模型训练
Hugging Face 介绍如何通过 Accelerate 库无需改代码即可使用 PyTorch FullyShardedDataParallel（FSDP）训练大模型。
Hugging Face BlogAI 评分2222 用 Kili 和 HuggingFace AutoTrain 构建主动学习文本分类流水线
HuggingFace AutoTrain 与数据标注平台 Kili 可组合成主动学习流水线，用于文本分类任务。AutoTrain 全自动完成数据清洗、模型选择和超参数优化，支持二分类与多标签文本分类、token 分类、抽取式问答、摘要和文本打分，并覆盖英语、德语、法语、西班牙语等语言。
Hugging Face BlogAI 评分2828 在 Habana Gaudi 上快速上手 Transformers：AWS 实例搭建与 BERT 微调实战
Hugging Face 发布教程，演示如何在 AWS EC2 DL1 实例（搭载 8 颗 Habana Gaudi 处理器）上微调 BERT 模型。使用 bert-large-uncased-whole-word-masking 在 GLUE 的 MRPC 任务上训练 3 个 epoch，耗时 2 分 12 秒，F1 达 0.8968。
Hugging Face BlogAI 评分3131 用机器学习打造强化的客户服务：Hugging Face 实战指南
Hugging Face 发布博客，演示如何用其生态工具搭建客户服务场景中的情感分类系统，将用户消息分为 very unsatisfied 到 very satisfied 五类，以优先回复最不满意的客户。
Hugging Face BlogAI 评分2222 Hugging Face Hub 上线 CO2 排放追踪与筛选功能
Hugging Face Hub 推出 emissions_threshold 参数，可按训练碳排放量筛选模型，例如筛选排放不超过 100 克的模型返回 191 个结果。transformers 集成 codecarbon，训练时自动记录排放数据并生成 emissions.csv，方便写入模型卡。
Hugging Face BlogAI 评分2222 Habana Labs 与 Hugging Face 合作加速 Transformer 模型训练
Habana Labs 与 Hugging Face 宣布合作，将 Habana 的 SynapseAI 软件套件与 Hugging Face Optimum 开源库集成，开发者只需几行代码即可在 Habana Gaudi 处理器上加速 Transformer 训练。
Hugging Face BlogAI 评分2222 Hugging Face 机器学习专家访谈：Margaret Mitchell 谈伦理 AI
Hugging Face 发布机器学习专家访谈，嘉宾 Margaret Mitchell 曾任 Google 伦理 AI 团队创始人兼联合负责人，现于 Hugging Face 制定伦理 AI 研究协议与包容性招聘体系。她因在微软 Seeing AI 项目中目睹图像数据偏差而转向伦理 AI，指出 ML 团队普遍缺乏相关概念与词汇，且行业"Alpha"文化使女性主导的伦理研究被轻视。
Hugging Face BlogAI 评分2222 BERT 101：SOTA NLP 模型解析
BERT 是 Google AI Language 研究人员于 2018 年开发的 NLP 模型，全称 Bidirectional Encoder Representations from Transformers，可解决情感分析、命名实体识别等 11+ 种常见语言任务。
Hugging Face BlogAI 评分2828 如何用 Python 入门情感分析
Hugging Face Hub 上已有超过 215 个公开的情感分析模型，用 Python 的 transformers pipeline 只需 5 行代码即可调用，默认模型对 "I love you" 和 "I hate you" 分别给出 0.9998 和 0.9991 的置信度。指南还介绍了 Twitter-roBERTa-base 等预训练模型，以及用自有数据微调情感分析模型的方法。
Hugging Face BlogAI 评分2222 如何用 AutoNLP 和 Prodigy 构建主动学习流水线
Hugging Face 的 AutoNLP 与 Explosion 的标注工具 Prodigy 可组合成主动学习流水线：在 BBC News 分类数据集上，AutoNLP 训练 15 个多分类模型，最佳模型准确率达 98.67%，定价低至每模型 $10。
Hugging Face BlogAI 评分5050 Hugging Face 从零训练 GPT-2 代码生成模型 CodeParrot
Hugging Face 发布教程，介绍如何从零训练 GPT-2 large（1.5B 参数）代码生成模型 CodeParrot，用于自动补全 Python 代码。
Hugging Face BlogAI 评分3636 Hugging Face 推出 Data Measurements Tool：用于查看数据集的交互式工具
Hugging Face 发布开源 Python 库与无代码界面 Data Measurements Tool，基于 Dataset 和 Spaces Hub 及 Streamlit 构建，可在线构建、测量和比较数据集。该工具能自动计算词汇量、标签分布、实例长度、重复项及 Zipf 定律拟合度等指标，帮助数据集创建者和用户进行负责任的数据开发。
Hugging Face BlogAI 评分2222 如何用 Intel 技术加速 PyTorch 分布式微调
在 Intel Xeon Scalable（Ice Lake）CPU 集群上分布式微调 BERT，可将训练时间与成本控制在合理范围。