用机器学习打造强化的客户服务：Hugging Face 实战指南
Hugging Face 发布博客，演示如何用其生态工具搭建客户服务场景中的情感分类系统，将用户消息分为 very unsatisfied 到 very satisfied 五类，以优先回复最不满意的客户。
#数据/训练
#数据/训练
今日 1 条Hugging Face BlogAI 评分3131
Hugging Face BlogAI 评分2222 Hugging Face Hub 上线 CO2 排放追踪与筛选功能
Hugging Face Hub 推出 emissions_threshold 参数，可按训练碳排放量筛选模型，例如筛选排放不超过 100 克的模型返回 191 个结果。transformers 集成 codecarbon，训练时自动记录排放数据并生成 emissions.csv，方便写入模型卡。
Hugging Face BlogAI 评分2222 Habana Labs 与 Hugging Face 合作加速 Transformer 模型训练
Habana Labs 与 Hugging Face 宣布合作，将 Habana 的 SynapseAI 软件套件与 Hugging Face Optimum 开源库集成，开发者只需几行代码即可在 Habana Gaudi 处理器上加速 Transformer 训练。
Hugging Face BlogAI 评分2222 Hugging Face 机器学习专家访谈：Margaret Mitchell 谈伦理 AI
Hugging Face 发布机器学习专家访谈，嘉宾 Margaret Mitchell 曾任 Google 伦理 AI 团队创始人兼联合负责人，现于 Hugging Face 制定伦理 AI 研究协议与包容性招聘体系。她因在微软 Seeing AI 项目中目睹图像数据偏差而转向伦理 AI，指出 ML 团队普遍缺乏相关概念与词汇，且行业"Alpha"文化使女性主导的伦理研究被轻视。
Hugging Face BlogAI 评分2222 BERT 101：SOTA NLP 模型解析
BERT 是 Google AI Language 研究人员于 2018 年开发的 NLP 模型，全称 Bidirectional Encoder Representations from Transformers，可解决情感分析、命名实体识别等 11+ 种常见语言任务。
Hugging Face BlogAI 评分2828 如何用 Python 入门情感分析
Hugging Face Hub 上已有超过 215 个公开的情感分析模型，用 Python 的 transformers pipeline 只需 5 行代码即可调用，默认模型对 "I love you" 和 "I hate you" 分别给出 0.9998 和 0.9991 的置信度。指南还介绍了 Twitter-roBERTa-base 等预训练模型，以及用自有数据微调情感分析模型的方法。
Hugging Face BlogAI 评分2222 如何用 AutoNLP 和 Prodigy 构建主动学习流水线
Hugging Face 的 AutoNLP 与 Explosion 的标注工具 Prodigy 可组合成主动学习流水线：在 BBC News 分类数据集上，AutoNLP 训练 15 个多分类模型，最佳模型准确率达 98.67%，定价低至每模型 $10。
Hugging Face BlogAI 评分5050 Hugging Face 从零训练 GPT-2 代码生成模型 CodeParrot
Hugging Face 发布教程，介绍如何从零训练 GPT-2 large（1.5B 参数）代码生成模型 CodeParrot，用于自动补全 Python 代码。
Hugging Face BlogAI 评分3636 Hugging Face 推出 Data Measurements Tool：用于查看数据集的交互式工具
Hugging Face 发布开源 Python 库与无代码界面 Data Measurements Tool，基于 Dataset 和 Spaces Hub 及 Streamlit 构建，可在线构建、测量和比较数据集。该工具能自动计算词汇量、标签分布、实例长度、重复项及 Zipf 定律拟合度等指标，帮助数据集创建者和用户进行负责任的数据开发。
Hugging Face BlogAI 评分2222 如何用 Intel 技术加速 PyTorch 分布式微调
在 Intel Xeon Scalable（Ice Lake）CPU 集群上分布式微调 BERT，可将训练时间与成本控制在合理范围。
Hugging Face BlogAI 评分2222 在现代 CPU 上扩展类 BERT 模型推理（第二部分）：Intel 软件优化与 Ice Lake 性能实测
Hugging Face 博客第二部分聚焦用 Intel 软件栈优化 CPU 上的类 BERT 模型推理，实测新一代 Ice Lake Xeon 在多种 NLP 任务上推理速度较上代 Cascade Lake 最高提升 75%。
Hugging Face BlogAI 评分3030 大语言模型：新的摩尔定律？
微软和 NVIDIA 发布 Megatron-Turing NLG 530B，号称全球最大最强的生成式语言模型，但复现该实验的基础设施成本接近 1 亿美元。作者质疑这类超大模型趋势：单台 DGX A100 服务器售价 19.9 万美元、功耗最高 6.5 千瓦，而 2019 年马萨诸塞大学研究显示在 GPU 上训练 BERT 的碳排放约等于一次横跨美国的飞行。
Hugging Face BlogAI 评分1717 Hugging Face 课程第二部分发布暨社区活动
Hugging Face 课程第二部分将于 11 月 15 日发布，聚焦 token 分类、语言建模、翻译、摘要和问答等常见 NLP 任务，并深入讲解 Datasets 与 Tokenizers。配套社区活动包含两天讲座和团队项目，AWS 通过 Amazon SageMaker 提供免费算力，完成项目者可获结业证书。
Hugging Face BlogAI 评分5050 Hugging Face 用 10 亿训练句对训练句嵌入模型
Hugging Face 在社区周期间用 10 亿句对训练出 SOTA 句嵌入模型，硬件为 7 块 TPU v3-8。方法采用批内负样本的对比学习（InfoNCE/NTXentLoss），并指出更大 batch size、难负样本与跨数据集批次能提升效果。模型与数据集已在模型卡中公开。
Hugging Face BlogAI 评分2222 用遥感（卫星）图像与描述文本微调 CLIP
一个分布式团队用 RSICD、UCM 和 Sydney 三个遥感数据集对 OpenAI 的 CLIP 进行微调，使其能按文本描述检索卫星图像。训练采用对比学习，并配合图像增强与基于 Marian MT 回译的文本增强来抑制过拟合。微调后的模型已开放下载，并提供在线 demo 供试用。
OpenAI NewsAI 评分5858 OpenAI 用人类反馈总结书籍
OpenAI 发布文章介绍用人类反馈总结书籍，目标是扩展人类对 AI 系统在难以评估任务上的监督。材料仅提供摘要，未给出具体方法、数据或结果细节。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出 DeDLOC 协作训练方法，40 名志愿者预训练出孟加拉语模型 sahajBERT
Hugging Face 等机构提出 DeDLOC 协作分布式训练方法，可自适应参与者的网络与硬件条件，并用 40 名志愿者预训练出孟加拉语模型 sahajBERT。
推荐理由：DeDLOC 用 40 名志愿者和家用 GPU 预训练出孟加拉语模型，读者可了解分布式协作训练如何绕开算力门槛。
OpenAI NewsAI 评分3636 OpenAI 研究：用精选数据集微调可改善语言模型行为
OpenAI 研究发现，通过在小型精选数据集上微调，可以改善语言模型在特定行为价值观方面的表现。
Hugging Face BlogAI 评分2828 使用 🤗 Transformers 和 Amazon SageMaker 分布式训练 BART/T5 做摘要
Hugging Face 与 Amazon SageMaker 合作推出优化版 🤗 Transformers 深度学习容器，并在 SageMaker Python SDK 中新增 HuggingFace estimator，一行代码即可启动训练。
Hugging Face BlogAI 评分2222 Hugging Face 工程师谈构建神经网络时的调试思路
Hugging Face 工程师分享构建和调试神经网络的思考流程，建议先放下机器学习、专注分析数据标签与噪声，再从逻辑回归、word2vec、fastText 等简单基线起步，并对照随机预测器评估指标。作者还建议不要迷信五行代码模板，实现后可用 16 条样本做小批量过拟合测试，若无法达到 0 loss 则很可能存在实现错误。
Hugging Face Blog精选AI 评分6262 通过 DeepSpeed 和 FairScale 用 ZeRO 装下更大模型并训练更快
Hugging Face 的 transformers v4.2.0 为 Trainer 加入 DeepSpeed 和 FairScale 的 ZeRO 实验性支持，新增 --deepspeed 和 --sharded_ddp 命令行参数。
推荐理由：作者用 t5-large 与 t5-3b 的实测数据对比 FairScale 与 DeepSpeed 的显存与速度收益，可据此判断自己该先试哪种方案。
Hugging Face BlogAI 评分3131 如何用预训练语言模型检查点热启动 Encoder-Decoder 模型
Hugging Face 发布教程，介绍如何用 BERT、GPT2 等预训练检查点热启动 encoder-decoder 模型，从而跳过昂贵的预训练阶段。该方法基于 Rothe 等人 2020 年的论文，在多个序列到序列任务上以极低训练成本达到与 T5、Pegasus 等大型预训练 encoder-decoder 模型相当的效果。
Hugging Face BlogAI 评分3030 Hugging Face Transformers 与 Ray Tune 集成实现超参数搜索
Hugging Face Transformers 在 3.1 版本中与 Ray Tune 集成，用户只需在 Trainer 的 hyperparameter_search 中指定 backend="ray" 即可调用 HyperBand、Bayesian Optimization、Population-Based Training 等调参算法。
Hugging Face BlogAI 评分3838 Hugging Face 发布 pytorch_block_sparse：让语言模型更小更快
Hugging Face 发布 PyTorch 扩展 pytorch_block_sparse，其 BlockSparseLinear 可直接替换 torch.nn.Linear，让模型更小更快。
OpenAI NewsAI 评分4848 OpenAI 用人类反馈强化学习训练摘要模型
OpenAI 将人类反馈强化学习（RLHF）应用于语言模型训练，使其摘要能力得到提升。
Hugging Face BlogAI 评分4242 Reformer 如何用不到 8GB 内存训练 50 万 token 长序列
Hugging Face 博客详解 Reformer 模型，它能在不到 8GB 内存下训练长度达 50 万 token 的序列，而 bert-base-uncased 仅支持 512 token。Reformer 通过局部与 LSH 自注意力、分块前馈层、可逆残差层和轴向位置编码四项改造降低内存占用，并已集成进 Transformers 库。
OpenAI News精选AI 评分6262 OpenAI 发布 Image GPT：用 Transformer 生成图像
OpenAI 发现，正如在语言上训练的大型 Transformer 模型能生成连贯文本，同一套模型在像素序列上训练后也能生成连贯的图像补全与样本。研究通过建立样本质量与图像分类准确率之间的相关性，表明其最佳生成模型在无监督设定下所包含的特征可与顶级卷积网络竞争。
推荐理由：OpenAI 用同一套 Transformer 架构处理像素序列，并给出生成质量与分类精度的关联证据。
OpenAI News精选AI 评分8585 OpenAI 论文：语言模型是少样本学习器
OpenAI 发布题为 Language models are few-shot learners 的论文，讨论语言模型的少样本学习能力。该页面正文抓取失败，仅保留标题信息。
OpenAI News精选AI 评分6262 OpenAI 分析：ImageNet 训练算力每 16 个月减半
OpenAI 发布分析称，自 2012 年以来，在 ImageNet 分类上训练神经网络达到同等性能所需算力每 16 个月减少一半。与 2012 年相比，训练到 AlexNet 水平所需算力减少 44 倍，而同期摩尔定律只带来 11 倍的成本改善。OpenAI 认为，在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。
推荐理由：OpenAI 用 ImageNet 训练算力数据量化算法进步速度，可与摩尔定律对照理解 AI 效率来源。
OpenAI NewsAI 评分4242 OpenAI 推出 Microscope：八个视觉模型的可视化工具
OpenAI 推出 Microscope，可视化八个视觉"模式生物"模型的每一重要层与神经元，便于分析神经网络内部形成的特征。该工具面向可解释性研究，旨在帮助研究社区理解这些复杂系统。
Hugging Face Blog精选AI 评分6262 如何用 Transformers 和 Tokenizers 从零训练一个新语言模型
Hugging Face 发布教程，演示如何用 transformers 和 tokenizers 库从零训练一个 84M 参数的小型语言模型 EsperBERTo，并在世界语上完成预训练与词性标注微调。
推荐理由：以世界语为例完整走通从零预训练到下游微调的流程，可迁移到其他低资源语言。
OpenAI NewsAI 评分4040 OpenAI 研究：深度神经网络中的双重下降现象
OpenAI 发现双重下降现象在 CNN、ResNet 和 Transformer 中普遍存在：随着模型规模、数据规模或训练时间增加，性能先提升、再变差、然后再次提升。这一效应通常可通过精细的正则化避免，但其成因尚不完全清楚，OpenAI 将其视为重要研究方向。
OpenAI News精选AI 评分7171 OpenAI 用机械手解魔方：纯仿真训练加 ADR
OpenAI 训练了一对神经网络，让类人机械手还原魔方，训练完全在仿真中完成，使用与 OpenAI Five 相同的强化学习代码，并搭配名为 Automatic Domain Randomization（ADR）的新技术。系统能应对训练中从未见过的情况，例如被毛绒长颈鹿戳碰。OpenAI 表示这说明强化学习不只是虚拟任务的工具，也能解决需要前所未有灵巧度的物理世界问题。
推荐理由：OpenAI 用同一套强化学习代码加 ADR 让机械手在仿真中学会还原魔方，可看仿真到现实迁移的早期思路。
OpenAI News精选AI 评分6262 OpenAI 用人类偏好微调 774M 参数 GPT-2
OpenAI 用人类反馈微调了 774M 参数的 GPT-2 语言模型，在多项任务上成功匹配外部人类标注者的偏好，但这些偏好并不总与 OpenAI 自身一致。在摘要任务中，标注者偏好直接照抄输入的句子，模型因此学会了复制，该任务需要 60k 条人类标注；而按不同风格续写文本等更简单的任务只需 5k 条标注。OpenAI 表示其动机是让安全技术更接近“机器与人对话”这一通用任务。
推荐理由：OpenAI 用人类偏好微调 GPT-2 的早期实验，展示了标注偏好如何直接塑造模型行为。
OpenAI News精选AI 评分7676 OpenAI 发布 774M 参数 GPT-2 并公开模型共享协议
OpenAI 发布 774M 参数的 GPT-2 语言模型，此前已先后放出 124M 小模型和 355M 中模型。OpenAI 同时发布一份开源法律协议，便于机构之间建立模型共享合作，并发布技术报告介绍与更广泛 AI 研究社区协调发布规范的经验。
推荐理由：OpenAI 分阶段放出 GPT-2 最大版本，并公开模型共享法律协议，可观察大模型发布节奏与协作机制。
OpenAI News精选AI 评分6262 OpenAI 提出 Sparse Transformer，可处理长 30 倍的序列
OpenAI 开发了 Sparse Transformer，一种深度神经网络，在预测文本、图像或声音序列中下一个内容的任务上创下新纪录。它通过注意力机制的算法改进提取序列模式，可处理的序列长度是此前的 30 倍。
推荐理由：OpenAI 官方介绍 Sparse Transformer 对注意力机制的算法改进，可了解长序列建模在文本、图像和声音上的早期思路。
OpenAI NewsAI 评分3232 OpenAI 提出能量模型隐式生成与泛化方法
OpenAI 在能量模型（EBM）的稳定可扩展训练上取得进展，样本质量和泛化能力优于现有模型。EBM 生成时投入更多算力持续精修答案，在低温下可生成与 GAN 媲美的样本，同时具备似然类模型的模式覆盖保证。
OpenAI NewsAI 评分2020 OpenAI Fellows Summer 2018 结业项目
OpenAI 首期 Fellows 项目结业，每位学员在 6 个月学徒期内从机器学习初学者成长为 OpenAI 的核心贡献者。
OpenAI NewsAI 评分4242 OpenAI 研究：AI 训练如何扩展——梯度噪声尺度可预测并行性
OpenAI 发现梯度噪声尺度这一统计指标能预测神经网络训练在多种任务上的可并行性。由于复杂任务的梯度噪声更大，未来更大的 batch size 可能变得有用，从而消除 AI 系统继续扩展的一项潜在限制。该结果表明神经网络训练并非神秘技艺，而是可以被严谨化和系统化。
OpenAI NewsAI 评分4848 OpenAI 发布 Spinning Up in Deep RL 深度强化学习教育资源
OpenAI 发布 Spinning Up in Deep RL，一套面向任何人的深度强化学习教育资源，目标是让人学会成为熟练的深度强化学习实践者。该资源包含清晰的 RL 代码示例、教学练习、文档和教程。