我在 Google Cloud 上部署 serverless transformers pipeline 的历程
社区成员 Maxence Dominici 分享了在 Google Cloud 上部署 transformers 情感分析 pipeline 的过程，最终方案基于 Cloud Run 与 Docker 镜像，使用 DistilBERT base uncased finetuned SST-2 模型和 PyTorch 推理。
#教程/实践
#教程/实践
今日 3 条Hugging Face BlogAI 评分2222
Hugging Face BlogAI 评分2828 用 🤗 Transformers 在 Hugging Face 上微调 Wav2Vec2 实现英语 ASR
Hugging Face 发布教程，演示如何用 🤗 Transformers 微调 Wav2Vec2 预训练模型做英语 ASR。Wav2Vec2 由 Alexei Baevski 等人于 2020 年 9 月发布，仅用 10 分钟标注数据即可在 LibriSpeech 干净测试集上取得低于 5% 的 WER。
Hugging Face BlogAI 评分2222 Hugging Face 工程师谈构建神经网络时的调试思路
Hugging Face 工程师分享构建和调试神经网络的思考流程，建议先放下机器学习、专注分析数据标签与噪声，再从逻辑回归、word2vec、fastText 等简单基线起步，并对照随机预测器评估指标。作者还建议不要迷信五行代码模板，实现后可用 16 条样本做小批量过拟合测试，若无法达到 0 loss 则很可能存在实现错误。
Hugging Face BlogAI 评分4040 Hugging Face Transformers 与 Ray 集成：RAG 检索提速 2 倍
Hugging Face Transformers 新增的 RAG 模型通过集成 Ray 实现分布式文档检索，每次检索调用相比 torch.distributed 提速 2 倍，并改善了 RAG 分布式微调的可扩展性。
Hugging Face BlogAI 评分4040 Hugging Face 在 PyTorch / XLA TPU 上训练 Transformer
Hugging Face 与 Facebook PyTorch、Google TPU 团队合作，让 PyTorch 用户能在 Cloud TPU 上训练模型并保持原有 Trainer 接口不变。PyTorch / XLA 新增 xla 设备类型，通过 xm.optimizer_step 完成梯度聚合与优化器更新，并用 MpDeviceLoader 让输入流水线与图追踪重叠执行。
Hugging Face BlogAI 评分2626 Hugging Face Transformers 中的 TensorFlow 模型提速：BERT 等模型推理性能提升
Hugging Face 在 Transformers v4.2.0 中优化了 TensorFlow 版 BERT、RoBERTa、ELECTRA 和 MPNet 的计算性能，在 GPU V100、序列长度 128 下，BERT 推理速度比 Google 官方实现快约 10%，比 4.1.1 版本快一倍。
OpenAI NewsAI 评分4040 OpenAI 将 Kubernetes 集群扩展至 7,500 节点
OpenAI 将 Kubernetes 集群扩展至 7,500 节点，为 GPT-3、CLIP、DALL·E 等大模型提供可扩展基础设施，同时支持小规模快速迭代研究。
Hugging Face Blog精选AI 评分6262 通过 DeepSpeed 和 FairScale 用 ZeRO 装下更大模型并训练更快
Hugging Face 的 transformers v4.2.0 为 Trainer 加入 DeepSpeed 和 FairScale 的 ZeRO 实验性支持，新增 --deepspeed 和 --sharded_ddp 命令行参数。
推荐理由：作者用 t5-large 与 t5-3b 的实测数据对比 FairScale 与 DeepSpeed 的显存与速度收益，可据此判断自己该先试哪种方案。
Hugging Face BlogAI 评分4040 Hugging Face 如何为 API 客户将 Transformer 推理提速 100 倍
Hugging Face 通过模型管线优化、Rust 版 Tokenizers 与智能缓存，为 Accelerated Inference API 客户实现约 10 倍推理提速，再借助 ONNX Runtime 的图优化、算子融合与量化等硬件相关编译手段拿到另外 10 倍，合计 100 倍。
Hugging Face BlogAI 评分3131 如何用预训练语言模型检查点热启动 Encoder-Decoder 模型
Hugging Face 发布教程，介绍如何用 BERT、GPT2 等预训练检查点热启动 encoder-decoder 模型，从而跳过昂贵的预训练阶段。该方法基于 Rothe 等人 2020 年的论文，在多个序列到序列任务上以极低训练成本达到与 T5、Pegasus 等大型预训练 encoder-decoder 模型相当的效果。
Hugging Face BlogAI 评分3131 将 fairseq wmt19 翻译系统移植到 transformers
Hugging Face 发布客座博客，记录将 Facebook FAIR 的 fairseq wmt19 新闻翻译系统移植到 transformers 的完整过程。
Hugging Face BlogAI 评分3030 Hugging Face Transformers 与 Ray Tune 集成实现超参数搜索
Hugging Face Transformers 在 3.1 版本中与 Ray Tune 集成，用户只需在 Trainer 的 hyperparameter_search 中指定 backend="ray" 即可调用 HyperBand、Bayesian Optimization、Population-Based Training 等调参算法。
Hugging Face BlogAI 评分2222 基于 Transformer 的编码器-解码器模型详解
Hugging Face 发布博客详解基于 Transformer 的编码器-解码器架构如何建模序列到序列问题，聚焦其数学模型与推理用法，并拆解编码器、解码器两部分。
Hugging Face BlogAI 评分3838 Hugging Face 发布 pytorch_block_sparse：让语言模型更小更快
Hugging Face 发布 PyTorch 扩展 pytorch_block_sparse，其 BlockSparseLinear 可直接替换 torch.nn.Linear，让模型更小更快。
Hugging Face BlogAI 评分4242 Reformer 如何用不到 8GB 内存训练 50 万 token 长序列
Hugging Face 博客详解 Reformer 模型，它能在不到 8GB 内存下训练长度达 50 万 token 的序列，而 bert-base-uncased 仅支持 512 token。Reformer 通过局部与 LSH 自注意力、分块前馈层、可逆残差层和轴向位置编码四项改造降低内存占用，并已集成进 Transformers 库。
Hugging Face Blog精选AI 评分6262 如何用 Transformers 生成文本：不同解码方法详解
Hugging Face 发布教程，介绍如何用 transformers 库实现自回归语言生成的多种解码方法，包括贪心搜索、beam search 和采样。文中以 GPT2 为例给出可运行代码，演示 num_beams、no_repeat_ngram_size、temperature、top_k、top_p 等参数的效果。
推荐理由：系统梳理贪心、beam search 与采样等解码策略的差异，并给出 transformers 中可直接运行的参数配置。
Hugging Face Blog精选AI 评分6262 如何用 Transformers 和 Tokenizers 从零训练一个新语言模型
Hugging Face 发布教程，演示如何用 transformers 和 tokenizers 库从零训练一个 84M 参数的小型语言模型 EsperBERTo，并在世界语上完成预训练与词性标注微调。
推荐理由：以世界语为例完整走通从零预训练到下游微调的流程，可迁移到其他低资源语言。
OpenAI NewsAI 评分1212 OpenAI 举办首届 Spinning Up 深度强化学习研讨会
OpenAI 于 2 月 2 日举办了首届 Spinning Up 研讨会，这是其新教育计划的一部分。
OpenAI NewsAI 评分4848 OpenAI 发布 Spinning Up in Deep RL 深度强化学习教育资源
OpenAI 发布 Spinning Up in Deep RL，一套面向任何人的深度强化学习教育资源，目标是让人学会成为熟练的深度强化学习实践者。该资源包含清晰的 RL 代码示例、教学练习、文档和教程。
OpenAI NewsAI 评分1717 OpenAI 探讨强化学习中的错误奖励函数问题
OpenAI 发文探讨强化学习算法中一种反直觉的失效模式：奖励函数设定错误。当奖励函数被错误指定时，算法会以出人意料的方式崩溃。
OpenAI NewsAI 评分1212 OpenAI 谈深度学习基础设施
深度学习是一门经验科学，团队基础设施的质量是进展的倍增器。OpenAI 指出，如今的开源生态让任何人都能搭建出色的深度学习基础设施。