Hugging Face 提出 DeDLOC 协作训练方法，40 名志愿者预训练出孟加拉语模型 sahajBERT
Hugging Face 等机构提出 DeDLOC 协作分布式训练方法，可自适应参与者的网络与硬件条件，并用 40 名志愿者预训练出孟加拉语模型 sahajBERT。
推荐理由：DeDLOC 用 40 名志愿者和家用 GPU 预训练出孟加拉语模型，读者可了解分布式协作训练如何绕开算力门槛。
数据与训练
全部主题训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
最新精选
第 101–114 条 · 共 114 条Hugging Face Blog精选AI 评分6262
Hugging Face Blog精选AI 评分6262 通过 DeepSpeed 和 FairScale 用 ZeRO 装下更大模型并训练更快
Hugging Face 的 transformers v4.2.0 为 Trainer 加入 DeepSpeed 和 FairScale 的 ZeRO 实验性支持，新增 --deepspeed 和 --sharded_ddp 命令行参数。
推荐理由：作者用 t5-large 与 t5-3b 的实测数据对比 FairScale 与 DeepSpeed 的显存与速度收益，可据此判断自己该先试哪种方案。
OpenAI News精选AI 评分6262 OpenAI 发布 Image GPT：用 Transformer 生成图像
OpenAI 发现，正如在语言上训练的大型 Transformer 模型能生成连贯文本，同一套模型在像素序列上训练后也能生成连贯的图像补全与样本。研究通过建立样本质量与图像分类准确率之间的相关性，表明其最佳生成模型在无监督设定下所包含的特征可与顶级卷积网络竞争。
推荐理由：OpenAI 用同一套 Transformer 架构处理像素序列，并给出生成质量与分类精度的关联证据。
OpenAI News精选AI 评分8585 OpenAI 论文：语言模型是少样本学习器
OpenAI 发布题为 Language models are few-shot learners 的论文，讨论语言模型的少样本学习能力。该页面正文抓取失败，仅保留标题信息。
OpenAI News精选AI 评分6262 OpenAI 分析：ImageNet 训练算力每 16 个月减半
OpenAI 发布分析称，自 2012 年以来，在 ImageNet 分类上训练神经网络达到同等性能所需算力每 16 个月减少一半。与 2012 年相比，训练到 AlexNet 水平所需算力减少 44 倍，而同期摩尔定律只带来 11 倍的成本改善。OpenAI 认为，在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。
推荐理由：OpenAI 用 ImageNet 训练算力数据量化算法进步速度，可与摩尔定律对照理解 AI 效率来源。
Hugging Face Blog精选AI 评分6262 如何用 Transformers 和 Tokenizers 从零训练一个新语言模型
Hugging Face 发布教程，演示如何用 transformers 和 tokenizers 库从零训练一个 84M 参数的小型语言模型 EsperBERTo，并在世界语上完成预训练与词性标注微调。
推荐理由：以世界语为例完整走通从零预训练到下游微调的流程，可迁移到其他低资源语言。
OpenAI News精选AI 评分7171 OpenAI 用机械手解魔方：纯仿真训练加 ADR
OpenAI 训练了一对神经网络，让类人机械手还原魔方，训练完全在仿真中完成，使用与 OpenAI Five 相同的强化学习代码，并搭配名为 Automatic Domain Randomization（ADR）的新技术。系统能应对训练中从未见过的情况，例如被毛绒长颈鹿戳碰。OpenAI 表示这说明强化学习不只是虚拟任务的工具，也能解决需要前所未有灵巧度的物理世界问题。
推荐理由：OpenAI 用同一套强化学习代码加 ADR 让机械手在仿真中学会还原魔方，可看仿真到现实迁移的早期思路。
OpenAI News精选AI 评分6262 OpenAI 用人类偏好微调 774M 参数 GPT-2
OpenAI 用人类反馈微调了 774M 参数的 GPT-2 语言模型，在多项任务上成功匹配外部人类标注者的偏好，但这些偏好并不总与 OpenAI 自身一致。在摘要任务中，标注者偏好直接照抄输入的句子，模型因此学会了复制，该任务需要 60k 条人类标注；而按不同风格续写文本等更简单的任务只需 5k 条标注。OpenAI 表示其动机是让安全技术更接近“机器与人对话”这一通用任务。
推荐理由：OpenAI 用人类偏好微调 GPT-2 的早期实验，展示了标注偏好如何直接塑造模型行为。
OpenAI News精选AI 评分7676 OpenAI 发布 774M 参数 GPT-2 并公开模型共享协议
OpenAI 发布 774M 参数的 GPT-2 语言模型，此前已先后放出 124M 小模型和 355M 中模型。OpenAI 同时发布一份开源法律协议，便于机构之间建立模型共享合作，并发布技术报告介绍与更广泛 AI 研究社区协调发布规范的经验。
推荐理由：OpenAI 分阶段放出 GPT-2 最大版本，并公开模型共享法律协议，可观察大模型发布节奏与协作机制。
OpenAI News精选AI 评分6262 OpenAI 提出 Sparse Transformer，可处理长 30 倍的序列
OpenAI 开发了 Sparse Transformer，一种深度神经网络，在预测文本、图像或声音序列中下一个内容的任务上创下新纪录。它通过注意力机制的算法改进提取序列模式，可处理的序列长度是此前的 30 倍。
推荐理由：OpenAI 官方介绍 Sparse Transformer 对注意力机制的算法改进，可了解长序列建模在文本、图像和声音上的早期思路。
OpenAI News精选AI 评分8282 OpenAI 用无监督学习提升语言理解能力
OpenAI 在一系列多样语言任务上取得当时最优结果，方法结合了 Transformer 与无监督预训练，并同步公开这套可扩展、与任务无关的系统。OpenAI 表示，这一结果说明监督学习方法与无监督预训练搭配效果很好，希望推动在更大、更多样数据集上继续探索这一思路。
推荐理由：OpenAI 用 Transformer 加无监督预训练在多项语言任务上取得当时最优结果，并公开了这套与任务无关的系统。
OpenAI News精选AI 评分7575 OpenAI 分析：2012 年以来最大 AI 训练算力每 3.4 个月翻倍
OpenAI 发布一项分析，指出自 2012 年以来最大规模 AI 训练所用算力呈指数增长，翻倍周期为 3.4 个月，而摩尔定律的翻倍周期为 2 年。该指标自 2012 年以来增长超过 300,000 倍，若按 2 年翻倍则仅增长 7 倍。OpenAI 表示算力提升是 AI 进展的关键组成部分，若这一趋势延续，值得为远超当前能力的系统做准备。
推荐理由：OpenAI 用 3.4 个月翻倍这一量化指标，给出 AI 训练算力增速与摩尔定律的对比参照。
OpenAI News精选AI 评分6262 OpenAI 发现自博弈让模拟 AI 自行学会身体技能
OpenAI 发现自博弈能让模拟 AI 自行发现擒抱、闪避、假动作、踢球、接球和扑球等身体技能，而无需在设计环境时预先考虑这些技能。自博弈还能让环境难度始终与 AI 的当前水平相匹配。结合此前的 Dota 2 自博弈结果，OpenAI 表示越来越相信自博弈将成为未来强大 AI 系统的核心组成部分。
推荐理由：OpenAI 用自博弈让模拟 AI 自行涌现出擒抱、假动作等身体技能，可与 Dota 2 结果对照理解自博弈的训练思路。
OpenAI News精选AI 评分6262 OpenAI 开源 Baselines 项目，首批发布 DQN 及三个变体
OpenAI 开源内部项目 OpenAI Baselines，目标是以与已发表结果相当的性能复现强化学习算法。算法将在未来数月内陆续发布，今天的首批发布包含 DQN 及其三个变体。
推荐理由：OpenAI 开源内部复现强化学习算法的 Baselines 项目，首批放出 DQN 及其三个变体，可了解其复现思路与后续发布节奏。