Graphcore 与 Hugging Face 在开源优化库 Optimum 中新增一批适配 IPU 的 Transformer 模型，可访问模型总数达到 10 个，覆盖 NLP、语音和计算机视觉，均附带 IPU 配置文件及预训练、微调权重。新增模型包括 ViT、GPT-2、RoBERTa、DeBERTa、BART、LXMERT、T5、HuBERT 和 Wav2Vec2，此前仅有 BERT。
微软提出 TAPEX，通过让 BART 学习充当神经 SQL 执行器，在合成 SQL 查询语料上完成表格预训练，无需真实数据。该方法在 WikiSQL、TabFact、SQA 和 WikiTableQuestions 四个基准上均取得 SOTA，其中 WikiSQL 准确率达 89.6%，较此前最佳提升 2.3%。
fastai 现已接入 Hugging Face Hub，开发者用一行 Python 即可将 fastai Learner 上传至 Hub 分享。
Hugging Face Hub 推出 emissions_threshold 参数，可按训练碳排放量筛选模型，例如筛选排放不超过 100 克的模型返回 191 个结果。transformers 集成 codecarbon，训练时自动记录排放数据并生成 emissions.csv，方便写入模型卡。
Hugging Face 将离线强化学习方法 Decision Transformer 集成进 transformers 库和 Hugging Face Hub，并发布 9 个面向 Gym 连续控制任务的预训练 checkpoint，覆盖 Hopper、Walker2D 和 Halfcheetah，Atari 环境 checkpoint 即将推出。
Hugging Face 的 🤗 datasets 库新增图像特征类型，可结合 sentence_transformers 与 faiss 为图像数据集建立相似度索引，实现图像搜索。文中以英国图书馆数字化书籍插图数据集为例，通过 ImageFolder 加载器直接读取含 image 和 label 特征的 10000 行数据，label 对应书籍出版年份。
Hugging Face 在 🤗 Transformers 中推出约束束搜索（constrained beam search），通过 model.generate() 的 force_words_ids 参数让用户指定生成结果中必须包含的词。
Hugging Face 为 huggingface_hub 库新增 ModelFilter 和 ModelSearchArguments 类，让用户无需离开 Jupyter 或 Python 环境即可按任务、数据集、框架等条件搜索 Hub 上的模型和数据集。
Hugging Face 将 PyTorch 深度强化学习库 Stable-Baselines3 集成到 Hugging Face Hub，用户可通过 huggingface_sb3 上传和加载已保存的智能体模型。
Hugging Face 发布首个自定义深度强化学习环境 Snowball Fight 1vs1，玩家可在 Hugging Face Spaces 上在线与深度强化学习智能体对战扔雪球。该环境基于 Unity ML-Agents 构建并已开源托管于 Hugging Face Hub，后续还将推出 2vs2 版本，用 MA-POCA 算法训练智能体团队协作。
Hugging Face 发布开源 Python 库与无代码界面 Data Measurements Tool，基于 Dataset 和 Spaces Hub 及 Streamlit 构建，可在线构建、测量和比较数据集。该工具能自动计算词汇量、标签分布、实例长度、重复项及 Zipf 定律拟合度等指标，帮助数据集创建者和用户进行负责任的数据开发。
Hugging Face Hub 与 Sentence Transformers 达成集成，随 Sentence Transformers v2 发布，Hub 上已有超 90 个预训练模型、覆盖 100 多种语言。
Hugging Face 发文介绍如何用 EleutherAI 的 GPT-Neo 配合 🤗 Accelerated Inference API 实现 Few-Shot Learning 预测。
OpenAI 宣布 2021 届 OpenAI Scholars 已完成为期六个月的导师计划，并在 OpenAI 提供的津贴与支持下完成了开源研究项目。
Hugging Face 发布客座博客，记录将 Facebook FAIR 的 fairseq wmt19 新闻翻译系统移植到 transformers 的完整过程。
Hugging Face 发布 PyTorch 扩展 pytorch_block_sparse，其 BlockSparseLinear 可直接替换 torch.nn.Linear，让模型更小更快。
OpenAI 推出 Microscope，可视化八个视觉"模式生物"模型的每一重要层与神经元，便于分析神经网络内部形成的特征。该工具面向可解释性研究，旨在帮助研究社区理解这些复杂系统。
OpenAI 发布 Neural MMO，一个面向强化学习智能体的大规模多智能体游戏环境，支持在持久、开放式的任务中容纳数量可变的大量智能体。该平台引入多个智能体与物种，带来更好的探索、差异化的生态位形成以及整体能力的提升。
OpenAI 发布训练环境 CoinRun，用于衡量智能体将经验迁移到新情境的能力，并已帮助厘清强化学习领域一个长期存在的难题。该环境在复杂度上取得平衡：比《刺猬索尼克》等传统平台游戏更简单，但仍对当前最先进算法构成值得挑战的泛化测试。
OpenAI 发布 Spinning Up in Deep RL，一套面向任何人的深度强化学习教育资源，目标是让人学会成为熟练的深度强化学习实践者。该资源包含清晰的 RL 代码示例、教学练习、文档和教程。
OpenAI 提出可逆生成模型 Glow，采用可逆 1x1 卷积，在简化架构的同时扩展了此前的可逆生成模型工作。该模型能生成逼真的高分辨率图像，支持高效采样，并可发现用于操控数据属性的特征。OpenAI 已发布模型代码和在线可视化工具。
OpenAI 发布八个模拟机器人环境，以及 Hindsight Experience Replay 的 Baselines 实现，均为过去一年研究开发。这些环境已用于训练可在实体机器人上运行的模型，OpenAI 同时发布了一系列机器人研究课题请求。
OpenAI 在 Baselines 中发布 ACKTR 和 A2C 两个强化学习算法实现。A2C 是 A3C 的同步确定性变体，性能与之相当；ACKTR 比 TRPO 和 A2C 更节省样本，每次更新仅比 A2C 略多计算量。
OpenAI 开源了 RL-Teacher，一种通过偶发人类反馈而非手工设计奖励函数来训练 AI 的接口实现。该技术旨在推进安全 AI 系统，也适用于奖励难以明确指定的强化学习问题。
OpenAI 开源了一个基于 MuJoCo 引擎的高性能 Python 机器人仿真库，该库源自其过去一年的机器人研究。