如何用 Sentence Transformers 构建歌单生成器
作者用 Sentence Transformers 的语义搜索功能搭建了一个歌单生成器:将歌词按段落切分并嵌入,再对输入提示词做语义搜索匹配歌曲,并封装成基于 Gradio Blocks 的多步应用托管在 Hugging Face Spaces。
作者用 Sentence Transformers 的语义搜索功能搭建了一个歌单生成器:将歌词按段落切分并嵌入,再对输入提示词做语义搜索匹配歌曲,并封装成基于 Gradio Blocks 的多步应用托管在 Hugging Face Spaces。
Hugging Face 发布 BLOOM,一个 176B 参数的多语言大语言模型,可生成 46 种自然语言和 13 种编程语言的文本,由 70 多个国家 1000 多名研究者协作完成,在法国 Jean Zay 超算上训练 117 天。
推荐理由:BLOOM 以 176B 参数覆盖 46 种自然语言,并公开训练中间检查点,可据此了解开放大模型在透明度上的做法。
Hugging Face 发布 Twitter 情感分析入门指南,面向开发者和非开发者分别给出方案。开发者可用 Tweepy 抓取推文并通过 Inference API 几行代码完成情感分类,非开发者则可借助无代码工具 Zapier 将推文分析结果写入 Google Sheets。
Hugging Face 深度强化学习课程第 5 单元讲解策略梯度方法,并从头用 PyTorch 实现首个基于策略的算法 Reinforce,随后在 CartPole-v1、PixelCopter 和 Pong 上测试其鲁棒性。策略梯度直接优化策略、无需估计价值函数,可学习随机策略并省去手工的探索/利用权衡,更适合高维和连续动作空间,但易收敛到局部最优、训练更慢且方差较高。
Hugging Face 发文介绍如何以 Sentence Transformers(ST)为例从零上手一个新 ML 库并完成首个自驱项目。ST 可将句子、段落和图像转为嵌入向量,并用 util.cos_sim 计算余弦相似度,支持语义搜索、聚类和模型蒸馏等应用。该库在 GitHub 已获近 8,000 stars,超过 3,000 个项目和包依赖它。
Hugging Face 推出 Evaluation on the Hub,由 AutoTrain 驱动,用户无需写代码即可在 Hub 上用任意数据集和指标评测模型。评测结果会以 PR 形式写入模型卡的元数据,并汇总到数据集排行榜,官方已用该工具评测了数百个模型。工具已嵌入现有生态,评测提交界面和排行榜都是 Hugging Face Spaces,用户可从数据集页面发起评测。
推荐理由:官方说明可在 Hub 上零代码评测任意模型与数据集,并给出结果写入模型卡与排行榜的完整流程。
Hugging Face 展示了用 Accelerate 库调用 DeepSpeed ZeRO 加速大模型训练的方法,无需改动代码即可启用 ZeRO Stage-2。
Hugging Face 发布 Embeddings 入门教程,演示如何用开源库 Sentence Transformers 和 Inference API 构建一个 FAQ 语义搜索示例。
Hugging Face 博客介绍了三种将 Transformers 模型转为 ONNX 的方式:底层 torch.onnx、中层 transformers.onnx 和高级 Optimum。
Intel 正式加入 Hugging Face 硬件合作伙伴计划,双方将基于开源库 Optimum 合作构建面向 Transformer 的硬件加速方案,覆盖训练、微调和推理。
Hugging Face 发布“机器学习负责人洞察”系列第三期金融版,邀请来自 U.S. Bank、Royal Bank of Canada、Moody's Analytics 及前 Bloomberg AI 研究科学家的专家分享观点。
Hugging Face 深度强化学习课程第三单元讲解 Deep Q-Learning,用神经网络替代 Q-table 来近似各动作的 Q-value,并训练智能体玩 Space Invaders 等 Atari 环境。
Hugging Face 博客发布《The Annotated Diffusion Model》,基于 Ho 等人 2020 年的 DDPM 论文,用 PyTorch 逐步实现扩散模型。
推荐理由:从 DDPM 论文出发逐步用 PyTorch 复现扩散模型,读者可据此理解前向加噪与反向去噪的完整训练流程。
Graphcore 与 Hugging Face 在开源优化库 Optimum 中新增一批适配 IPU 的 Transformer 模型,可访问模型总数达到 10 个,覆盖 NLP、语音和计算机视觉,均附带 IPU 配置文件及预训练、微调权重。新增模型包括 ViT、GPT-2、RoBERTa、DeBERTa、BART、LXMERT、T5、HuBERT 和 Wav2Vec2,此前仅有 BERT。
Hugging Face Hub 上线 pull requests 和 discussions 功能,所有模型、数据集和 Spaces 仓库的 community 标签页均可使用,社区成员可创建并参与讨论和 PR。PR 不使用 fork 和分支,而是将贡献直接推送到源仓库上的自定义 ref 分支,并可在网页端直接评论、合并或关闭。官方称这是 Hub 史上最大更新。
Hugging Face 深度强化学习课程第二单元第二部分讲解 Q-Learning,并从头实现首个 RL 智能体。Q-Learning 是一种 off-policy、基于价值的方法,通过 TD 方式训练动作价值函数,其内部维护一张 Q-table 记录每个状态-动作对的价值。
Hugging Face 多模态学习团队发布了一份伦理章程,将伦理原则正式纳入其机器学习研究生命周期。章程列出了要防止的用例,包括生成虚假信息、生成个人身份信息,以及在医疗、法律、金融、移民等高风险领域的不谨慎使用。团队同时提出透明、开放可复现、公平、自我批判和尊重署名五项价值观,并承认这些价值观之间可能存在冲突,需逐案权衡。
Sempre Health 借助 Hugging Face 的 Expert Acceleration Program 搭建了自动分类并回复患者短信的 NLP 流水线,上线数周后近 20% 的入站消息由该系统自动处理,此前这些消息都会生成工单。该团队原本的规则系统只能覆盖约 80% 的短信,Hugging Face 团队在标签质量和模型选型上提供了指导。
Hugging Face 深度强化学习课程更新第二单元第一部分,讲解基于价值的方法,并区分蒙特卡洛与时序差分学习。该部分涵盖状态价值函数、动作价值函数与贝尔曼方程,为后续学习 Q-Learning 及深度 Q-Learning 打基础。
Hugging Face 宣布启动 Fellowship 计划,为开源机器学习生态的关键贡献者提供算力资源、周边物资和官方认可,首批 Fellow 包括创建最大西语 NLP 社区的 María Grandury、向 Hub 贡献超 300 个模型的 Manuel Romero 等。
Hugging Face 研究科学家 Sasha Luccioni 在访谈中介绍了她在 Big Science 项目中主持碳足迹工作组的工作,研究范围不止于统计 CO2 排放,还涵盖制造成本乃至一封邮件产生多少 CO2 等维度。
Hugging Face 发布 Gradio 3.0,对 Gradio 库做了彻底重新设计。新版前端改用 Svelte 等现代技术,页面体积更小、加载更快,并改进了 Dataframe 等组件、新增 Gallery 组件和 TabbedInterface 类。
推荐理由:官方说明 Gradio 3.0 的前端重构与 Blocks 低层 API,读者可据此判断自定义 ML demo 布局与数据流的写法。
Hugging Face 开放首届 Student Ambassador Program 申请,截止日期为 2022 年 6 月 13 日,计划于 6 月 30 日启动、12 月 31 日结束。
Hugging Face 发布《机器学习总监洞察》系列第二期,聚焦 SaaS 领域,邀请 Salesforce 的 Omar Rahman 与 Amplitude 的曹(Danica)肖等机器学习总监分享观点。Rahman 指出产品化 ML 远不止训练模型,数据孤岛与维护开销是最大挑战;肖则强调 SaaS 中 ML 训练数据难以覆盖广泛行业场景。
Hugging Face 开源库 Optimum 发布 1.2 版本,新增对 Transformers pipelines 的推理支持,首批接入 ONNX Runtime,用户可将 AutoModelForXxx 直接替换为对应的 ORTModelForXxx 类。
Hugging Face 宣布完成 1 亿美元 C 轮融资,由 Lux Capital 领投,Sequoia、Coatue 等参与,现有投资方 Addition、a_capital、SV Angel 等继续支持。
推荐理由:Hugging Face 官方披露 C 轮融资规模、领投方与平台现有模型和数据集数量,可据此了解其开源路线与后续投入方向。
fastai 现已接入 Hugging Face Hub,开发者用一行 Python 即可将 fastai Learner 上传至 Hub 分享。
Hugging Face 推出免费深度强化学习课程,从入门到专家,使用 Stable Baselines3、RL Baselines3 Zoo 和 RLlib 等库。
Hugging Face 介绍如何通过 Accelerate 库无需改代码即可使用 PyTorch FullyShardedDataParallel(FSDP)训练大模型。
HuggingFace AutoTrain 与数据标注平台 Kili 可组合成主动学习流水线,用于文本分类任务。AutoTrain 全自动完成数据清洗、模型选择和超参数优化,支持二分类与多标签文本分类、token 分类、抽取式问答、摘要和文本打分,并覆盖英语、德语、法语、西班牙语等语言。
Hugging Face 发布教程,演示如何在 AWS EC2 DL1 实例(搭载 8 颗 Habana Gaudi 处理器)上微调 BERT 模型。使用 bert-large-uncased-whole-word-masking 在 GLUE 的 MRPC 任务上训练 3 个 epoch,耗时 2 分 12 秒,F1 达 0.8968。
Hugging Face 发布博客,演示如何用其生态工具搭建客户服务场景中的情感分类系统,将用户消息分为 very unsatisfied 到 very satisfied 五类,以优先回复最不满意的客户。
Hugging Face 发布教育计划,目标在 2023 年底前向 500 万人教授机器学习。该计划面向所有人、初学者和教师,提供 NLP、深度强化学习、Gradio 演示构建等免费课程,以及翻译成 8 种语言的教师工具包,并已在 3 月的 ML demo.cratization tour 中为 16 个国家超 1000 名学生授课。
Hugging Face Hub 推出 emissions_threshold 参数,可按训练碳排放量筛选模型,例如筛选排放不超过 100 克的模型返回 191 个结果。transformers 集成 codecarbon,训练时自动记录排放数据并生成 emissions.csv,方便写入模型卡。
Hugging Face 机器学习工程师 Lewis Tunstall 在播客中介绍了自己从 2018 年使用 pytorch-pretrained-bert 到合著《NLP with Transformers》的经历,并谈到在 transformers 库中推动 ONNX 格式导出,让模型只需一行代码即可转换,从而获得更低延迟和更高吞吐。
Habana Labs 与 Hugging Face 宣布合作,将 Habana 的 SynapseAI 软件套件与 Hugging Face Optimum 开源库集成,开发者只需几行代码即可在 Habana Gaudi 处理器上加速 Transformer 训练。
Hugging Face 的 Transformers 库有意不遵循 DRY 原则,转而采用"单模型文件策略",即模型前向传播所需的全部代码只放在一个 model 文件中,注意力机制代码因此被复制 50 多次。官方给出的理由包括:库由开源社区共建、建模代码本身就是产品、机器学习领域演进极快、模型发布后基本静态不变。
Hugging Face 将离线强化学习方法 Decision Transformer 集成进 transformers 库和 Hugging Face Hub,并发布 9 个面向 Gym 连续控制任务的预训练 checkpoint,覆盖 Hopper、Walker2D 和 Halfcheetah,Atari 环境 checkpoint 即将推出。
Hugging Face 发布机器学习专家访谈,嘉宾 Margaret Mitchell 曾任 Google 伦理 AI 团队创始人兼联合负责人,现于 Hugging Face 制定伦理 AI 研究协议与包容性招聘体系。她因在微软 Seeing AI 项目中目睹图像数据偏差而转向伦理 AI,指出 ML 团队普遍缺乏相关概念与词汇,且行业"Alpha"文化使女性主导的伦理研究被轻视。
Hugging Face 推出为期 9 个月的 AI 研究驻留计划,入选者将与 Science Team 研究员合作选定研究课题、开发新的机器学习技术并争取发表成果。申请不限背景,需具备编程能力与微积分、线性代数等基础,申请截止日期为 2022 年 4 月 3 日。