跳到正文

全部动态

今日 4 条
3月23日周四
3月17日周五
3月14日周二
  1. OpenAI News93

    OpenAI 发布多模态大模型 GPT-4

    OpenAI 发布 GPT-4,称其为扩大深度学习规模的最新里程碑。GPT-4 是一个大型多模态模型,接受图像和文本输入、输出文本,在多项专业和学术基准上达到人类水平表现,但在许多真实场景中能力仍不及人类。

    推荐理由:OpenAI 官方给出 GPT-4 的多模态输入形态与基准表现,可据此了解其能力定位。

  2. OpenAI News89

    OpenAI 发布 GPT-4

    OpenAI 发布 GPT-4,可用于创意与技术写作任务。它能在写歌、写剧本等场景中生成、编辑内容,并与用户反复迭代,还能学习用户的写作风格。

    推荐理由:官方给出 GPT-4 在创意与技术写作上的生成、编辑与风格学习能力,可据此判断写作类任务的可用边界。

3月10日周五
  1. Hugging Face Blog22

    Hugging Face Transformers 上线 Informer:面向多变量概率时间序列预测

    AAAI21 最佳论文 Informer 现已加入 🤗 Transformers,可用于多变量概率时间序列预测,即预测未来时间序列目标值向量的分布。该模型基于 vanilla Transformer,通过 ProbSparse 注意力将自注意力复杂度从 O(T²D) 降至 O(T log T),并用 Distilling 操作把堆叠层的内存占用降至 O(N·T log T)。

3月9日周四
  1. Hugging Face Blog66

    Hugging Face 集成 trl 与 peft,在 24GB 消费级 GPU 上完成 20B LLM 的 RLHF 微调

    Hugging Face 正式发布 trl 与 peft 的集成,让大语言模型的 RLHF 微调更易上手。方案结合 8-bit 矩阵乘法、低秩适配器和 peft 的 disable_adapters 机制,用同一份模型同时充当参考模型与活动模型,从而省去第二份模型副本。

    推荐理由:原文给出在 24GB 消费级 GPU 上完成 20B 模型 RLHF 微调的具体组合方案,可迁移到其他显存受限的训练场景。

3月6日周一
  1. Hugging Face Blog62

    Kakao Brain 联合 Hugging Face 开源 ViT 与 ALIGN 模型及 COYO 数据集

    Kakao Brain 与 Hugging Face 发布开源图文数据集 COYO(7 亿对)以及基于它训练的 ViT 和 ALIGN 模型,这是 ALIGN 模型首次免费开源,也是 ViT 和 ALIGN 首次附带训练数据集发布。

    推荐理由:Kakao Brain 把 ViT 与 ALIGN 连同训练数据一起开源,读者可据此判断视觉语言模型复现的门槛变化。

3月3日周五
3月2日周四
  1. Hugging Face Blog22

    Hugging Face 发布 Diffusers 库伦理准则

    Hugging Face 为 Diffusers 库发布伦理框架,用于指导维护者处理社区贡献时的技术决策,并承诺随项目演进和社区反馈持续调整。准则涵盖透明、一致、简洁、可及、可复现与责任六项价值,同时列出 Community tab、Tag 功能、偏见探索 Space、Safe Stable Diffusion、Hub 分阶段发布及 OpenRAILs 许可等安全机制。

3月1日周三
2月24日周五
  1. Hugging Face Blog30

    Hugging Face 解读大语言模型红队测试:方法、风险与最佳实践

    红队测试通过构造自然语言提示词诱导 LLM 生成有害内容,从而暴露模型漏洞,与人类难以理解的对抗攻击不同。GPT3 早期版本曾表现出性别歧视与针对穆斯林的偏见,微软 Tay 和 Bing 的 Sydney 是缺乏红队评估导致灾难性后果的真实案例。红队可由人工或另一个 LM 执行,角色扮演攻击和用代码作答能绕过经 RLHF 或 SFT 对齐的模型,该领域仍处早期,需要多机构协作共享数据集与最佳实践。

2月23日周四
2月21日周二
2月16日周四
2月15日周三
  1. Hugging Face Blog26

    我们为何转向 Hugging Face Inference Endpoints,或许你也应该考虑

    Hugging Face 推出托管服务 Inference Endpoints,可将 Hub 上的模型部署到 AWS、Azure(GCP 即将支持)等多种实例类型上。作者将原本跑在 AWS ECS + Fargate 上的 CPU 推理模型迁移过去,用 RoBERTa 文本分类模型测试显示,large 实例延迟约 80ms,比原方案约 200ms 快一倍以上,但成本高出 24% 至 50%。

  2. Hugging Face Blog62

    用 BLIP-2 实现零样本图像到文本生成

    Hugging Face 发布指南,介绍 Salesforce Research 的 BLIP-2 视觉语言模型已集成到 Transformers,并演示图像描述、提示图像描述、视觉问答和对话式提示四种用法。

    推荐理由:以 New Yorker 漫画为例演示 BLIP-2 的零样本图像描述、提示描述、视觉问答和对话式提示四种用法,附可运行代码。

2月10日周五
2月8日周三
  1. Hugging Face Blog62

    SpeechT5 上线 Hugging Face Transformers,一套架构支持语音合成、识别与音色转换

    Hugging Face 宣布 SpeechT5 已集成进 Transformers,官方权重发布在 Hugging Face Hub,并提供语音合成、音色转换和语音识别三个 Spaces 演示。

    推荐理由:SpeechT5 以同一套架构覆盖 TTS、语音转换与 ASR,文中给出可直接运行的代码与权重入口,便于判断能否接入现有语音流程。

2月7日周二
2月6日周一
2月3日周五
1月30日周一
1月26日周四
1月24日周二
  1. Hugging Face Blog52

    Hugging Face 解读对话智能体为何有用:IFT、SFT、CoT 与 RLHF 的分工

    Hugging Face 博客梳理了让对话智能体有用的关键技术,包括指令微调(IFT)、监督微调(SFT)、思维链(CoT)提示和基于人类反馈的强化学习(RLHF),并对比了 LaMDA、BlenderBot 3、Sparrow、ChatGPT/InstructGPT 和 Anthropic Assistant 在访问方式、训练数据、模型架构与评测方向上的差异。

1月23日周一
1月20日周五
1月19日周四
  1. Hugging Face Blog40

    Hugging Face transformers 集成 Mask2Former 与 OneFormer,统一图像分割

    Mask2Former 和 OneFormer 两款图像分割模型现已集成到 Hugging Face 开源库 transformers 中。Mask2Former 统一了实例、语义和全景分割三种任务,但需分别训练;OneFormer 仅需在全景数据集上训练一次即可在三种任务上达到 SOTA,精度更高但因额外文本编码器延迟更大。作者已发布 30 个基于不同数据集训练的 checkpoint。

1月17日周二
1月16日周一

最多提供 50 页,更早的内容请使用搜索或主题页。