跳到正文

全部动态

今日 4 条
8月2日周三
  1. Hugging Face Blog31

    Zama 用 FHE 实现加密大语言模型推理,基于 Hugging Face GPT2 验证

    Zama 展示了如何借助 Hugging Face transformers 库,用全同态加密(FHE)在加密数据上运行 GPT2 的部分推理,从而同时保护用户数据隐私与模型 IP。实现中将 GPT2 首个多头注意力头改写为 FHE 兼容算子,权重与激活量化为整数,4-bit 量化可保留原模型 96% 的准确率。完整代码已在该用例示例中开源。

8月1日周二
7月27日周四
  1. Hugging Face Blog62

    Hugging Face 与 Apple 用混合位宽量化把 Stable Diffusion XL 搬上 Mac Core ML

    Hugging Face 与 Apple 将 Stable Diffusion XL 基础模型移植到 Core ML,可在运行 macOS 14 公测版的 Apple Silicon Mac 上通过 Swift 应用或 Hugging Face 演示应用运行,目前使用 ORIGINAL attention 实现,refiner 阶段尚未移植。

    推荐理由:Hugging Face 与 Apple 把 SD XL 移植到 Core ML 并给出混合位宽量化配方,读者可据此判断 Mac 本地跑大模型的可行路径。

7月26日周三
7月24日周一
7月21日周五
7月20日周四
  1. OpenAI News62

    OpenAI 为 ChatGPT 推出自定义指令功能

    OpenAI 为 ChatGPT 推出自定义指令功能,用户可设置自己的偏好,ChatGPT 会在之后所有对话中记住这些偏好。该功能让用户对 ChatGPT 的回复方式拥有更多控制权。

    推荐理由:OpenAI 官方说明 ChatGPT 自定义指令的用途,读者可据此了解对话偏好设置的适用范围。

7月18日周二
7月17日周一
7月14日周五
7月7日周五
7月5日周三
7月4日周二
7月3日周一
7月1日周六
  1. Hugging Face Blog12

    Hugging Face 对话 Writer CTO:从用户到开源模型贡献者的生成式 AI 规模化实践

    Hugging Face 的 Jeff Boudier 对话 Writer 联合创始人兼 CTO Waseem Alshikh,回顾 Writer 从 Hugging Face 用户、客户到开源模型贡献者的历程。双方还讨论了当前生成式 AI 的最大误区、Writer 贡献开源模型的原因,以及 Writer 如何在 CPU 和 GPU 上规模化部署 LLM、CPU 推理效率对生产的重要性。

6月29日周四
6月28日周三
6月26日周一
  1. Hugging Face Blog22

    Hugging Face 通讯第4期:文本到图像模型中的偏见

    Hugging Face 发布 Ethics and Society Newsletter 第4期,聚焦文本到图像模型的偏见问题。文章梳理了训练数据、预训练数据过滤、推理、模型潜在空间及事后过滤等偏见来源,并指出 Stable Diffusion 和 Dall-E 2 等模型存在多样性不足与刻板印象。文中还介绍了 Stable Bias 项目用于探索和比较偏见的工具。

6月23日周五
6月22日周四
6月20日周二
  1. Hugging Face Blog22

    Hugging Face 就美国 NTIA AI 问责政策提交回应意见

    Hugging Face 于 6 月 12 日向美国商务部 NTIA 提交 AI 问责政策回应,强调文档与透明度规范在推动 AI 问责中的作用。其建议问责机制应覆盖 ML 开发全流程、结合内部要求与外部访问透明,并吸纳开发者、多学科研究社区、倡导组织、政策制定者和记者等最广泛参与者。Hugging Face 称已在 BigScience 和 BigCode 项目中实践上述思路。

6月19日周一
6月16日周五
6月15日周四
  1. Hugging Face Blog62

    用 Core ML 在 iPhone、iPad 和 Mac 上加速 Stable Diffusion

    Hugging Face 介绍了借助 Core ML 新优化在 iPhone、iPad 和 Mac 上加速 Stable Diffusion 的方法,核心是 6-bit palettization 量化,将权重从 16-bit 浮点压到每参数 6 bit,并在推理时逐层解压以节省内存。

    推荐理由:Hugging Face 与 Apple 官方给出 6-bit palettization 的量化原理与转换命令,读者可据此把 Stable Diffusion 压到端侧运行。

6月13日周二
  1. OpenAI News80

    OpenAI 公布 API 更新:函数调用、更长上下文与更低价格

    OpenAI 宣布一系列 API 更新,包括更易控制的 API 模型、函数调用能力、更长的上下文以及更低的价格。官方未在摘要中给出具体模型版本、上下文长度和价格数字。

    推荐理由:OpenAI 官方公布 API 模型可控性、函数调用、上下文与价格四项变化,可据此判断接口能力与成本走向。

6月12日周一
  1. Hugging Face Blog12

    Hugging Face Hub 如何服务美术馆、图书馆、档案馆与博物馆(GLAM)

    Hugging Face Hub 面向美术馆、图书馆、档案馆与博物馆(GLAM)从业者,介绍如何查找模型、上传数据集并托管演示应用。Hub 目前托管超 190,000 个模型、33,000 个数据集和超 100,000 个应用与 demo,覆盖文本、图像、音频等任务。文中以挪威语文献的命名实体识别(NER)模型为例,并演示通过浏览器界面上传 CSV 数据集。

6月7日周三
6月6日周二