Google Research 提出 Diffusion Controller 统一图像生成控制
Google Research 提出 Diffusion Controller 框架,把扩散模型的去噪过程重构为连续控制问题,用一个轻量附加网络在冻结基座模型上动态调整生成轨迹。
Google Research 提出 Diffusion Controller 框架,把扩散模型的去噪过程重构为连续控制问题,用一个轻量附加网络在冻结基座模型上动态调整生成轨迹。
Simon Willison 用 GPT-6 Astra 构建了实验性工具 Photo Scrubber,可自动识别人脸并模糊处理。该工具基于 Google 的 MediaPipe C++ 库,通过 @mediapipe/tasks-vision 编译为 WebAssembly,并使用 BlazeFace 人脸检测模型,全程在本地运行。
Hugging Face 发布 Workflow1111,用 Gradio Workflow 把 AUTOMATIC1111 的大部分功能重建为一张工作流画布,由 11 条媒体管线和 73 个节点组成,覆盖文生图、高清修复、图生图、提示词矩阵、VLM 反推、检测生成 inpaint 掩码、ControlNet 风格标注器、背景移除、PNG Info 与图生视频。
推荐理由:原文给出用 Gradio Workflow 重建 A1111 全部管线的节点构成与运行方式,可据此判断无 GPU 搭建多模型工作流的可行性。
Hugging Face 在 Diffusers 中引入 Nunchaku Lite,可直接用 from_pretrained() 加载 Nunchaku 风格的 4-bit 量化检查点,无需自定义 pipeline 或本地 CUDA 编译。
推荐理由:原文给出 Nunchaku Lite 在 Diffusers 中的加载方式与实测数据,读者可据此判断 4-bit 扩散推理的显存与速度取舍。
Google Research 在 ICLR 2026 论文中揭示扩散模型的创造力源于 score smoothing:神经网络训练中的正则化使学到的 score function 变平滑,导致去噪过程在训练数据点之间插值,从而生成新样本而非简单记忆。
Google DeepMind 发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)和 Gemini Omni Flash(gemini-omni-flash-preview)两款模型。
推荐理由:两款新模型给出了延迟、单价与可用入口,读者可据此判断图像与视频生成链路的成本取舍。
Google Research 宣布新方法已作为 Google Photos 的 Auto frame 功能上线,可自动调整拍摄视角。该方法先用 3D 点图估计模型重建场景与相机参数,再用生成式潜在扩散模型补全新视角下露出的空白区域,并自动检测人脸位置与广角畸变来选定理想机位。用户可在 Auto frame 候选中选择第二版重构图,一键改善含人物的照片。
Google Research 与多家 NHS 机构合作的 AIMS 研究在 Nature Cancer 发表两项研究,评估 AI 乳腺筛查系统。
推荐理由:两项 Nature Cancer 研究给出 AI 在 NHS 乳腺筛查中的独立读片与双读流程数据,可了解落地条件。
Google 开源的 SpeciesNet 可对相机陷阱图像分类 2,498 个类别,基于 6,500 万张标注图像训练,在留出测试集上能找出 99.4% 含动物的图像,83% 的情况可识别到物种且其中 94.5% 预测正确。
Hugging Face 发布 Modular Diffusers,用可复用的 block 组合扩散流水线,作为 DiffusionPipeline 之外更灵活的替代方案。
推荐理由:官方给出可组合扩散流水线的完整用法与自定义块示例,读者可据此判断现有 Diffusers 工作流如何拆解复用。
Hugging Face 博客发布 PRX 系列第三篇,用 32 张 H200、约 1500 美元算力预算在 24 小时内完成文本到图像扩散模型训练,并开源训练代码与实验框架。该方案采用 x-prediction 在像素空间直接训练、无需 VAE,并叠加 LPIPS 与 DINOv2 感知损失、TREAD token 路由、REPA 表征对齐和 Muon 优化器。
Google DeepMind 发布最新图像生成模型 Nano Banana 2(Gemini 3.1 Flash Image),将 Nano Banana Pro 的高级世界知识、质量与推理能力带到 Flash 级速度。
推荐理由:Google DeepMind 官方发布 Nano Banana 2,读者可据此了解其能力边界与在 Gemini、搜索、Flow 等产品中的落地范围。
Hugging Face 公布 PRX-1.2B 文本到图像模型的训练消融实验,在 100k 步、256×256 分辨率、全局 batch size 256 的 Flow Matching 基线上,系统对比表征对齐、训练目标、token 路由与稀疏化、数据四类技巧对收敛与效率的影响。
Hugging Face Diffusers 官方博客宣布支持 FLUX.2,并给出基于 diffusers/FLUX.2-dev-bnb-4bit 仓库的完整推理示例。
推荐理由:Diffusers 官方给出 FLUX.2 的加载与推理代码,读者可据此判断本地部署所需的显存与量化方案。
Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro 构建,面向开发者提供影棚级图像生成与编辑,已在 Google AI Studio 和 Vertex AI 以付费预览形式逐步开放。
推荐理由:官方给出新图像模型的分辨率、文本渲染与搜索接地能力,以及 Adobe、Figma 等接入情况,便于判断其与上一代的取舍。
Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro 构建,主打更准确的图像内文字渲染、多语言生成与更强的世界知识。
推荐理由:官方给出 Nano Banana Pro 的能力边界与各产品上线节奏,可据此判断图像生成与编辑的可用范围。
Hugging Face 为开源工具 AI Sheets 发布重大更新,新增视觉支持,可在表格中查看、分析图像并抽取信息,也能从文本生成图像和编辑图像,全部由 Inference Providers 上的开放模型驱动。
Hugging Face 在 Gradio 中内置可见水印功能,创建 Space 时只需为 gr.Image、gr.Video 添加 watermark 参数,即可在 AI 生成的图像和视频上显示水印,水印支持文件名、图像或 numpy 数组,也可使用 QR 水印。gr.Chatbot 同样支持文本水印,用户复制 AI 回复时会自动附带署名,便于 AI 透明度与披露。
通过 Hugging Face MCP Server 将 Claude 接入 Hugging Face Spaces,即可调用 FLUX.1 Krea [dev] 和 Qwen-Image 等模型生成图像。
Arm 发布 Neural Super Sampling(NSS),一款面向图形与游戏开发者的 AI 超分方案,现已开放试用。NSS 是用于实时时序超分的参数预测模型,针对移动 GPU 中的 Neural Accelerators(NX)优化,适用于移动游戏、XR 等功耗受限场景。
Hugging Face 博客演示了如何用 Gradio 的 MCP 集成在 Python 中搭建 AI 购物助手,将 Python 函数自动转换为 LLM 可调用的 MCP 工具。该助手结合 IDM-VTON 扩散模型实现虚拟试衣,并通过 VS Code AI Chat 接入 vton 与 playwright 两个 MCP 服务器,让 LLM 能浏览线上服装店并生成试穿效果图。
Hugging Face 发布教程,介绍如何用 Diffusers 和 PEFT 优化 Flux.1-Dev 的 LoRA 推理速度,在 H100 上通过 Flash Attention 3、torch.compile 和 FP8 量化配合 LoRA 热插拔,实现约 2.23 倍加速。
推荐理由:Hugging Face 官方给出 Flux LoRA 推理的完整优化配方与实测数据,可迁移到其他扩散模型。
Hugging Face 发布教程,介绍用 diffusers 库以 QLoRA 在单张 GPU 上微调 FLUX.1-dev,峰值显存约 10GB 以下。在 RTX 4090 上,QLoRA 峰值显存约 9GB,标准 BF16 LoRA 需 26GB,700 步训练约 41 分钟。
推荐理由:给出在单张消费级 GPU 上微调 FLUX.1-dev 的完整配置与显存对比,方法可直接复用。
Hugging Face Diffusers 现已集成 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8 等多种量化后端,并以 Flux-dev 为例展示其效果。
ChatGPT for Business 迎来 4 月更新,新增 o3 模型、图像生成、增强记忆和内部知识功能。官方同步放出了这些新能力的实操演示视频。
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本到图像偏好数据集,覆盖多种图像生成类别并混合不同模型家族与提示词复杂度。数据集基于 Flux 和 Stable Diffusion 模型生成图像,配套提供 flux-dev-lora-finetune 微调模型及 GitHub 预处理代码。
Stability AI 的 Stable Diffusion 3.5 已在 Hugging Face Hub 发布并接入 Diffusers,包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型,后者支持 4-8 步少步推理。
推荐理由:官方给出 SD3.5 Large 在 Diffusers 中的推理、量化与 LoRA 训练代码,可直接照此在消费级显卡上跑通。
Hugging Face 发布教程与 InstantTexture 库,可将 InstantMesh 等生成模型输出的顶点着色网格转换为 UV 贴图纹理网格。流程用 xatlas 生成 UV 映射,再通过重心坐标插值填充 1024 像素纹理,并配合修复、中值滤波、高斯模糊与 LANCZOS 降采样消除空洞。该库可通过 pip 安装,将 .obj 网格转换为 .glb 输出。
Hugging Face 展示了如何借助 Diffusers 库中的 Quanto 量化工具降低 Transformer 扩散管线的显存占用。以 PixArt-Sigma、Stable Diffusion 3 和 Aura Flow 为例,将扩散主干与文本编码器量化为 FP8 后,SD3 推理显存从 16.403 GB 降至约 8.2 GB,质量几乎无损、延迟略有上升。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)已上线 Hugging Face Hub 并支持 Diffusers 调用,官方同时提供了模型、Diffusers 集成以及 SD3 Dreambooth 和 LoRA 训练脚本。
推荐理由:官方给出 SD3 Medium 在 Diffusers 中的接入方式、显存优化与微调脚本,可直接对照复现。
Artificial Analysis 推出文生图排行榜与 Image Arena,基于超 45,000 次人类图像偏好投票计算 ELO 分数,覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等开源与闭源模型。
Hugging Face 发文梳理 AI 生成内容的水印方案,区分生成时嵌入与生成后添加两类方法,并盘点 Hub 上的相关工具。文中提到 Glaze、Photoguard 可微调图像干扰 AI 处理,Nightshade、Fawkes 则通过"投毒"破坏训练假设;Truepic 按 C2PA 标准嵌入元数据,IMATAG 采用水印器与检测器闭源、调用代码开源的混合模式。
SegMind 发布 SegMoE 框架,可从零构建混合专家扩散模型,并已集成进 Hugging Face diffusers 生态。此次发布包括 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型,以及用于自建 MoE 模型的 segmoe 包和 GitHub 仓库,模型采用 Apache 2.0 许可。
Hugging Face 发布经 Olive 优化的 SD Turbo 与 SDXL Turbo 模型,在 NVIDIA GPU 上通过 ONNX Runtime 的 CUDA 和 TensorRT 执行提供程序加速推理,吞吐量相比 PyTorch 最高提升 229%(SDXL Turbo)和 120%(SD Turbo)。
Hugging Face 发布教程,讲解如何把 ComfyUI 工作流转成 Gradio 应用并部署到 Spaces 的 ZeroGPU 上免费运行。
推荐理由:完整走通从 ComfyUI 工作流导出 Python、包成 Gradio 应用到 ZeroGPU 免费部署的链路,可迁移到任意工作流。
Hugging Face 发布 aMUSEd,这是 Google MUSE 的开源复现,采用 Masked Image Model 而非主流潜在扩散方法,以研究预览形式在宽松许可下开放。
Hugging Face 发布新的 diffusers 训练脚本,把 Pivotal Tuning 与 Prodigy 优化器结合,用于 SDXL 的 Dreambooth LoRA 微调。
推荐理由:Hugging Face 官方把 Pivotal Tuning 与 Prodigy 优化器整合进 diffusers 训练脚本,读者可据此复现 SDXL Dreambooth LoRA 微调流程。
Hugging Face 发布 Latent Consistency LoRA(LCM LoRA),通过训练少量 LoRA 适配层而非蒸馏整个模型,让 SDXL 和 Stable Diffusion 从原本 25 到 50 步降到 4 到 8 步生成图像。
推荐理由:官方给出 LCM LoRA 的推理代码、多硬件速度对比和训练脚本,读者可据此判断少步数生成的可用性。
Hugging Face 在 A100 40GB 上实测了 SDXL 的多项推理优化,未优化管线需 28GB 显存、72.2 秒,改用 fp16 后降至 21.7GB、14.8 秒,叠加 SDPA 后进一步降到 11.4 秒。
推荐理由:原文给出 SDXL 各项优化前后的显存与延迟实测数据,读者可据此选择适合自己硬件的组合方案。
Hugging Face Diffusers 现已支持在 Cloud TPU 上通过 JAX 运行 Stable Diffusion XL 推理。该方案借助 JAX jit 编译与 XLA pmap 并行,在多个 TPU v5e-4 实例上约 4 秒可生成四张 1024×1024 图像,实际生成时间约 2.3 秒。TPU v5e 成本不到 TPU v4 的一半。