Google Research 提出 Diffusion Controller 统一图像生成控制
Google Research 提出 Diffusion Controller 框架,把扩散模型的去噪过程重构为连续控制问题,用一个轻量附加网络在冻结基座模型上动态调整生成轨迹。
Google Research 提出 Diffusion Controller 框架,把扩散模型的去噪过程重构为连续控制问题,用一个轻量附加网络在冻结基座模型上动态调整生成轨迹。
Hugging Face 发布 Workflow1111,用 Gradio Workflow 把 AUTOMATIC1111 的大部分功能重建为一张工作流画布,由 11 条媒体管线和 73 个节点组成,覆盖文生图、高清修复、图生图、提示词矩阵、VLM 反推、检测生成 inpaint 掩码、ControlNet 风格标注器、背景移除、PNG Info 与图生视频。
推荐理由:原文给出用 Gradio Workflow 重建 A1111 全部管线的节点构成与运行方式,可据此判断无 GPU 搭建多模型工作流的可行性。
OpenAI 发布 ChatGPT Images 2.5,可将想法、草图和参考照片转化为更个性化、更精致的图像,更贴近用户原本的构想。
推荐理由:官方给出 ChatGPT Images 2.5 的输入类型与输出定位,可据此了解图像生成能力这次的调整方向。
Hugging Face 在 Diffusers 中引入 Nunchaku Lite,可直接用 from_pretrained() 加载 Nunchaku 风格的 4-bit 量化检查点,无需自定义 pipeline 或本地 CUDA 编译。
推荐理由:原文给出 Nunchaku Lite 在 Diffusers 中的加载方式与实测数据,读者可据此判断 4-bit 扩散推理的显存与速度取舍。
Google Research 在 ICLR 2026 论文中揭示扩散模型的创造力源于 score smoothing:神经网络训练中的正则化使学到的 score function 变平滑,导致去噪过程在训练数据点之间插值,从而生成新样本而非简单记忆。
Google DeepMind 发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)和 Gemini Omni Flash(gemini-omni-flash-preview)两款模型。
推荐理由:两款新模型给出了延迟、单价与可用入口,读者可据此判断图像与视频生成链路的成本取舍。
Google Research 宣布新方法已作为 Google Photos 的 Auto frame 功能上线,可自动调整拍摄视角。该方法先用 3D 点图估计模型重建场景与相机参数,再用生成式潜在扩散模型补全新视角下露出的空白区域,并自动检测人脸位置与广角畸变来选定理想机位。用户可在 Auto frame 候选中选择第二版重构图,一键改善含人物的照片。
OpenAI 发布指南,介绍如何用 ChatGPT 通过清晰的提示词创建和优化图像,并迭代设计方案,在几分钟内生成高质量视觉内容。
Google Research 与多家 NHS 机构合作的 AIMS 研究在 Nature Cancer 发表两项研究,评估 AI 乳腺筛查系统。
推荐理由:两项 Nature Cancer 研究给出 AI 在 NHS 乳腺筛查中的独立读片与双读流程数据,可了解落地条件。
Google 开源的 SpeciesNet 可对相机陷阱图像分类 2,498 个类别,基于 6,500 万张标注图像训练,在留出测试集上能找出 99.4% 含动物的图像,83% 的情况可识别到物种且其中 94.5% 预测正确。
Hugging Face 发布 Modular Diffusers,用可复用的 block 组合扩散流水线,作为 DiffusionPipeline 之外更灵活的替代方案。
推荐理由:官方给出可组合扩散流水线的完整用法与自定义块示例,读者可据此判断现有 Diffusers 工作流如何拆解复用。
Hugging Face 博客发布 PRX 系列第三篇,用 32 张 H200、约 1500 美元算力预算在 24 小时内完成文本到图像扩散模型训练,并开源训练代码与实验框架。该方案采用 x-prediction 在像素空间直接训练、无需 VAE,并叠加 LPIPS 与 DINOv2 感知损失、TREAD token 路由、REPA 表征对齐和 Muon 优化器。
Google DeepMind 发布最新图像生成模型 Nano Banana 2(Gemini 3.1 Flash Image),将 Nano Banana Pro 的高级世界知识、质量与推理能力带到 Flash 级速度。
推荐理由:Google DeepMind 官方发布 Nano Banana 2,读者可据此了解其能力边界与在 Gemini、搜索、Flow 等产品中的落地范围。
Hugging Face 公布 PRX-1.2B 文本到图像模型的训练消融实验,在 100k 步、256×256 分辨率、全局 batch size 256 的 Flow Matching 基线上,系统对比表征对齐、训练目标、token 路由与稀疏化、数据四类技巧对收敛与效率的影响。
Hugging Face Diffusers 官方博客宣布支持 FLUX.2,并给出基于 diffusers/FLUX.2-dev-bnb-4bit 仓库的完整推理示例。
推荐理由:Diffusers 官方给出 FLUX.2 的加载与推理代码,读者可据此判断本地部署所需的显存与量化方案。
Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro 构建,面向开发者提供影棚级图像生成与编辑,已在 Google AI Studio 和 Vertex AI 以付费预览形式逐步开放。
推荐理由:官方给出新图像模型的分辨率、文本渲染与搜索接地能力,以及 Adobe、Figma 等接入情况,便于判断其与上一代的取舍。
Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro 构建,主打更准确的图像内文字渲染、多语言生成与更强的世界知识。
推荐理由:官方给出 Nano Banana Pro 的能力边界与各产品上线节奏,可据此判断图像生成与编辑的可用范围。
Hugging Face 为开源工具 AI Sheets 发布重大更新,新增视觉支持,可在表格中查看、分析图像并抽取信息,也能从文本生成图像和编辑图像,全部由 Inference Providers 上的开放模型驱动。
SchoolAI 基于 GPT-4.1、图像生成和 TTS 构建安全、教师引导的 AI 工具,已服务超过 100 万个课堂,提升参与度、监督能力和个性化学习。
Hugging Face 在 Gradio 中内置可见水印功能,创建 Space 时只需为 gr.Image、gr.Video 添加 watermark 参数,即可在 AI 生成的图像和视频上显示水印,水印支持文件名、图像或 numpy 数组,也可使用 QR 水印。gr.Chatbot 同样支持文本水印,用户复制 AI 回复时会自动附带署名,便于 AI 透明度与披露。
通过 Hugging Face MCP Server 将 Claude 接入 Hugging Face Spaces,即可调用 FLUX.1 Krea [dev] 和 Qwen-Image 等模型生成图像。
Arm 发布 Neural Super Sampling(NSS),一款面向图形与游戏开发者的 AI 超分方案,现已开放试用。NSS 是用于实时时序超分的参数预测模型,针对移动 GPU 中的 Neural Accelerators(NX)优化,适用于移动游戏、XR 等功耗受限场景。
Hugging Face 博客演示了如何用 Gradio 的 MCP 集成在 Python 中搭建 AI 购物助手,将 Python 函数自动转换为 LLM 可调用的 MCP 工具。该助手结合 IDM-VTON 扩散模型实现虚拟试衣,并通过 VS Code AI Chat 接入 vton 与 playwright 两个 MCP 服务器,让 LLM 能浏览线上服装店并生成试穿效果图。
Hugging Face 发布教程,介绍如何用 Diffusers 和 PEFT 优化 Flux.1-Dev 的 LoRA 推理速度,在 H100 上通过 Flash Attention 3、torch.compile 和 FP8 量化配合 LoRA 热插拔,实现约 2.23 倍加速。
推荐理由:Hugging Face 官方给出 Flux LoRA 推理的完整优化配方与实测数据,可迁移到其他扩散模型。
Hugging Face 发布教程,介绍用 diffusers 库以 QLoRA 在单张 GPU 上微调 FLUX.1-dev,峰值显存约 10GB 以下。在 RTX 4090 上,QLoRA 峰值显存约 9GB,标准 BF16 LoRA 需 26GB,700 步训练约 41 分钟。
推荐理由:给出在单张消费级 GPU 上微调 FLUX.1-dev 的完整配置与显存对比,方法可直接复用。
Hugging Face Diffusers 现已集成 bitsandbytes、GGUF、torchao、Quanto 和原生 FP8 等多种量化后端,并以 Flux-dev 为例展示其效果。
ChatGPT for Business 迎来 4 月更新,新增 o3 模型、图像生成、增强记忆和内部知识功能。官方同步放出了这些新能力的实操演示视频。
Hugging Face Diffusers 团队实验性推出 Remote VAE,将扩散模型的 VAE 解码过程委托给远程 Inference Endpoints,以降低高分辨率图像和视频生成对消费级 GPU 的显存压力。
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本到图像偏好数据集,覆盖多种图像生成类别并混合不同模型家族与提示词复杂度。数据集基于 Flux 和 Stable Diffusion 模型生成图像,配套提供 flux-dev-lora-finetune 微调模型及 GitHub 预处理代码。
Stability AI 的 Stable Diffusion 3.5 已在 Hugging Face Hub 发布并接入 Diffusers,包含 8B 的 Large 模型和 8B 的 timestep-distilled 模型,后者支持 4-8 步少步推理。
推荐理由:官方给出 SD3.5 Large 在 Diffusers 中的推理、量化与 LoRA 训练代码,可直接照此在消费级显卡上跑通。
Hugging Face 发布教程与 InstantTexture 库,可将 InstantMesh 等生成模型输出的顶点着色网格转换为 UV 贴图纹理网格。流程用 xatlas 生成 UV 映射,再通过重心坐标插值填充 1024 像素纹理,并配合修复、中值滤波、高斯模糊与 LANCZOS 降采样消除空洞。该库可通过 pip 安装,将 .obj 网格转换为 .glb 输出。
OpenAI 与 The Met 服装学院合作推出“Sleeping Beauties: Reawakening Fashion”展览,借助 AI 挖掘艺术与创意潜力,让时尚藏品以新方式呈现。
Hugging Face 展示了如何借助 Diffusers 库中的 Quanto 量化工具降低 Transformer 扩散管线的显存占用。以 PixArt-Sigma、Stable Diffusion 3 和 Aura Flow 为例,将扩散主干与文本编码器量化为 FP8 后,SD3 推理显存从 16.403 GB 降至约 8.2 GB,质量几乎无损、延迟略有上升。
OpenAI 提出改进的一致性模型(Consistency Models)训练技术。一致性模型是一类新兴生成模型,无需对抗训练即可一步采样出高质量数据。
OpenAI 提出 Consistency Models,可在不依赖迭代采样的情况下实现快速生成,从而解决扩散模型因迭代采样导致的生成速度慢问题。扩散模型已在图像、音频和视频生成领域取得显著进展,但迭代采样过程拖慢了生成速度。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)已上线 Hugging Face Hub 并支持 Diffusers 调用,官方同时提供了模型、Diffusers 集成以及 SD3 Dreambooth 和 LoRA 训练脚本。
推荐理由:官方给出 SD3 Medium 在 Diffusers 中的接入方式、显存优化与微调脚本,可直接对照复现。
Artificial Analysis 推出文生图排行榜与 Image Arena,基于超 45,000 次人类图像偏好投票计算 ELO 分数,覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等开源与闭源模型。
Hugging Face 发文梳理 AI 生成内容的水印方案,区分生成时嵌入与生成后添加两类方法,并盘点 Hub 上的相关工具。文中提到 Glaze、Photoguard 可微调图像干扰 AI 处理,Nightshade、Fawkes 则通过"投毒"破坏训练假设;Truepic 按 C2PA 标准嵌入元数据,IMATAG 采用水印器与检测器闭源、调用代码开源的混合模式。
SegMind 发布 SegMoE 框架,可从零构建混合专家扩散模型,并已集成进 Hugging Face diffusers 生态。此次发布包括 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型,以及用于自建 MoE 模型的 segmoe 包和 GitHub 仓库,模型采用 Apache 2.0 许可。
Hugging Face 发布经 Olive 优化的 SD Turbo 与 SDXL Turbo 模型,在 NVIDIA GPU 上通过 ONNX Runtime 的 CUDA 和 TensorRT 执行提供程序加速推理,吞吐量相比 PyTorch 最高提升 229%(SDXL Turbo)和 120%(SD Turbo)。