VQ-Diffusion：基于离散隐空间的扩散模型

中国科学技术大学与微软提出 VQ-Diffusion，一种在量化隐空间上进行加噪与去噪的条件扩散模型，隐空间由离散向量集合构成。该模型使用冻结的 VQ-VAE 编码图像，并用 CLIP 文本编码器加解码器 Transformer 预测去噪隐变量分布。用户可通过 🧨 Diffusers 用几行代码加载 microsoft/vq-diffusion-ithq 并运行推理。