PixelFlow— 港大联合 Adobe 推出的图像生成模型

PixelFlow是什么

pixelflow 是香港大学和adobe联合推出的图像生成模型，支持直接在像素空间中生成图像。pixelflow基于高效的级联流建模，从低分辨率逐步提升到高分辨率，降低计算成本。pixelflow 在 256×256 imagenet 类别条件图像生成任务中达到 1.98 的 fid 分数，展现出色的图像质量和语义控制能力。pixelflow在文本到图像生成任务中也表现出色，支持生成高质量且与文本描述高度一致的图像。pixelflow 的端到端可训练性和高效的多尺度生成策略为下一代视觉生成模型提供新的研究方向。

PixelFlow的主要功能

• 高质量图像生成：支持生成高分辨率、高质量的图像。
• 类别条件图像生成：根据给定的类别标签生成相应的图像。
• 文本到图像生成：根据文本描述生成与之匹配的图像，支持复杂的语义理解和视觉表现。

PixelFlow的技术原理

• 流匹配：流匹配是生成模型技术，基于一系列线性路径将先验分布（如标准正态分布）的样本逐步转换为目标数据分布的样本。训练时，基于线性插值构造训练样本，训练模型预测从中间样本到真实数据样本的转换速度。
• 多尺度生成：基于多阶段去噪过程逐步增加图像分辨率。每个阶段从较低分辨率的噪声图像开始，逐步去噪提升分辨率，直到达到目标分辨率。逐步提升分辨率的方法避免在全分辨率下进行所有去噪步骤，显著降低计算成本。
• Transformer 架构：
  • Patchify：将输入图像的空间表示转换为 1D 序列的标记。
  • RoPE（Rotary Position Embedding）：用 RoPE 替换原始的正弦余弦位置编码，更好地处理不同图像分辨率。
  • 分辨率嵌入：引入额外的分辨率嵌入区分不同分辨率。
  • 文本到图像生成：在每个 Transformer 块中引入交叉注意力层，将视觉特征与文本输入对齐。
• 端到端训练：基于统一的参数集直接在像素空间中进行训练，无需预训练的 VAE 或其他辅助网络。训练时，模型从所有分辨率阶段均匀采样训练样本，用序列打包技术进行联合训练，提高训练效率和模型的可扩展性。
• 高效的推理策略：在推理时，PixelFlow 从最低分辨率的高斯噪声开始，逐步去噪和提升分辨率，直到达到目标分辨率。支持多种 ODE 求解器（如 Euler 和 Dopri5），根据需要选择不同的求解器平衡速度和生成质量。

PixelFlow的项目地址

• GitHub仓库：http://github.com/ShoufaChen/PixelFlow
• arXiv技术论文：http://arxiv.org/pdf/2504.07963
• 在线体验Demo：http://huggingface.co/spaces/ShoufaChen/PixelFlow

PixelFlow的应用场景

• 艺术与设计：生成创意绘画、平面设计元素和虚拟角色。
• 内容创作：辅助视频制作、游戏开发和社交媒体内容创作。
• 教育与研究：作为教学工具，帮助理解复杂概念，辅助科研可视化。
• 商业与营销：生成产品设计原型、广告图像和品牌推广内容。
• 娱乐与互动：用在互动故事、VR/AR内容生成和个人化图像定制。