AMD Quark在Instinct MI350上以MXFP4量化FLUX.1-dev，实现1.92倍加速

AMD将MXFP4量化支持扩展到图像生成领域。实现这一目标的工具是Quark，AMD的量化框架，与用于扩散模型并行推理的xDiT框架集成。在AMD Instinct MI350 GPU（gfx950架构）上进行的测量显示了显著加速，生成图像质量没有可测量的下降。

AMD Instinct平台上扩散模型的MXFP4量化

扩散模型图像生成属于内存密集型工作负载——大量参数经历连续的去噪步骤，在实时推理或批量处理中，每毫秒延迟都直接影响服务的经济性。FP4量化提供了显著的内存占用缩减，但没有结构化缩放就会导致数值精度损失过大，在生成图像中表现为伪影。

Quark 0.12以逐层方案实现MXFP4，使用直接以MXFP4格式运行的原生AITER GEMM内核。层间没有反量化阶段——内核接受MXFP4输入并产生输出，无需转换回FP16或BF16，从而消除了否则会部分抵消低精度优势的内存带宽开销。

测试环境：PyTorch 2.9.1配合ROCm后端、AITER 0.1.10、Quark 0.12版本、Docker镜像rocm/pytorch-xdit:v26.5。

MXFP4是什么，为什么它消除了反量化开销？

FP4表示每个元素存储在4位中，与BF16（16位）相比，模型内存占用缩减4倍。标准FP4的问题在于动态范围狭窄：没有数据量级信息，激活之间的微小数值差异在舍入中消失。

MXFP4（微缩放FP4）通过块级缩放解决这一问题：每32个元素的块共享以更高精度存储的共同缩放因子。这是在更广泛的微缩放（MX）规范中定义的标准化方法，在保持与FP8格式相当的动态范围的同时实现FP4压缩。AMD的AITER GEMM内核在MI350架构上原生实现这种格式，意味着GPU直接处理MXFP4张量，在热路径中无需软件转换。

在单个和双MI350 GPU上的测量加速

参考模型是FLUX.1-dev（black-forest-labs），在1024×768像素分辨率、20个推理步骤、引导系数3.5下生成。质量验证使用openai/clip-vit-base-patch16在COCO 2017数据集的100个样本上进行。

在配合torch.compile的单GPU上，MXFP4 ASM配置比BF16 eager基线实现1.92倍加速——延迟从2.054秒/图像降至1.069秒/图像。与BF16编译版本相比，加速为1.41倍。在不编译的eager模式下，MXFP4实现1.15倍更快的生成（1.779秒/图像对比2.054秒/图像）。

在使用Ulysses并行的2 GPU配置上，MXFP4编译版本在批次大小16时达到最优0.855秒/图像，相对BF16等效版本（1.052秒/图像）实现1.23倍更好的吞吐量。批次大小为1时加速略低，1.21倍，因为并行利用率较低。

生成图像质量保持不变

BF16 eager基线的CLIP评分为30.98。MXFP4 ASM编译版本达到31.84——数值上高于基线，在100个样本测量程序的统计变异范围内。四种测试配置（BF16 eager、BF16编译、MXFP4 eager、MXFP4编译）的CLIP评分均保持在**±0.5分**范围内。

这具有实际意义：CLIP评分衡量图像与描述之间的语义一致性，比测量像素相似性的PSNR等指标在感知上更接近用户对质量的判断。确认MXFP4不降低CLIP评分意味着量化不会引入对最终用户可见的语义伪影。

与xDiT框架的集成保留了扩展到4或8个GPU的空间，无需更改量化配置——AMD Quark 0.12在同一MI350基础设施上同时支持FP8和MXFP4格式。对于运营图像生成服务的运营商，1.92倍加速直接转化为每GPU容量翻倍，或在相同负载下基础设施成本相应减少。该方法的可访问性——标准Docker镜像、Diffusers集成、无需修改模型的xDiT Ulysses并行——使MXFP4量化成为无需AMD硬件专业知识即可用于生产部署的可行选项。