AMD QuarkがInstinct MI350向けFLUX.1-devのMXFP4量子化で1.92倍高速化を実現

AMDは画像生成ドメインへのMXFP4量子化サポートを拡張した。それを実現するツールはQuark——AMDの量子化フレームワーク——で、拡散モデルの並列実行のためのxDiTフレームワークと統合されている。AMD Instinct MI350 GPU（アーキテクチャgfx950）上で実施した測定は、生成画像の品質に測定可能な低下なく大幅な高速化を示している。

AMD Instinctプラットフォーム上の拡散モデル向けMXFP4量子化

拡散モデルによる画像生成はメモリ集約型のワークロードだ。大量のパラメータが連続するデノイズステップを通過し、リアルタイム推論やバッチ処理での各ミリ秒のレイテンシがサービスの経済性に直接影響する。FP4量子化はメモリフットプリントの劇的な削減を提供するが、構造化されたスケーリングなしでは生成画像にアーティファクトとして現れる数値精度の損失が過大になる。

Quark Release 0.12はMXFP4をレイヤーごとのスキームで実装し、MXFP4フォーマットで直接動作するネイティブAITER GEMMカーネルを使用する。レイヤー間に逆量子化フェーズはない——カーネルはMXFP4入力を受け取りFP16やBF16への変換なしに出力を生成し、より低い精度の利点を部分的に相殺するメモリ帯域幅オーバーヘッドを排除する。

テスト環境：ROCmバックエンドを持つPyTorch 2.9.1・AITER 0.1.10・Quark Release 0.12・Dockerイメージrocm/pytorch-xdit:v26.5。

MXFP4とは何か、逆量子化オーバーヘッドをどのように排除するか？

FP4表現は要素あたり4ビットで保存される。BF16（16ビット）と比べると4倍小さなモデルメモリフットプリントをもたらす。標準的なFP4の問題はダイナミックレンジが狭いことだ。データの大きさに関する情報なしでは、活性化間の微細な数値差が丸め処理で消えてしまう。

MXFP4（Microscaling FP4）はブロックレベルのスケーリングでこれを解決する。32要素の各ブロックが高い精度で保存された共通のスケール係数を共有する。これはより広いMicroscaling（MX）仕様内で定義された標準化されたアプローチで、FP8フォーマットに匹敵するダイナミックレンジを持つFP4圧縮を可能にする。AMDのAITER GEMMカーネルはMI350アーキテクチャ上でこのフォーマットをネイティブに実装しており、GPUがソフトウェア変換なしにMXFP4テンソルを直接処理することを意味する。

1台および2台のMI350 GPUでの実測高速化

リファレンスモデルはFLUX.1-dev（black-forest-labs）で、解像度1024×768ピクセル・20の推論ステップ・ガイダンススケール3.5で生成される。品質検証はopenai/clip-vit-base-patch16を使用してCOCO 2017データセットから100サンプルで実施された。

torch.compileを使用した1台のGPUで、MXFP4 ASM設定はBF16 eagerベースラインに対して1.92倍の高速化を達成する——レイテンシが2.054秒/画像から1.069秒/画像に低下する。BF16コンパイル版と比べると高速化は1.41倍。eagerモード（コンパイルなし）では、MXFP4が1.15倍高速な生成をもたらす（1.779秒/画像対2.054秒/画像）。

Ulyssesパラリリズムを使用した2台のGPU構成では、バッチサイズ16でMXFP4コンパイル版が最適な0.855秒/画像に達する。これはBF16相当品（1.052秒/画像）に対して1.23倍の向上だ。バッチサイズ1ではより低い並列利用率のため高速化はやや低く1.21倍だ。

生成画像の品質は変化しない

BF16 eagerベースラインのCLIPスコアは30.98。MXFP4 ASMコンパイル版は31.84を達成——ベースラインより数値的に高い値で、100サンプルの測定手順の統計的変動の範囲内だ。テストされた4つの設定すべて（BF16 eager・BF16コンパイル・MXFP4 eager・MXFP4コンパイル）がCLIPスコアを**±0.5ポイント**の範囲内に保つ。

これは実際的に重要だ。CLIPスコアは画像とその説明の意味的整合性を測定するもので、ピクセルの類似性を測るPSNRのような指標よりも知覚的にユーザーの品質評価に近い。MXFP4がCLIPスコアを劣化させないという確認は、量子化がエンドユーザーに見える意味的アーティファクトをもたらさないことを意味する。

xDiTフレームワークとの統合は量子化設定を変更せずに4台または8台のGPUへの拡張の余地を残している——AMD Quark 0.12は同じMI350インフラ上でFP8とMXFP4フォーマットの両方をサポートする。画像生成サービスを運営するオペレーターにとって、1.92倍の高速化は同じGPUあたりの容量の倍増、または同じ負荷に対するインフラコストの比例削減に直接換算される。このアプローチのアクセシビリティ——標準的なDockerイメージ・Diffusers統合・モデル修正なしのxDiT Ulyssesパラリリズム——は、AMDハードウェアに関する専門的なエンジニアリング知識なしに本番デプロイメントに適用可能なオプションとしてMXFP4量子化を位置づける。