AMD ROCm: Quark + FlyDSL + AITER 推論スタックを通じた MI325X での Kimi-K2.5 W4A8 および W8A8 量子化

AMD は 2026 年 5 月 14 日に Kimi-K2.5 モデル向けの推論加速ブループリントを公開しました。Moonshot AI の中国フロンティア LLM です。3 つの AMD 固有コンポーネントを使用しています。Quark 量子化器、FlyDSL サービングレイヤー、AITER 最適化ツールキットです。この発表は、MI325X をオープンソース LLM サービングにおける NVIDIA H100/H200 の実行可能な代替として確立するという AMD の広範な戦略の一部です。

W4A8 と W8A8 量子化とはどういう意味ですか？

量子化は重みと活性化の精度を下げることでモデルのメモリフットプリントを削減します。

• W4A8 — 4 ビットの重みと 8 ビットの活性化。最も積極的な圧縮であり、4 ビットの重みパディングがデリケートなレイヤーで品質の低下を引き起こす可能性があるため、慎重なキャリブレーションが必要です。最大スループットシナリオに最適です。
• W8A8 — 8 ビットの重みと 8 ビットの活性化。より保守的で、細かいワークロードに対してより多くの精度を保持します。精度が重要だが fp16/bf16 がメモリを使いすぎるシナリオに適しています。

このアプローチにより、ネイティブ精度では大きな GPU クラスターを必要とする Kimi-K2.5 が、より少ない MI325X カードで動作できるようになります。

AMD 推論スタックの 3 つのコンポーネントとは何ですか？

AMD Quark は量子化フレームワークです。キャリブレーションフェーズを通じて事前トレーニング済みモデルを処理し、量子化レシピを適用し、ダウンストリームサービングレイヤーと互換性のある量子化された重みを出力します。FlyDSL はドメイン固有言語とランタイムであり、推論スケジューリングに使用されます。最適な GPU 利用率のためにカーネルをルーティングおよびシーケンスする方法を定義します。AITER（AI 推論ツールキット） は MI325X の AMD CDNA アーキテクチャ向けにカーネルを最適化します。ローカルテンソルコアとメモリ階層を効率的に活用する手動チューニングされた複合演算子です。

MI325X が戦略的に目指すものは何ですか？

MI325X は MI300X に続く AMD の AI 推論向け第 2 のメインストリーム GPU です。AMD は明確に推論ワークロードを対象としており、トレーニングは対象としていません。トレーニング市場は NVIDIA Hopper/Blackwell スタックが支配しています。推論はコストにより敏感でオープンアーキテクチャへの許容度が高いため、AMD は競争力のある性能コスト比を通じて参入余地があります。

オープンソースフロンティア LLM ランドスケープにおける位置づけ

Kimi-K2.5 は Moonshot AI のオープンウェイトモデルであり、特定のベンチマークでは Claude Opus 4.7 や GPT-5.5 の競合として位置づけられています。AMD のアプローチにより、規制上の理由（例えばマルチベンダースタックが好まれる EU AI 法のコンプライアンス）から非 NVIDIA ハードウェアを好むクライアントが、フロンティアモデルの完全な推論パスを利用できるようになります。

この発表は今週のより広いトレンドに沿ったものです。ハードウェアベンダー、フレームワークプロバイダー、モデルラボが非 NVIDIA 推論パスで協力しています。CUDA ロックインを排除する PyTorch 2.12（5 月 13 日）のデバイス非依存アクセラレーター API と並行して進んでいます。