AWS：SageMaker AIのコンテナキャッシングで推論スケーリングのレイテンシを最大50%短縮

AWSはAmazon SageMaker AIにコンテナイメージの事前キャッシュ機能を導入し、モデルサービングで最も一般的なボトルネックの一つである推論スケーリングを高速化しました。

コンテナキャッシングはどんな問題を解決しますか？

サービスがより多くのトラフィックを処理するためにインスタンス数をスケールアップする際、各新インスタンスは通常Amazon ECR（イメージレジストリ）からコンテナイメージをプルする必要があり、時間がかかります。新しいコンテナキャッシング機能はそのイメージを事前キャッシュするため、スケーリング時にプルが不要になります。この機能は開発チームのオプトインなしに自動的に有効化されます。

どれくらい高速化されますか？

Qwen3-8Bモデルの起動レイテンシは525秒から258秒に短縮され、約51%の改善となります。ユーザー全体ではP50レイテンシが38〜65%低減し、エンドツーエンドのスケーリングが最大2倍高速化します。これにより、新インスタンスの準備中のアイドル時間なしにサービスが急なトラフィックの急増に素早く対応できます。

どこで利用できますか？

キャッシング機能はすべての商用AWSリージョンのすべてのアクセラレータインスタンスタイプ（g4dnやg5など）で利用可能で、プレビューではなく一般提供（GA）です。変動するトラフィック下で大型モデルをサービングするチームにとって、スケーリングの高速化はレイテンシと予備容量コストを直接削減します。