AWS、SageMaker HyperPod向け推論ゲートウェイを提供開始
2026/09/24 リリース
AWSは、既存のSageMaker HyperPod基盤に単一のEKSマネージドアドオンとして導入できる、Kubernetesネイティブの「Amazon SageMaker HyperPod Inference Gateway」を提供開始しました。アプリケーションを変更せず、モデル名やKVキャッシュ使用率、キュー長、予測レイテンシなど6つの推論シグナルに基づいてGPUを選択し、1つのエンドポイントから複数モデルへルーティングできます。
正確な内容・最新情報は公式情報をご確認ください。
元記事を確認する