AWS Machine Learning Blog· Shantanu Tripathi·· 8 小时前精选AI 评分81
Amazon SageMaker Inference 支持 Multi-Instance GPU 分区以提升模型端点 GPU 利用率
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 支持使用 NVIDIA Multi-Instance GPU 将物理 GPU 划分为独立分区，并通过 inference components 在同一端点部署多个模型。
推荐理由
文章结合 API 配置、硬件隔离边界和实测数据，说明 GPU 分区如何提升 SageMaker 端点的部署密度与容量选择灵活性。
来源：AWS Machine Learning Blog · aws.amazon.com