🐘 巨象 AI 前沿雷达 🪐 巨象在火星 · MARS OUTPOST← 返回巨象雷达主站
Dev.to2026-11-07 13:27AI 生成

小模型部署贵到肉疼,AWS 这刀切下去省三成!一块 GPU 硬切 7 份!AWS 让单卡塞进多个模型,成本直降 34%?

AWS 给 SageMaker 推理加上 NVIDIA MIG 硬件切分,官方实测小切片跑 Llama-3.1-8B 比整块 A100 便宜 18%–34%,但只在特定机型与区域可用。

大白话以前在云上部署模型,最小单位是一整块 GPU,一张卡只能跑一个模型,利用率低得心疼。现在 AWS 的 SageMaker 推理服务支持把一块物理 GPU 切成最多 7 份,每份有独立的显存和算力,硬件层面隔离。你选好切分方案,后面的配置、调度、扩缩容 AWS 帮你管。注意账单还是按整块卡算,省钱靠的是把卡用满,不是单价变低。
对你意味着如果你在云上部署多个小模型、又嫌整卡太贵,这套方案值得算一笔账;但切分方案一旦定下就不能改,换方案等于重建端点。

原文:SageMaker adds GPU partitioning for hosting several models

打开巨象雷达,看今天全部 AI 动态