一张卡硬切 7 份,云账单直接砍半?一张 A100 硬切成 7 份!AWS 让 GPU 不再整卡浪费,小模型终于不用交整卡智商税
AWS 官方博客宣布 SageMaker 推理端点支持 NVIDIA MIG 硬件级切分,一张 GPU 最多拆成 7 个独立分区,小模型不必再独占整卡。
大白话以前在云上部署模型,最小的 GPU 单位就是一整张卡。你只有一个小模型,也得租一整张 A100,就像买一杯水却必须买一整桶。AWS 现在把 NVIDIA 的 MIG 技术接进了 SageMaker:一张卡在硬件层面切成最多 7 份,每份有自己的算力和显存,互相隔离。好处是同一台机器能塞下更多模型,小模型只租一小块,不用为用不上的算力付钱。
对你意味着自己部署模型、被 GPU 账单压着的团队最该看:切分粒度变细,成本可能明显下降,但只支持 inference components 这种部署方式。
原文:SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
打开巨象雷达,看今天全部 AI 动态