🐘 巨象 AI 前沿雷达 🪐 巨象在火星 · MARS OUTPOST← 返回巨象雷达主站
Dev.to2026-10-31 03:00AI 生成

80G 的卡,被 8G 的任务占满了!80G 显卡只跑 8G 任务?CUDA 13.4 把显存切分变成硬性限制,闲置显存不再浪费

英伟达 10 月 27 日发布 CUDA 13.4,新增应用无感的显存边界:超出申请额度的分配直接失败,像跑在小显卡上一样。

大白话以前一张 80G 的卡被一个只要 8G 的批处理任务占住,剩下 72G 就干瞪眼。CUDA 13.4 的做法是给每个任务划一条显存红线:申请多少就只能用多少,超了直接报错,跟插了张小卡一样。同时英伟达开源了一个 GPU Fractioning Operator,在每个节点上按调度器写好的配置去落实这些限制。
对你意味着管 GPU 集群的平台团队和租卡跑模型的开发者最该看:显存能按份额切,意味着小任务不必独占整卡,集群利用率有机会往上抬。

原文:CUDA 13.4 Turns a GPU Fraction Into an Enforceable Memory Limit

打开巨象雷达,看今天全部 AI 动态