训练大模型最贵的不是卡,是搬运?每次重刷 10 TB 权重:英伟达新通信库把强化学习训练提速 5.7 倍
英伟达官方博客称,强化学习后训练里训练卡与推理卡之间要反复搬运全量模型权重,最大开源模型单次重刷约 10 TB,新 Reshard 集合通信把这段搬运砍到理论最小值。
完整的大白话解读、专业细节和短视频口播稿,打开巨象雷达登录后查看。
原文:Accelerating Reinforcement Learning Weight Refit with the Reshard Collective
打开巨象雷达,看今天全部 AI 动态