你的模型可能一直在偷偷学歪,还不报错!93.3% 直接干到 100%?DeepMind 揪出所有框架都藏着的 softmax 隐形 bug
三位谷歌 DeepMind 研究员发文称,JAX、PyTorch、TensorFlow 乃至教科书里的 softmax 和交叉熵都带两个数值 bug,改几行就能让 bf16 测试准确率从 93.3% 涨到 100%。
完整的大白话解读、专业细节和短视频口播稿,打开巨象雷达登录后查看。
据 Dev.to 文章转述谷歌 DeepMind 论文,具体修复效果以原论文为准
原文:The 5.5 Cliff: The Bug in Every Softmax That Silently Zeroes Your Model's Best Gradient
打开巨象雷达,看今天全部 AI 动态