免费 GPU 跑大模型，输出全是感叹号！白嫖两块免费 T4 却翻车？Rust 推理引擎移植 CUDA 连踩两个 F16 大坑

大白话作者用 Rust 写了个小型大模型推理引擎 mini-vllm-rs，底层是 Hugging Face 的 Candle 框架，原本在 Mac 的 CPU 和 Metal 上跑得好好的。他想用 Kaggle 免费送的两块 NVIDIA T4 显卡做多卡测试，以为改个编译目标就完事。结果第一关是模型加载直接报错：CUDA 对某些未量化的 F32 权重不认，得手动绕到通用路径。第二关更阴险，换大模型后 F16 精度下输出变成一堆感叹号夹着单词，退回 F32 立刻正常。最后他把 CUDA 后端强制降级到 F32 并打警告，才跑通端到端。

对你意味着如果你也在折腾本地或云端跑大模型、想薅免费 GPU 算力，这篇踩坑记录能帮你少走几小时弯路；也提醒一句，精度问题不一定报错，可能只是悄悄输出垃圾。