这个参数被吹爆，实测却慢 4 倍！16GB 显卡跑 42B 大模型：专家卸载反而慢 4 倍？实测 5 个模型翻车

大白话MoE 模型的特点是「总参数很大，但每个字只动用一小部分专家」。于是有人想：把用不到的专家权重丢到内存里，只把注意力等部分留在显卡上，是不是就能在显存不够的机器上跑大模型？这位作者用 llama.cpp 的 --n-cpu-moe 参数在 16GB 显存的笔记本上试了 5 个模型。结果很分裂：Phi-3.5-MoE 和 Apex-35B 上确实更快，但 Qwen3.5、Gemma 4 和 LFM2.5 上反而比传统整层卸载慢，LFM2.5 甚至从 9.03 tok/s 掉到 2.11 tok/s。

对你意味着如果你正打算用 16GB 显卡本地跑大模型，别默认「专家卸载一定更快」，不同模型架构差异巨大，得自己实测。