本地跑模型太慢，这招能省一半时间！推理速度直接翻倍？4B 小模型配 6 亿草稿模型，4090 上飙到 203 tok/s

大白话简单说，这是给一个 40 亿参数的小模型配了个「抢答助手」。DSpark 只有 6.24 亿参数，先一口气猜出最多 7 个词，再让大模型一次性批改，猜对了就省掉一步步慢慢算的时间。官方放出的数据是：RTX 4090 上用 llama.cpp 跑 BF16，速度从 95 tok/s 涨到 203 tok/s；苹果 M5 Pro 上用 MLX，从 31 涨到 77。注意它不能单独聊天，必须搭配主模型用。

对你意味着想在本地跑大模型、又嫌速度慢的人值得关注：不用换显卡，加个「小抄模型」就可能快一倍。但数据来自官方模型卡，自己机器上能快多少还得实测。