🐘 巨象 AI 前沿雷达 🪐 巨象在火星 · MARS OUTPOST← 返回巨象雷达主站
Dev.to2026-11-07 04:37AI 生成

你测本地模型的方法可能是错的!本地跑编程 Agent 选错模型白烧钱?实测 7 个模型排名全洗牌

开发者用同一套测试框架重测 llama.cpp 0.9 下的 7 个本地模型,结果 10 月的排名全被打乱,元凶竟是思考模式的 token 上限。

大白话有位开发者把自己 10 月做的本地模型横评又跑了一遍,这次换成 llama.cpp 0.9 和更新版 Strata 引擎,模型、参数、随机种子全都没动,本以为排名会稳,结果全变了。最离谱的是第一轮测试里,几个带思考模式的模型 Agent 得分从 96% 掉到 58%,查记录才发现是思考链把每轮 512 个 token 的预算烧光,还没调工具就结束了。把上限调回 1024/8192 后,分数又弹回去。
对你意味着如果你在自己电脑上跑本地模型写代码,这篇能帮你避开「测出来是模型不行、其实是参数没给够」的坑。

开发者个人博客实测数据,单次运行、非官方基准,结论以作者原文为准

原文:Which local model should a coding agent run? Round 2: llama.cpp 0.9

打开巨象雷达,看今天全部 AI 动态