1.8B 小模型跑业务,到底能信几分?192 次跑完 0 次 JSON 报错,却把垃圾线索当大客户:1.8B 本地模型翻车实录
有开发者把 6 个 n8n 工作流接到 CPU 上跑的 1.8B 小模型,192 次测试 JSON 全部可解析,但内容错得离谱:7 次把 SEO 垃圾邮件当成高分热线索。
大白话一位开发者在 Dev.to 发帖,说自己把平时用的 6 个 n8n 自动化工作流,全部换成跑在 CPU 上的 Qwen 1.8B 小模型,每个用例重复 3 次,一共 192 次。结果意外的是:JSON 格式一次都没坏,但内容全是坑。比如线索打分,模型给带预算的 CTO 和「求免费模板做作业」的学生都打 85 分,18 次里有 7 次会把垃圾线索推送到 Slack。发票识别把印度日期 02/11 读成 2 月,还自己瞎算出个根本不存在的总额。
对你意味着想用本地小模型省钱跑自动化的人必看:格式能保证,判断力保证不了,关键环节得自己写代码兜底。
Dev.to 开发者个人实测,样本为作者自己的 6 个工作流,非官方评测
原文:I Ran 6 n8n AI Workflows on a 1.8B Local Model: 192 Runs, 0 Broken JSON, 7 Fake Hot Leads
打开巨象雷达,看今天全部 AI 动态