小模型居然干翻大模型？70B 大模型被 8B 小模型反杀：播客 AI 工具实测：边缘推理快得离谱

大白话做播客最累的不是录，是录完写标题、整理 show notes、排时间戳这些杂活。这位开发者先试了通用 AI 套壳工具，又慢又要手动复制粘贴，干脆自己做了个叫 PodCrisp 的工具。他对比两条路：调云端大模型，模型强但每次请求都要跑一趟数据中心，延迟和流量费都上去了；把模型放在 Cloudflare 边缘节点跑 Llama 3 8B，模型小但离用户近，首字返回明显更快。他的结论是：像整理 show notes 这种结构化任务，提示词写好的 8B 常常打得过提示词写不好的 70B。

对你意味着做 AI 小工具、独立产品的开发者可以看看这套取舍思路：不是模型越大越好，任务越垂直，小模型加好提示词越划算。