你的大模型账单,可能白烧了四分之三!便宜小模型当裁判,拿不准再喊 Opus 救场?成本直接砍到四分之一
Hightouch 团队在 Hacker News 分享:让轻量模型 Jev 先做判断,只在没把握时才转交 Opus,准确率追平 Opus,成本却只有四分之一。
大白话Hightouch 的博客讲了个省钱思路:别什么事都直接问最贵的大模型。他们让一个又快又便宜的小模型 Jev 先做判断,Jev 对自己有没有把握心里有数,遇到拿不准的才把活儿转给 Opus。结果准确率跟全程用 Opus 差不多,花的钱只有四分之一。Hacker News 上有人问能不能换成 Sonnet 或 Haiku,作者回复说关键不在用哪个模型,而在于 Jev 对这类任务的信心判断够不够准。
对你意味着如果你在做 AI 产品、天天为 Token 账单发愁,这套「小模型先筛、大模型兜底」的架构值得抄作业;但前提是先把小模型的置信度校准好。
据 Hacker News 讨论与 Hightouch 博客,作者自述数据,未经第三方复现
原文:A Jev that can ask Opus for help gives Opus accuracy at 4x lower cost
打开巨象雷达,看今天全部 AI 动态