你的 AI 助手慢,可能不是模型笨,是它在纠结该找谁?26 毫秒对 1.4 秒!Salesforce 把智能体路由交给单 token 小模型,通
Salesforce 发布 Koa Decisions 决策模型,专门负责智能体内部请求分流,官方实测约 26 毫秒,而通用大模型要约 1.4 秒。
大白话智能体干活时,第一步往往要先判断“这活儿该交给谁”,这一步以前也丢给通用大模型,结果光分流就等一秒多。Salesforce 的新模型 Koa Decisions 只干这一件事:读请求、看候选分类、直接吐一个标签,常常就一个 token 就完事,所以快得多。它还支持图片和语音输入,用户发张报错截图、说段语音也能被正确分流。
对你意味着做智能体、客服机器人、工单系统的团队值得看:路由层从“最慢的一环”变成可单独计费、单独调优的零件。但换之前最好拿自己的分类集实测一遍。
原文:Salesforce introduces Koa Decisions for millisecond agent routing
打开巨象雷达,看今天全部 AI 动态