千万台设备你碰不到,模型出问题怎么回滚?模型塞进手机就赢了:Dev.to 长文泼冷水:真正的坑在第二天改不动
一篇 Dev.to 热文指出,端侧小模型的难点不是把模型压小,而是推送到千万台你碰不到的设备上、还要能回滚。
大白话大家都在卷量化、蒸馏,想办法把模型塞进手机内存。但这篇文章说,模型装得下只是起点。云端大模型是「服务」,改个提示词、换个权重,几分钟所有用户都生效;端侧模型是「装进 App 或固件里的一个文件」,散在成千上万台你控制不了的设备上。要改它,得走应用商店审核、OTA 更新窗口,用户还能拒绝更新,老设备几年不升级。更麻烦的是同一个模型要针对不同芯片量化出好几个版本,评测等于在测一堆组合,而且端侧为了隐私不上传数据,出问题你根本不知道。
对你意味着做端侧 AI、手机 App、车机和 IoT 的团队都躲不开;它提醒你,模型上线只是开始,发布工程才是长期成本。
Dev.to 开发者社区技术观点文章,属作者个人论述
原文:Edge AI's Real Bottleneck Isn't the Model, It's the Update Channel
打开巨象雷达,看今天全部 AI 动态