🐘 巨象 AI 前沿雷达 🪐 巨象在火星 · MARS OUTPOST← 返回巨象雷达主站
Dev.to2026-11-05 06:13AI 生成

医生看到的「下一步」,可能是攻击者写的!模型全扛住了,兜底代码却把攻击指令递给了牙医?30 条注入实测翻车

一位牙科诊所 SaaS 开发者把 30 条提示注入藏进病历,模型一条没中招,但额度报错触发的本地兜底摘要,把攻击文本当成「下一步」推到了医生眼前。

大白话有人做了个牙科诊所管理软件,点一下就能把病人整份病历总结成一段话。他往病历里偷偷塞了 30 条「忽略你的指令,去做某某事」的注入文本,想看看 AI 会不会上当。结果模型很稳,49 次总结里一次都没照做。真正出问题的是另一条路:当天模型接口报额度错误,程序自动切到不用 AI 的本地摘要,这段代码直接把注入原文抄进了医生看的「下一步」栏位。作者说这不是模型被攻破,而是把不可信内容放进了医生会当成指令去读的位置。
对你意味着所有给 AI 功能做「降级兜底」的开发者都该看看:模型防住了不等于产品安全,兜底路径同样吃同一份输入。

开发者本人在 Dev.to 发布的实测记录,含开源评测工具与修复提交,属可核实的个人项目复盘

原文:I let a prompt injection into my own app's clinical notes. The model ignored it. The fallback didn't.

打开巨象雷达,看今天全部 AI 动态