一封邮件就能骗 AI 关掉所有工单？把大模型当“不可信员工”：银行运维团队甩出 6 道护栏，AI 想动手必须先过人类这关

大白话这家公司管的是 ATM 机队的交易、现金预测、故障工单和现场工程师调度，过去一年到处加 AI：每个界面上的问答助手、自动查事故的智能体、语音助手、读邮件的流程。用着用着他们得出一个结论：把大模型当成一个聪明但不可完全信任的新员工，它能被说服、会瞎编、绝不能让它拿着钥匙。文章给出威胁模型和 6 道护栏，且不绑定任何模型厂商，本地 10 亿参数小模型和前沿 API 一样适用。

对你意味着如果你正把 AI 智能体接进有真实副作用的业务系统（改配置、发通知、动钱），这套“只读自由、写入必须人类批”的思路值得直接抄。