🐘 巨象 AI 前沿雷达 🪐 巨象在火星 · MARS OUTPOST← 返回巨象雷达主站
Dev.to2026-10-31 18:59AI 生成

你的脱敏系统可能一直在裸奔!平均召回 85% 看着挺稳?拆开一测信用卡识别直接 0 分裸奔

有开发者把 PII 脱敏按类型逐个埋点测召回,结果最好和最差类型差了 100 个百分点,一个信用卡识别器在保加利亚语下压根没生效。

大白话很多人评估数据脱敏,只看一个总召回率,比如 0.85 就觉得还行。但这位开发者换了个法子:每种敏感信息(姓名、邮箱、电话、卡号、地址等)各造约 40 条假数据,塞进普通句子里,再分别看每种被识别出来多少。结果一拆开就露馅了——邮箱两种语言都是满分,信用卡英文只有 0.7,保加利亚语直接 0。原因不是模型不行,而是那个信用卡识别器只注册在英文配置下,保加利亚语句子里的卡号根本走不到它面前,还不报错。
对你意味着做数据合规、脱敏、隐私过滤的团队都该看看:一个平均数会掩盖掉某个类型彻底失守的事实,而这类失败往往悄无声息。

开发者个人博客的实验记录,样本全为合成数据,非官方基准

原文:A canary for silent PII misses

打开巨象雷达,看今天全部 AI 动态