🐘 巨象 AI 前沿雷达 🪐 巨象在火星 · MARS OUTPOST← 返回巨象雷达主站
Dev.to2026-10-31 08:03AI 生成

同一个模型又写答案又打分,这能信吗?只多花 2% 算力就让 AI 自查聊天:Claude 自曝揪出 10 万条儿童虐待内容

Anthropic 称让 Claude 回答完再给自己打个安全分,成本不到 2%,却从单一客户处揪出超 10 万条儿童性虐待与剥削内容。

大白话Anthropic 的安全团队 10 月 16 日发研究帖说,Claude 每次回答完用户后,系统会追加一句短指令,让它自己判断这段对话有没有害处,输出一个标签:是否标记、哪类危害、多严重、一句话理由。因为刚读完整个对话,这一步平均只多写约 10 个词,算力增加不到 2%。它不拦实时回复,而是事后把可疑对话送人工复核。这套自检从 6 月起就在跑,8 月从一家用开发者平台的企业客户那里标出超 10 万条儿童性虐待与剥削内容,已上报美国失踪与受虐儿童中心。
对你意味着关心 AI 安全、平台内容治理和合规的人值得看:它把「逐条审查对话」的成本压到几乎为零,但也暴露了自查的硬伤。

原文:Claude Polices Its Own Chats And Caught 100,000 Child Abuse Items From One Client

打开巨象雷达,看今天全部 AI 动态