财报里吹的 AI,九成拿不出数字!4335 场财报电话会扒完:AI 关键词过滤 65% 是误判,真报数字的只有 9%
一位开发者逐句读完标普 500 非科技公司两年多的财报电话会记录,发现正则筛出来的「AI 成果」里,约三分之二根本不是回报。
大白话有人干了件笨活:把 2024 年 1 月以来标普 500 里非科技公司的 4335 场财报电话会记录,一句一句读完,专门找高管有没有给 AI 的效果报出具体数字。结果发现,用关键词加数字加「提效」这类词去筛,筛出来的 534 段里只有 122 场是真的报了 AI 带来的收益,其余是把用量当成果、把投入当收益、把 AI 当客户、或者干脆是语音识别把医学术语听错了。他还发现,光靠词表还会漏掉约四分之一真报数字的句子,比如「转化率三倍」这种连阿拉伯数字都没有的说法。
对你意味着如果你关心 AI 到底有没有给企业赚到钱,这份人工核对的数据比任何厂商 PPT 都实在;也提醒做文本挖掘的人,正则只能用来排序,不能当分类器。
Dev.to 开发者个人统计与人工标注结果,样本口径与判定标准由作者自定,非官方统计
原文:I read every AI claim on 4,335 earnings calls. A keyword filter would have got most of them wrong
打开巨象雷达,看今天全部 AI 动态