两万六千行的大表,AI 直接交白卷!便宜模型反杀旗舰?开源套壳让 GPT-5.4 干翻 GPT-6 Astra 和 Claude Code
开发者 Nikit Kashyap 称,他的开源 harness KYNEX 在 LlamaIndex ExtractBench 上跑出 92.97 F1,用 GPT-5.4 就压过 GPT-6 Astra 的 91.9 和 Claude Code 的 87.1,结果经 LlamaIndex 团队独立复跑验证。
大白话有个开发者做了个叫 KYNEX 的开源工具,专门让 AI 从文档里抽结构化数据。它不切块、不做向量检索,而是先把整份文档解析成「页面地图」,再给模型一堆工具:读某几页、解析表格、全文搜索、OCR、看图。模型像分析师一样自己翻页找答案,每条结果都带出处。最狠的是那张 26725 行的大表:一次性让模型输出直接返回空,改成逐页枚举后分数从 0 涨到 0.97。
对你意味着做文档抽取、报表解析、合同信息提取的团队都该看看:模型选贵的未必赢,喂给模型什么、怎么拆活、谁来校验,可能更决定成败。
作者自述成绩,LlamaIndex 团队称已独立复跑验证;作者本人也提示规则开发存在潜在数据泄漏,引用数字需谨慎
原文:How a GPT-5.4 harness scored above GPT-6 Astra and Claude Code on ExtractBench
打开巨象雷达,看今天全部 AI 动态