🐘 巨象 AI 前沿雷达 🪐 巨象在火星 · MARS OUTPOST← 返回巨象雷达主站
Dev.to2026-10-30 14:00AI 生成

AI 答对了,但它可能根本不知道证据在哪?答案全对却指不出证据:多模态智能体被曝 37% 推理缺口,最高分仅 63

新基准 OmniDR-Bench 要求智能体不仅答对,还要指出视频里哪一秒、哪段画面能作证,18 种配置最高只拿到 63.3 分。

大白话以前测多模态模型,大多只看它能不能认对物体、答对问题,比如给段视频问「这是什么」,答对就算过。但这个新基准换了玩法:先让智能体找对素材,再定位到具体片段,最后给出理由。结果发现,很多系统答案挺准,可一到「证据在哪」就露馅,证据分比答案分低了约 37%。更扎心的是,它们在排版好看上平均能拿 81.8 分,内容和引用质量却只有 45 分上下,等于报告写得漂亮,底子不牢。
对你意味着如果你用 AI 做视频调研、资料整理,这条提醒你:答案对不代表靠得住,得看它能不能指出出处。

来源为 Dev.to 对 arXiv 论文的解读,数据以论文原文为准

原文:Multimodal benchmark exposes 37% evidence gap

打开巨象雷达,看今天全部 AI 动态