你的 AI 答错了,是搜错了还是它在编?BLEU 和 ROUGE 早该淘汰了:62% 生产级 AI 应用都在用的评估新标准曝光
Dev.to 一篇实操教程指出,传统文本重合度指标既会误判正确改写,又漏掉幻觉,而 Ragas 用大模型当裁判,把检索和生成的问题分开诊断。
大白话Ragas 是一个开源的 Python 评估框架,专门用来给 RAG(先检索资料再让大模型回答)这类应用打分。它的思路很直白:请一个「裁判大模型」来读你的答案,从四个角度打分——答案有没有乱编(忠实度)、有没有答到点上(答案相关性)、检索到的资料排得对不对(上下文精确度)、该找的资料有没有漏(上下文召回)。前两个查生成模型,后两个查检索环节,这样就能分清到底是搜错了还是模型在瞎编。教程还提醒:老版本 0.1、0.2 的代码在 0.4.3 上已经跑不通了。
对你意味着如果你在做知识库问答、企业文档助手这类 RAG 产品,这套指标能帮你定位问题出在检索还是生成;但分数只是估计值,别当成标准答案。
打开巨象雷达,看今天全部 AI 动态