很多人接完 RAG 流程就开始凭感觉调参数,改一版看几条 case,这样的优化没有方向感。
评估集怎么建
从真实用户提问里抽样,人工标注理想答案与应命中的文档片段。两百条高质量样本就足够支撑日常迭代。
两个核心指标
检索环节看命中率与排序质量,生成环节看事实一致性与引用正确率。分开度量才能定位问题出在哪一段。
小结
有了评估集之后,换模型、调分块策略这些决策都变成了可对比的实验,迭代速度反而更快。
没有评估集的 RAG 优化全是盲调。记录我从零构建评估集、度量召回与回答质量的过程。
很多人接完 RAG 流程就开始凭感觉调参数,改一版看几条 case,这样的优化没有方向感。
从真实用户提问里抽样,人工标注理想答案与应命中的文档片段。两百条高质量样本就足够支撑日常迭代。
检索环节看命中率与排序质量,生成环节看事实一致性与引用正确率。分开度量才能定位问题出在哪一段。
有了评估集之后,换模型、调分块策略这些决策都变成了可对比的实验,迭代速度反而更快。