很多人接完 RAG 流程就开始凭感觉调参数,改一版看几条 case,这样的优化没有方向感。

评估集怎么建

从真实用户提问里抽样,人工标注理想答案与应命中的文档片段。两百条高质量样本就足够支撑日常迭代。

两个核心指标

检索环节看命中率与排序质量,生成环节看事实一致性与引用正确率。分开度量才能定位问题出在哪一段。

小结

有了评估集之后,换模型、调分块策略这些决策都变成了可对比的实验,迭代速度反而更快。