企业知识库应该使用 RAG 还是微调?
回答依赖最新或私有资料时,优先评估检索增强生成(RAG);需要让模型在明确任务上表现更一致时,再考虑微调。先检查清晰提示词和提供上下文是否已能解决问题。两者可以组合,但都不能替代权限控制和评估。
| 实际失败 | 首先检查 | 保留的证据 |
|---|---|---|
| 回答引用旧政策 | 文档时效与检索过滤 | 政策版本与检索片段 |
| 事实正确但输出格式不稳定 | 格式约束、示例,然后评估任务微调 | 留出样本与解析错误 |
| 回答泄露其他团队文件 | 检索前的授权检查 | 用户身份与允许访问的文档集合 |
| 无依据却肯定回答 | 检索相关性与拒答行为 | 预期来源或明确的无答案标记 |
先诊断知识缺失,再调整模型
取一个失败问题,手动提供正确政策段落。如果模型此时能准确回答,优先问题很可能是如何找到并提供证据。检查资料导入、切分边界、日期过滤和查询本身。如果正确来源已摆在上下文里仍然回答错误,则应检查指令是否清楚及任务难度。这个简单对照可以避免一遇到错误就默认开启昂贵训练。
把检索成功与回答成功分开记录
每个问题分别记录所需原文、是否检索到、回答是否正确使用、引用是否确实支持结论。流畅回答可能掩盖检索失败。加入资料库没有答案的问题,以及政策更新后答案发生变化的问题。测试题应与调提示词或训练时使用的示例分离。
把权限边界作为发布条件
创建两个具有不同文档权限的测试身份,提出相同问题。一个身份的回答不能泄露另一身份受限资料中的原文、标题或推断事实。更改权限、删除文档后再次执行。即使普通问题准确率很高,下面的评估表仍把权限失败视为阻断项。这是一套自拟验收流程,并不表示某个产品已经通过。
运行小规模、可复现的试点
- 准备 20 个带预期来源的问题,其中五个应无法回答。
- 用同一组问题比较手动提供上下文的基线与检索系统。
- 使用两种权限身份重复测试,并填写评估表。
来源及其支持的事实
- Microsoft Learn: retrieval augmented generation and indexes
RAG 用检索资料支撑回答;微调面向行为或任务表现。
继续查看落地工作流
发布者:GPTNavi 编辑团队最近实质更新于
内容基于公开产品信息和实用工作流设计方法整理;实际采用前,请向各产品方核实最新价格、功能和政策。
稳定 HTML 引用网址:https://gptnavi.com/guides/rag-vs-fine-tuning · Markdown 版本