企业微调大模型（Fine-tuning）：先吃透 RAG 还是先训自己的模型

企业要不要训练自己的大模型？对许多企业，答案可能是否定的。

通用大模型配合检索增强生成（RAG）和高质量提示词，可满足日常知识问答、文档处理和业务辅助的多数需求。

微调改的是模型权重，能把高频模式固化进模型，让响应更稳定，推理更快，同时减少 token 消耗。它的适用边界很窄：只有任务频次高、输入输出格式固定、对风格有硬性要求时，微调才划算。如果把微调当成万能药，可能因数据不足导致过拟合，也可能因忽视检索而漏掉长尾知识。下面从定义、原理、工程取舍、常见误区四个角度拆解，帮你在投入训练资源前算清这笔账。

什么是微调

微调是指在一个已训练好的通用大模型基础上，用企业自己的数据继续训练，调整模型内部参数，让模型学会特定口吻、领域知识和任务模式，它和预训练、提示工程处在不同层次。

预训练从零开始，用海量文本教模型掌握语言和常识，成本较高。提示工程不改动模型，只在每次对话时把任务说明和上下文写进输入框。微调介于两者之间：模型底子已经有了，你用几百到几万条样本告诉它这类任务该怎么答，它就把这个模式写进权重。

工程上常见的微调方式有三种。全参数微调更新模型全部参数，效果彻底，但显存和算力开销最大。LoRA（Low-Rank Adaptation）只训练低秩矩阵，把改动压缩成几十兆的增量文件，原模型保持不变，这是当前企业落地常用的做法。QLoRA 在 LoRA 基础上做 4 位量化，把训练显存压到单张显卡也能运行的程度。

微调改了什么

提示词和 RAG 都不碰模型权重。提示词在输入框里写要求，RAG 在回答前从知识库检索相关片段塞进上下文。模型每次都要重新读一遍这些临时信息，上下文越长，推理越慢、越贵。

而微调把模式写进权重。训练完成后，模型不必每次携带长提示，固定格式和口吻直接从参数里长出来。输出通常更稳定，同类任务一致性有所提升。推理速度可能更快，长上下文的处理环节可被减少。调用消耗通常也更低，系统提示和参考文档也不必反复粘贴。

但微调也带来了一些代价。微调需要准备和清洗训练数据，需要算力跑训练，需要管理模型版本，还要面对灾难性遗忘：新任务上训得太狠，旧能力可能退化。权重一旦固化，知识更新通常需要重新训练，而 RAG 改文档即可更新答案。

怎么判断你需不需要微调

判断要不要微调，看三个条件：任务是否高频、格式是否长期不变、对风格是否有硬性要求。

知识类问答优先用 RAG。企业的产品手册、规章制度、设备参数可能经常变化，RAG 改文档即可更新答案，微调则通常需要重训、重评，更新周期相对较长。

而下面几类场景微调更划算。客服话术：每天上万次咨询，要求语气统一、免责声明保持高度一致，微调有助于将此模板固化。报表生成：财务或运营报表有固定表头和字段顺序，微调后模型通常可直接输出合规格式，减少在提示里反复描述结构的需求。专有实体识别：企业内部的物料编码、设备代号有一套私有命名，通用模型可能难以识别，微调有助于让它学会。代码风格统一：把团队规范融入微调训练，自动生成的脚本更有可能符合内部约定。

设一个任务每天触发一万次，每次靠提示词多花 2000 token 维持格式，一年将产生可观的 token 冗余开销。微调一次性投入训练，之后每次推理都能省下这笔。低频任务则相反，训练成本摊不薄。

四个容易踩的坑

误区一，以为微调能解决一切。数据量不够、质量不高时，模型会死记训练样本，遇到新情况就出错，这叫过拟合。没有几千条高质量样本，微调效果可能不及写好提示词。

误区二，以为微调后可以扔掉 RAG。微调固化的是高频模式，企业里大量长尾知识（某个冷门型号的备件价格、去年某次事故的复盘记录）出现概率低，模型可能难以完整记忆。检索补长尾，微调管高频，两者分工不同。

误区三，以为数据越多越好。其实重复、标注错误、格式混乱的数据可能影响模型效果。一百条干净样本可能比大量脏数据更有价值。数据准备的成本常被低估。

误区四，以为微调一定优于提示词。很多任务换一个更清晰的提示、补一段少样本示例就能解决。建议先试提示工程和 RAG，再考虑微调。

落地决策框架

想做微调前先回答四个问题：任务每天触发多少次？输入输出格式是否长期不变？知识更新频率高不高？数据是否攒够上千条干净样本？

小艾智能体的核心大模型层兼容 DeepSeek、GPT-4、智谱 AI 等多款模型，可按场景灵活切换。对敏感数据，系统采用私有化部署，模型在客户内网运行，数据可在本地处理。微调方面提供两条路径：本地 LoRA 增量训练产出轻量模型文件，或通过配置直接调用专用模型。系统的检索增强由 Milvus 向量库与 Elasticsearch 提供，RAG 与微调可在动态 Agent 编排里组合使用，高频任务可交微调模型，长尾知识可交检索，有助于兼顾稳定与灵活。