最近在嘗試把大模型應(yīng)用到一些垂直業(yè)務(wù)場(chǎng)景時(shí)我遇到了一個(gè)非常典型的問(wèn)題用RAG檢索增強(qiáng)生成給模型“喂”知識(shí)結(jié)果它要么答非所問(wèn)要么一本正經(jīng)地“胡說(shuō)八道”。比如你問(wèn)它一個(gè)非常具體的內(nèi)部產(chǎn)品參數(shù)它檢索出來(lái)的文檔明明是對(duì)的但生成的答案卻把幾個(gè)不同版本的功能混在了一起或者干脆自己編造了一段看似合理、實(shí)則錯(cuò)誤的內(nèi)容。這讓我意識(shí)到很多人包括曾經(jīng)的我可能都陷入了一個(gè)誤區(qū)以為只要把文檔向量化存起來(lái)再配上一個(gè)不錯(cuò)的Embedding模型和向量數(shù)據(jù)庫(kù)RAG就能完美工作。實(shí)際上RAG的“幻覺(jué)”問(wèn)題根源遠(yuǎn)比我們想象的要復(fù)雜。它可能出在文檔切分、Embedding模型選擇、檢索策略、重排序甚至是提示詞工程上。而當(dāng)我們把所有環(huán)節(jié)都優(yōu)化到極致發(fā)現(xiàn)效果依然達(dá)不到業(yè)務(wù)要求時(shí)一個(gè)更深層的問(wèn)題就浮現(xiàn)了RAG是在“教”模型如何查找資料而微調(diào)Fine-tuning則是在“重塑”模型的知識(shí)結(jié)構(gòu)和表達(dá)方式。今天我們不談空洞的概念直接進(jìn)入實(shí)戰(zhàn)。我會(huì)結(jié)合一個(gè)具體的“職場(chǎng)進(jìn)階指南”知識(shí)庫(kù)構(gòu)建場(chǎng)景帶你走通從RAG優(yōu)化到大模型微調(diào)的全鏈路。核心目的不是展示某個(gè)工具多強(qiáng)大而是幫你建立一套完整的判斷邏輯什么時(shí)候該優(yōu)化RAG什么時(shí)候必須上微調(diào)以及如何用最低的成本和最高的確定性把外部知識(shí)“焊”進(jìn)大模型里。1. 從RAG的“幻覺(jué)”說(shuō)起為什么檢索對(duì)了答案還是錯(cuò)了當(dāng)我們發(fā)現(xiàn)RAG系統(tǒng)給出錯(cuò)誤答案時(shí)第一反應(yīng)往往是“檢索沒(méi)搜到”。但很多時(shí)候打開(kāi)日志一看模型檢索到的文檔片段chunk其實(shí)是高度相關(guān)的。問(wèn)題出在后續(xù)環(huán)節(jié)。1.1 檢索結(jié)果的質(zhì)量陷阱不只是相關(guān)性假設(shè)我們有一個(gè)“職場(chǎng)技能知識(shí)庫(kù)”里面詳細(xì)記錄了“如何撰寫周報(bào)”、“跨部門溝通技巧”、“項(xiàng)目管理核心四象限”等內(nèi)容。用戶問(wèn)“季度復(fù)盤報(bào)告怎么寫”一個(gè)基礎(chǔ)的RAG系統(tǒng)可能會(huì)這樣工作將問(wèn)題轉(zhuǎn)化為向量。在向量數(shù)據(jù)庫(kù)中搜索最相似的幾個(gè)文本片段。將這幾個(gè)片段和問(wèn)題一起拼接到提示詞中交給大模型生成答案。這里至少存在三層“失真”風(fēng)險(xiǎn)切分失真關(guān)于“季度復(fù)盤”的知識(shí)可能散落在“周報(bào)撰寫”、“季度總結(jié)模板”、“績(jī)效評(píng)估方法”等多個(gè)文檔中。如果切分時(shí)沒(méi)有處理好上下文比如把一個(gè)完整的方法論從中間切斷那么檢索到的單個(gè)片段就是殘缺的模型無(wú)法基于碎片拼出全貌。排序失真向量檢索返回的是“語(yǔ)義相似度”最高的片段但不一定是“最有用”的片段?？赡艿谝粋€(gè)片段是定義第二個(gè)片段才是具體步驟而模型更傾向于依賴排在前面的內(nèi)容。理解與生成失真這是最核心的一點(diǎn)。即使把完美的文檔喂給模型模型在理解和重組這些信息時(shí)依然會(huì)受其原始訓(xùn)練數(shù)據(jù)的“本能”影響。如果通用模型更習(xí)慣于生成籠統(tǒng)的建議那么即使你給了它具體的操作步驟它也可能將其“概括”成一段正確的廢話丟失關(guān)鍵細(xì)節(jié)。# 一個(gè)簡(jiǎn)化的RAG檢索后處理流程展示了信息流經(jīng)的環(huán)節(jié) def naive_rag_qa(question, vector_db, llm): # 1. 檢索可能在這里丟失精度 query_embedding get_embedding(question) retrieved_chunks vector_db.similarity_search(query_embedding, k5) # 2. 構(gòu)建上下文可能在這里引入噪聲 context \n\n.join([chunk.text for chunk in retrieved_chunks]) prompt f基于以下上下文回答問(wèn)題。如果上下文不包含答案請(qǐng)說(shuō)“根據(jù)已知信息無(wú)法回答”。 上下文{context} 問(wèn)題{question} 答案 # 3. 生成可能在這里產(chǎn)生幻覺(jué) answer llm.generate(prompt) return answer # 問(wèn)題可能出在1、2、3的任何一個(gè)或全部環(huán)節(jié)。1.2 優(yōu)化RAG一個(gè)逐層排查的框架在考慮微調(diào)之前我們必須先盡力排除RAG自身的瓶頸。我建議按以下順序進(jìn)行排查和優(yōu)化這本身也是一個(gè)成本由低到高的過(guò)程文本預(yù)處理與切分優(yōu)化檢查項(xiàng)是否使用了簡(jiǎn)單的固定長(zhǎng)度切分是否破壞了表格、代碼塊、章節(jié)標(biāo)題的結(jié)構(gòu)優(yōu)化策略采用基于語(yǔ)義的切分如使用LangChain的RecursiveCharacterTextSplitter并設(shè)置合適的分隔符或者嘗試重疊切分chunk overlap來(lái)保留上下文連貫性。對(duì)于結(jié)構(gòu)化文檔可以先解析再切分。Embedding模型升級(jí)檢查項(xiàng)是否還在使用通用的text-embedding-ada-002或過(guò)時(shí)的開(kāi)源模型對(duì)于中文或垂直領(lǐng)域通用嵌入模型的表現(xiàn)可能大打折扣。優(yōu)化策略切換到在目標(biāo)領(lǐng)域如中文、醫(yī)學(xué)、法律表現(xiàn)更好的模型。例如BGE-M3、voyage-2、Nomic-embed等都是強(qiáng)有力的候選。關(guān)鍵是要在你自己的數(shù)據(jù)上做一個(gè)小規(guī)模的檢索評(píng)測(cè)比如計(jì)算命中率、MRR等。檢索與重排序Rerank檢查項(xiàng)是否直接使用向量相似度Top-K的結(jié)果作為上下文這可能導(dǎo)致精度不足。優(yōu)化策略引入“重排序”模型。先用向量檢索召回較多的候選如20個(gè)再用一個(gè)更精細(xì)的交叉編碼器Cross-Encoder模型如BGE-Reranker對(duì)候選文檔和問(wèn)題進(jìn)行相關(guān)性打分只保留Top-3最相關(guān)的。這能顯著提升上下文質(zhì)量。提示詞工程與上下文管理檢查項(xiàng)提示詞是否清晰要求模型“嚴(yán)格依據(jù)上下文”上下文是否過(guò)于冗長(zhǎng)導(dǎo)致模型注意力分散優(yōu)化策略設(shè)計(jì)更嚴(yán)格的指令例如“請(qǐng)僅使用以下上下文中的信息不要引入外部知識(shí)”?？梢試L試Few-Shot示例展示如何基于片段回答問(wèn)題。對(duì)于長(zhǎng)上下文可以指示模型先引用相關(guān)原文再總結(jié)。經(jīng)驗(yàn)之談優(yōu)化RAG就像調(diào)試一個(gè)精密的儀器需要逐級(jí)校準(zhǔn)。我的習(xí)慣是每做一項(xiàng)優(yōu)化就用一組固定的測(cè)試問(wèn)題驗(yàn)證效果記錄指標(biāo)變化。當(dāng)你在上述環(huán)節(jié)投入足夠精力后如果“幻覺(jué)”問(wèn)題依然在業(yè)務(wù)容忍度之外尤其是當(dāng)錯(cuò)誤集中在特定的表達(dá)風(fēng)格、專業(yè)術(shù)語(yǔ)或復(fù)雜邏輯推理上時(shí)就該認(rèn)真考慮微調(diào)了。2. 微調(diào)登場(chǎng)何時(shí)才是“重塑”模型的最佳時(shí)機(jī)微調(diào)不是RAG的替代品而是解決另一類問(wèn)題的利器。它的本質(zhì)是用特定領(lǐng)域的數(shù)據(jù)繼續(xù)訓(xùn)練大模型使其參數(shù)發(fā)生微小但關(guān)鍵的調(diào)整從而改變模型在特定任務(wù)上的行為模式。2.1 微調(diào) vs. RAG一張決策表為了更清晰地判斷我們可以從幾個(gè)維度來(lái)對(duì)比考量維度RAG (檢索增強(qiáng)生成)微調(diào) (Fine-tuning)核心原理外部知識(shí)庫(kù) 檢索 上下文注入用新數(shù)據(jù)繼續(xù)訓(xùn)練更新模型權(quán)重知識(shí)更新實(shí)時(shí)修改知識(shí)庫(kù)即可滯后需要重新訓(xùn)練模型解決“幻覺(jué)”提供參考依據(jù)但模型可能忽略或曲解從底層調(diào)整模型認(rèn)知使其更“像”領(lǐng)域?qū)＜疑瞄L(zhǎng)場(chǎng)景知識(shí)庫(kù)龐大、頻繁更新、需要溯源風(fēng)格遷移、術(shù)語(yǔ)對(duì)齊、復(fù)雜推理模式固化成本開(kāi)銷推理成本高上下文長(zhǎng)開(kāi)發(fā)成本中訓(xùn)練成本高推理成本低與基座模型相當(dāng)數(shù)據(jù)需求大量領(lǐng)域文檔質(zhì)量要求相對(duì)寬松高質(zhì)量指令數(shù)據(jù)百至萬(wàn)條結(jié)合我們的“職場(chǎng)指南”場(chǎng)景來(lái)看幾個(gè)具體例子適合RAG公司最新的規(guī)章制度、每季度的銷售數(shù)據(jù)、動(dòng)態(tài)更新的產(chǎn)品手冊(cè)。這些信息變化快需要實(shí)時(shí)查詢和溯源。適合微調(diào)讓模型學(xué)會(huì)用公司特有的“黑話”交流如“拉齊”、“對(duì)焦”、“賦能”的具體用法或者模仿一位優(yōu)秀管理者的郵件寫作風(fēng)格結(jié)構(gòu)、語(yǔ)氣、措辭。這些是深層的語(yǔ)言模式和認(rèn)知習(xí)慣。2.2 LoRA低成本微調(diào)的現(xiàn)實(shí)選擇全參數(shù)微調(diào)成本高昂動(dòng)輒需要數(shù)張A100顯卡。而LoRALow-Rank Adaptation技術(shù)已成為個(gè)人和小團(tuán)隊(duì)進(jìn)行微調(diào)的首選。它的思想很巧妙不直接更新模型原有的巨大參數(shù)矩陣而是為其注入一對(duì)小的、低秩的適配器矩陣。在訓(xùn)練時(shí)只更新這些適配器在推理時(shí)將適配器的效果加載到原模型上。# 以使用PEFT庫(kù)進(jìn)行LoRA微調(diào)為例核心是配置LoRA參數(shù) from peft import LoraConfig, get_peft_model lora_config LoraConfig( r8, # 低秩矩陣的秩影響參數(shù)量和能力通常8-32 lora_alpha32, # 縮放因子 target_modules[q_proj, v_proj], # 針對(duì)Transformer的哪些模塊注入LoRA lora_dropout0.1, biasnone, task_typeCAUSAL_LM ) model AutoModelForCausalLM.from_pretrained(Qwen/Qwen2.5-7B-Instruct) model get_peft_model(model, lora_config) # 獲得可微調(diào)的PEFT模型 # 后續(xù)只需訓(xùn)練占比很小的LoRA參數(shù)可能不到原模型的0.1%對(duì)于“職場(chǎng)指南”風(fēng)格化任務(wù)我們可能只需要準(zhǔn)備幾百條高質(zhì)量的“問(wèn)題-理想回答”對(duì)在消費(fèi)級(jí)GPU如RTX 4090上訓(xùn)練幾個(gè)小時(shí)就能得到一個(gè)在特定表達(dá)上更貼合需求的模型。3. 全鏈路實(shí)戰(zhàn)構(gòu)建一個(gè)“懂行”的職場(chǎng)顧問(wèn)理論說(shuō)再多不如動(dòng)手走一遍。我們假設(shè)目標(biāo)是將一個(gè)通用的開(kāi)源模型如Qwen2.5-7B通過(guò)“RAG優(yōu)化 關(guān)鍵能力微調(diào)”的組合拳變成一個(gè)精通我司文化的“職場(chǎng)進(jìn)階助手”。3.1 第一階段搭建一個(gè)可靠的RAG知識(shí)底座即使最終要微調(diào)一個(gè)干凈的、高質(zhì)量的領(lǐng)域知識(shí)庫(kù)也是無(wú)價(jià)之寶。它既是微調(diào)數(shù)據(jù)的來(lái)源也是微調(diào)后模型需要精準(zhǔn)檢索的對(duì)象。數(shù)據(jù)收集與清洗收集所有相關(guān)的職場(chǎng)指南文檔PDF、Word、Confluence頁(yè)面、內(nèi)部培訓(xùn)PPT。進(jìn)行格式統(tǒng)一和清洗去除頁(yè)眉頁(yè)腳、無(wú)關(guān)圖片、亂碼。這是最枯燥但最重要的一步臟數(shù)據(jù)進(jìn)去垃圾結(jié)果出來(lái)。智能切分與向量化使用基于語(yǔ)義的切分工具。對(duì)于Markdown/HTML可以按標(biāo)題切分對(duì)于純文本用重疊切分。關(guān)鍵參數(shù)chunk_size512或根據(jù)模型上下文長(zhǎng)度調(diào)整chunk_overlap50。務(wù)必檢查切分后的片段是否保持了語(yǔ)義完整。選擇領(lǐng)域適配的Embedding模型。例如中文職場(chǎng)文檔可以嘗試BGE-M3或voyage-2。將其部署為本地服務(wù)或使用云API。構(gòu)建檢索與重排序管道使用Milvus、Chroma或PgVector存儲(chǔ)向量。實(shí)現(xiàn)兩階段檢索先用向量庫(kù)召回Top-20再用BGE-Reranker模型對(duì)“問(wèn)題-候選文檔”對(duì)進(jìn)行精排選出Top-3。這一步能極大提升輸入給大模型的上下文質(zhì)量為后續(xù)微調(diào)提供高質(zhì)量的“學(xué)習(xí)材料”。3.2 第二階段準(zhǔn)備微調(diào)數(shù)據(jù)——質(zhì)量重于數(shù)量微調(diào)不需要海量數(shù)據(jù)但需要極具代表性的高質(zhì)量數(shù)據(jù)。對(duì)于“風(fēng)格化”任務(wù)我們可以利用已有的RAG系統(tǒng)來(lái)輔助生成。定義數(shù)據(jù)格式采用指令跟隨Instruction Following格式這是微調(diào)對(duì)話模型的主流。{ instruction: 如何向領(lǐng)導(dǎo)委婉地申請(qǐng)延期, input: , // 有時(shí)可以放一些上下文這里留空 output: 領(lǐng)導(dǎo)您好關(guān)于XX項(xiàng)目報(bào)告目前遇到了[具體原因如需要額外數(shù)據(jù)驗(yàn)證]。為了確保報(bào)告質(zhì)量我希望能申請(qǐng)將截止日期延長(zhǎng)至[新日期]。在此期間我會(huì)[后續(xù)計(jì)劃如每日同步進(jìn)展]。您看是否可行 }output部分必須是你希望模型學(xué)會(huì)的理想回答措辭、結(jié)構(gòu)、語(yǔ)氣都要符合要求。數(shù)據(jù)生成與篩選方法A手動(dòng)撰寫針對(duì)核心場(chǎng)景如拒絕、匯報(bào)、協(xié)調(diào)人工撰寫50-100條高質(zhì)量對(duì)話。這是黃金標(biāo)準(zhǔn)但成本高。方法BRAG輔助用優(yōu)化后的RAG系統(tǒng)對(duì)一批種子問(wèn)題生成答案。然后人工對(duì)這些答案進(jìn)行精修和改寫使其符合目標(biāo)風(fēng)格。這能快速擴(kuò)增數(shù)據(jù)量。方法C大模型生成用GPT-4等高級(jí)模型根據(jù)詳細(xì)的行為描述“請(qǐng)扮演一位資深、嚴(yán)謹(jǐn)、注重結(jié)果的職場(chǎng)導(dǎo)師…”來(lái)生成問(wèn)答對(duì)再人工審核。風(fēng)險(xiǎn)是可能引入通用模型的風(fēng)格。核心原則寧可要100條完美數(shù)據(jù)也不要1000條含噪聲的數(shù)據(jù)。微調(diào)是“教”模型教錯(cuò)了比沒(méi)教更麻煩。3.3 第三階段使用LoRA進(jìn)行高效微調(diào)這里以使用LLaMA-Factory這個(gè)優(yōu)秀的一站式微調(diào)框架為例它極大簡(jiǎn)化了流程。環(huán)境與模型準(zhǔn)備準(zhǔn)備一臺(tái)具備足夠顯存的GPU機(jī)器如AWS g5.xlarge 或本地RTX 4090。下載基座模型如Qwen2.5-7B-Instruct和你的微調(diào)數(shù)據(jù)集JSON格式。配置與訓(xùn)練使用LLaMA-Factory你幾乎不需要寫代碼。通過(guò)其Web UI或配置文件指定模型路徑、數(shù)據(jù)路徑。關(guān)鍵LoRA參數(shù)設(shè)置lora_r: 設(shè)置為8或16。先從8開(kāi)始效果不夠再嘗試增大。lora_target_modules: 通常選擇q_proj, v_proj查詢和值投影層。learning_rate: LoRA學(xué)習(xí)率通常設(shè)置得稍高如1e-4到5e-4。per_device_train_batch_size: 根據(jù)顯存調(diào)整能設(shè)多大設(shè)多大。啟動(dòng)訓(xùn)練觀察損失loss曲線平穩(wěn)下降即可通常對(duì)于幾百條數(shù)據(jù)幾個(gè)epoch1-5輪足矣。驗(yàn)證與合并訓(xùn)練完成后會(huì)得到一組LoRA權(quán)重文件通常很小幾十MB。在LLaMA-Factory中加載基座模型和LoRA權(quán)重進(jìn)行對(duì)話測(cè)試。如果效果滿意可以將LoRA權(quán)重與基座模型合并導(dǎo)出一個(gè)完整的、獨(dú)立的模型文件便于部署。# 一個(gè)簡(jiǎn)化的LLaMA-Factory訓(xùn)練命令示例 CUDA_VISIBLE_DEVICES0 llamafactory-cli train \ --stage sft \ --model_name_or_path /path/to/Qwen2.5-7B-Instruct \ --dataset /path/to/my_workplace_data.json \ --template qwen \ --finetuning_type lora \ --lora_target_modules q_proj v_proj \ --output_dir /path/to/save/lora_model \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 4 \ --num_train_epochs 33.4 第四階段微調(diào)后模型的部署與評(píng)估微調(diào)后的模型如何用起來(lái)它和RAG是什么關(guān)系獨(dú)立部署將合并后的模型用vLLM、TGI或llama.cpp部署為API服務(wù)。它現(xiàn)在是一個(gè)“內(nèi)化”了部分職場(chǎng)知識(shí)的專家可以直接回答風(fēng)格相關(guān)的問(wèn)題。與RAG結(jié)合高級(jí)模式這才是終極形態(tài)。構(gòu)建一個(gè)混合系統(tǒng)用戶提問(wèn)。系統(tǒng)先用RAG檢索最新的、具體的知識(shí)文檔如最新考勤制度。將檢索到的文檔作為input上下文連同問(wèn)題一起發(fā)送給微調(diào)后的模型進(jìn)行生成。這樣模型既具備了領(lǐng)域風(fēng)格和深層認(rèn)知又能精準(zhǔn)引用最新事實(shí)最大程度減少幻覺(jué)。效果評(píng)估定性評(píng)估準(zhǔn)備一個(gè)測(cè)試集人工對(duì)比微調(diào)前后、以及微調(diào)RAG與純RAG的答案。關(guān)注風(fēng)格符合度、術(shù)語(yǔ)準(zhǔn)確性、邏輯嚴(yán)謹(jǐn)性。定量評(píng)估可選使用GPT-4作為裁判從“相關(guān)性”、“信息完整性”、“風(fēng)格符合度”等方面進(jìn)行打分。雖然不絕對(duì)準(zhǔn)確但可作為趨勢(shì)參考。4. 避坑指南與長(zhǎng)期演進(jìn)思考走完全流程你會(huì)深刻體會(huì)到無(wú)論是RAG還是微調(diào)都不是“一勞永逸”的銀彈。它們是需要持續(xù)維護(hù)和迭代的系統(tǒng)。4.1 實(shí)戰(zhàn)中常見(jiàn)的“坑”數(shù)據(jù)之坑微調(diào)數(shù)據(jù)泄露確保你的測(cè)試問(wèn)題沒(méi)有出現(xiàn)在訓(xùn)練數(shù)據(jù)中否則評(píng)估結(jié)果會(huì)虛高。RAG文檔過(guò)期建立知識(shí)庫(kù)更新機(jī)制否則模型會(huì)基于舊信息回答。格式不一致訓(xùn)練數(shù)據(jù)的格式如指令模板必須與推理時(shí)完全一致。訓(xùn)練之坑過(guò)擬合如果模型在訓(xùn)練集上表現(xiàn)完美在新問(wèn)題上卻胡言亂語(yǔ)就是過(guò)擬合了。解決方法增加數(shù)據(jù)多樣性、減少訓(xùn)練輪次、增加Dropout。災(zāi)難性遺忘微調(diào)后模型可能忘記了原有的通用能力。使用LoRA通常能緩解此問(wèn)題因?yàn)榇蟛糠衷紖?shù)被凍結(jié)了。也可以在數(shù)據(jù)中混入少量通用任務(wù)數(shù)據(jù)。評(píng)估之坑盲目追求指標(biāo)不要只看BLEU、ROUGE分?jǐn)?shù)。對(duì)于風(fēng)格化任務(wù)人工評(píng)測(cè)往往更可靠。測(cè)試場(chǎng)景單一要用邊緣案例測(cè)試比如問(wèn)一個(gè)知識(shí)庫(kù)完全沒(méi)有、但風(fēng)格上應(yīng)該能處理的問(wèn)題“如何寫一封充滿正能量的辭職信”看模型是坦誠(chéng)說(shuō)不知道還是開(kāi)始幻覺(jué)。4.2 從項(xiàng)目到產(chǎn)品工程化考量個(gè)人實(shí)驗(yàn)成功只是第一步。要將其變?yōu)榭沙掷m(xù)的服務(wù)還需考慮版本管理模型版本、LoRA權(quán)重版本、知識(shí)庫(kù)版本需要聯(lián)動(dòng)管理。監(jiān)控與日志記錄每一次問(wèn)答的檢索來(lái)源、模型版本、生成結(jié)果便于追溯和優(yōu)化。成本控制微調(diào)有訓(xùn)練成本RAG有檢索和長(zhǎng)上下文推理成本。需要根據(jù)QPS和精度要求權(quán)衡方案。迭代流程建立數(shù)據(jù)收集-清洗-訓(xùn)練-評(píng)估-上線的標(biāo)準(zhǔn)化流水線。4.3 技術(shù)選型的再思考RAG、微調(diào)與Agent回到最初的問(wèn)題我們?cè)撊绾芜x擇這取決于你的“不確定性”主要來(lái)自哪里。如果“不確定性”主要來(lái)自“事實(shí)”比如日期、數(shù)字、具體條款它們變動(dòng)快、需要溯源。那么強(qiáng)化你的RAG管道更好的切分、更準(zhǔn)的檢索、更強(qiáng)的重排序是性價(jià)比最高的選擇。如果“不確定性”主要來(lái)自“認(rèn)知”和“風(fēng)格”比如模型無(wú)法理解行業(yè)黑話、總是用散漫的口吻回答嚴(yán)肅問(wèn)題、無(wú)法進(jìn)行符合業(yè)務(wù)邏輯的復(fù)雜推理。那么針對(duì)性地進(jìn)行微調(diào)是根本解決之道。對(duì)于更復(fù)雜的場(chǎng)景可以考慮Agentic RAG讓模型自主決定何時(shí)檢索、檢索什么、如何整合信息。但這對(duì)提示詞設(shè)計(jì)和模型能力要求更高。最終一個(gè)健壯的企業(yè)級(jí)知識(shí)系統(tǒng)往往是分層的底層是實(shí)時(shí)更新的RAG知識(shí)庫(kù)負(fù)責(zé)提供準(zhǔn)確事實(shí)中層是經(jīng)過(guò)微調(diào)的領(lǐng)域模型負(fù)責(zé)理解和風(fēng)格化表達(dá)頂層可能還有一個(gè)協(xié)調(diào)層的Agent負(fù)責(zé)任務(wù)分解和流程調(diào)度。而我們今天深入探討的RAG優(yōu)化與微調(diào)正是構(gòu)建這個(gè)大廈最核心的兩塊基石。技術(shù)的本質(zhì)是解決問(wèn)題。當(dāng)你再遇到大模型“胡說(shuō)八道”時(shí)希望你能冷靜地拆解是事實(shí)不準(zhǔn)還是認(rèn)知偏差然后沿著從RAG到微調(diào)這條清晰的路徑一步步找到那個(gè)最適合你當(dāng)前場(chǎng)景和資源的解決方案。這條路沒(méi)有終點(diǎn)但每一步的優(yōu)化都會(huì)讓機(jī)器的“理解”更貼近你的真實(shí)世界。