)
這次想認(rèn)真聊聊大模型幻覺問題。做了幾年大模型應(yīng)用落地從最早的客服機(jī)器人到后面的行業(yè)知識問答幾乎每個項目都繞不開“一本正經(jīng)胡說八道”這個坎。很多剛接觸大模型的人會覺得幻覺是模型“笨”其實真相遠(yuǎn)沒那么簡單——它是數(shù)據(jù)、訓(xùn)練方式、解碼策略、用戶提問方式共同作用的結(jié)果。這篇文章我會把幻覺的成因、檢測手段、緩解方案以及我們在實際項目中踩過的坑一次性講清楚希望能給正被幻覺折磨的同行一點參考。1. 什么是大模型幻覺先分清哪些算“病”哪些不算幻覺這個詞在學(xué)術(shù)界的定義是模型生成的內(nèi)容看起來流暢、語法正確、邏輯自洽但與事實不符或者根本沒有任何事實依據(jù)。通俗點說就是模型“編”了一個答案而且編得特別像真的。1.1 幻覺的兩種主流分法現(xiàn)在業(yè)界普遍接受的分法是兩種事實性幻覺Factuality Hallucination和忠實性幻覺Faithfulness Hallucination。事實性幻覺主要指模型輸出的內(nèi)容與真實世界事實不一致。比如你問“某市面積多大”模型報出一個和官方數(shù)據(jù)對不上的數(shù)字。這類幻覺多發(fā)生在涉及時效性信息、具體數(shù)字、近期事件、小眾知識時。忠實性幻覺指的是模型輸出與用戶指令、上下文不一致。比如你給了一段產(chǎn)品文檔讓模型寫摘要它卻自己加了文檔里根本沒有的結(jié)論。這種情況在長文檔處理里特別常見模型沿著上文“順著往下編”編著編著就跑偏了。還有一種很常見的分法是把幻覺分成“內(nèi)在幻覺”和“外在幻覺”。內(nèi)在幻覺指模型輸出的內(nèi)容與檢索到的上下文沖突外在幻覺則指內(nèi)容無法被任何已知事實驗證但也不能說它錯——比如讓你做一道開放性設(shè)計題模型給你提供的方案。1.2 為什么大模型的幻覺問題尤其嚴(yán)重很多人會拿傳統(tǒng)搜索來做對比搜索引擎返回的是網(wǎng)頁用戶自己判斷相關(guān)性但大模型直接給你一個最終答案而且沒有提供任何參考鏈接。它天生就有“生成自信感”——語氣篤定、結(jié)構(gòu)工整這讓用戶很難分辨對錯。更麻煩的是生成式模型在解碼時會傾向于選擇“概率上最合理的下一個詞”而不是“事實正確的下一個詞”。在模型內(nèi)部事實正確性和語言流暢性是分開優(yōu)化的這本質(zhì)上是個“表達(dá)能力”和“世界知識”擰巴在一起的問題。所以不要指望某個算法能“徹底消滅”幻覺?；糜X是大模型本身的屬性我們要做的是控制在可接受的范圍。就像你不可能讓一個健談的人永遠(yuǎn)不說錯話但可以通過準(zhǔn)備材料、轉(zhuǎn)述規(guī)則、核對流程把說錯話的概率降到最低。2. 幻覺從哪來我把成因拆成三層看只有理解了成因你才能在具體場景里對癥下藥。我把幻覺的來源歸納成數(shù)據(jù)側(cè)、訓(xùn)練解碼側(cè)、用戶交互側(cè)三個層面。2.1 數(shù)據(jù)側(cè)的根因高質(zhì)量事實知識占比太低大模型的核心能力來自預(yù)訓(xùn)練語料但語料本身的“知識密度”是參差不齊的。預(yù)訓(xùn)練數(shù)據(jù)里包含大量重復(fù)的論壇帖子、營銷文案、小說對話、代碼注釋模型在這些數(shù)據(jù)上學(xué)會了“語言的組織形式”但并沒有形成穩(wěn)定的事實知識。比如你讓它解釋“牛頓第一定律”它能寫出標(biāo)準(zhǔn)定義因為它見過成百上千遍但你要問“某冷門作家的生平經(jīng)歷”語料里只有零星片段模型就只能靠語言習(xí)慣拼湊一個“看起來合理”的答案。數(shù)據(jù)側(cè)還有一個隱蔽問題時效性缺失。模型的知識截止日期是固定的之后發(fā)生的新聞、產(chǎn)品發(fā)布、人事變動完全不在知識范圍內(nèi)。如果用戶問的是截止日期之后的事模型會被迫“推理”出一個答案幻覺就不可避免。2.2 訓(xùn)練與解碼不確定性被強(qiáng)行“抹平”了從訓(xùn)練角度看交叉熵?fù)p失函數(shù)鼓勵模型給“標(biāo)準(zhǔn)答案”分配高概率。當(dāng)一個問題的上下文出現(xiàn)多個可能的實體、數(shù)字和事件時模型會被迫選擇一個最高概率的路徑而不是表達(dá)“我不知道”。再加上人類反饋強(qiáng)化學(xué)習(xí)RLHF階段標(biāo)注員通常會傾向于給流暢、完整的回答打高分這變相鼓勵了模型“多編一點別留空白”。從解碼角度看采樣參數(shù)也有講究。溫度太高時生成隨機(jī)性增大更容易出現(xiàn)語義漂移溫度太低時模型容易陷入重復(fù)但也可能陷入“高頻詞陷阱”——比如在所有不確定的環(huán)節(jié)都填上一個最常見的答案讓錯誤變得隱蔽。2.3 用戶交互側(cè)提問方式能放大幻覺這一點很容易被忽略。當(dāng)用戶給出一個帶有預(yù)設(shè)的、誤導(dǎo)性的問題時模型會順著用戶的思路回答。比如你問“A公司和B公司哪家研發(fā)投入更高”這個問題本身默認(rèn)了“兩家都高”模型不會主動糾正這個前提而是直接給出對比結(jié)果。更常見的是問題過于模糊、范圍太寬模型只能“猜”你的意圖猜得越努力編得越遠(yuǎn)。還有一個典型場景多輪對話中的“語境粘附”。前面幾輪聊的內(nèi)容如果出現(xiàn)了錯誤信息模型會在后續(xù)回復(fù)中沿用這個錯誤因為對話歷史本身就是它的上下文依據(jù)。這就是為什么有時候你越追問模型錯得越“堅定”。3. 怎么發(fā)現(xiàn)幻覺我常用的三類檢測思路聊完成因下面說檢測。幻覺檢測在生產(chǎn)環(huán)境里不是可選功能而是一個必須落地的質(zhì)量關(guān)卡。我的經(jīng)驗是不要依賴單一檢測手段至少疊兩到三層。3.1 基于事實核查的檢測這是一種“事后校驗”思路讓模型生成了答案之后我們用另外一個模型或者檢索工具去核對答案里的“事實性斷言”。具體做法是先把答案拆成若干個最小的事實單元稱為原子斷言然后逐個驗證。舉例說明。假設(shè)模型回答“結(jié)構(gòu)化提示是2025年3月起面向企業(yè)用戶開放。”拆成的斷言是“結(jié)構(gòu)化提示在2025年3月推出”“企業(yè)用戶可以訪問”。我們拿這些斷言去檢索如果找不到對應(yīng)信息就標(biāo)記為“無法驗證”如果找到的信息與斷言沖突就標(biāo)記為“錯誤”。這種方法適合信息密度高的場景比如新聞?wù)?、醫(yī)療知識問答。3.2 基于一致性的檢測一致性檢測的核心邏輯是讓模型對同一個問題重復(fù)回答多次比較答案是否一致。如果多次回答不斷出現(xiàn)關(guān)鍵實體、數(shù)字、結(jié)論的變化大概率是在“編”。這里有兩種常用做法一種叫“采樣一致性”就是固定溫度高于1.0對同一個問題生成5到10次編輯距離或者語義相似度低于閾值就判為高風(fēng)險另一種叫“反向校驗”——先生成答案再故意提出一個和答案相反的斷言問模型是否同意。如果模型對自己生成過的答案表現(xiàn)出高度不確定說明本身就不穩(wěn)。3.3 基于不確定性的檢測模型在輸出時其實對每個 token 都有一個概率值。很多時候模型“知道自己不確定”只不過最后輸出的那一串文本掩蓋了這一點。我們可以通過捕獲這些概率值來評估不確定性。我在項目里常用的一種方法是序列概率歸一化——對生成的答案計算平均對數(shù)概率。平均概率越低幻覺風(fēng)險越高。我在這里用一段偽代碼說明思路from transformers import pipeline import numpy as np generator pipeline(text-generation, model某開源7B模型) def sample_generation(prompt, temperature1.0): # 額外返回每個token的logprob return generator( prompt, max_new_tokens200, temperaturetemperature, return_full_textFalse, output_scoresTrue, return_dict_in_generateTrue, ) def avg_logprob_score(sample_result, tokenizer): scores sample_result[scores] # 每個token位置的概率分布 sequences sample_result[sequences] logprobs [] for pos, score in enumerate(scores): expected_tokens sequences[0][pos 1] # 實際被選中的token logprob score[0, expected_tokens.item()] logprobs.append(logprob.detach().numpy()) return float(np.mean(logprobs)) prompt 某公司的股東結(jié)構(gòu)是怎樣的 gen_result sample_generation(prompt) if avg_logprob_score(gen_result, generator.tokenizer) -1.0: print(低風(fēng)險)注意這里的-1.0是經(jīng)驗值不同模型差異很大使用前先在自己數(shù)據(jù)集上校準(zhǔn)一下。基于不確定性的檢測好處是速度快、不依賴外部檢索適合在低延遲要求的場景中做第一道初篩。4. 緩解幻覺的實操方案RAG、微調(diào)、Prompt 與解碼策略檢測是發(fā)現(xiàn)問題的緩解才是核心目標(biāo)。接下來分享我們項目里真正用下來有效的幾套方案。4.1 RAG 不是萬能藥關(guān)鍵在于“召回密度”與“提示構(gòu)造”檢索增強(qiáng)生成RAG是目前生產(chǎn)環(huán)境中的主流方案但它經(jīng)常給人一種虛假的安全感——覺得接了知識庫就不會幻覺了。實際上RAG 的幻覺問題經(jīng)常出在“上下文沒被用到”。我在實際項目里觀察到一個現(xiàn)象當(dāng)檢索到的文檔與問題相關(guān)度足夠高時模型會優(yōu)先參考文檔。但相關(guān)度一旦出現(xiàn)“模糊”比如檢索到了兩篇互相矛盾的文檔模型就會自由發(fā)揮了。為了緩解這個問題我建議在三個位置做精細(xì)處理。第一檢索階段不要只用一個向量數(shù)據(jù)庫同時做關(guān)鍵詞檢索混排。向量檢索擅長語義匹配BM25關(guān)鍵詞檢索擅長精確匹配二者結(jié)果做 RRF 融合召回質(zhì)量提升明顯。第二提示詞里要明確給出“引用約束”“你只能基于以下上下文回答。如果上下文不包含答案請回答不清楚不要猜測。”第三對檢索文檔做重排序把最相關(guān)的段落放在距離問題最近的位置。上下文順序?qū)ι尚Ч兄苯佑绊?。?xùn)練數(shù)據(jù)的經(jīng)驗是必須加入“對抗性樣本”——即在上下文中故意不包含答案迫使模型學(xué)會說“不清楚”。如果 RAG 數(shù)據(jù)里全是“上下文剛好有答案”的場景模型就會被訓(xùn)練成默認(rèn)上下文里一定找得到答案這反而會加劇幻覺。4.2 微調(diào)別指望微調(diào)能補充新知識很多人誤以為微調(diào)可以讓模型“記住”大量新知識進(jìn)而減少幻覺。這里必須說清楚低秩適配微調(diào)的參數(shù)量遠(yuǎn)不足以編碼大量事實知識。它的作用是改變模型的“行為模式”而不是更新知識庫。如果你要做領(lǐng)域微調(diào)我建議把重點放在“形式規(guī)范”和“拒答行為”上。比如讓模型面對超出知識范圍的問題時統(tǒng)一回復(fù)為“當(dāng)前知識庫暫無相關(guān)資訊建議咨詢專業(yè)人士”讓模型在生成答案時強(qiáng)制以“根據(jù)提供的信息”作為開頭讓模型輸出結(jié)構(gòu)遵循固定的 JSON 或者“結(jié)論-論據(jù)-來源”三段式。這些都是微調(diào)能切實改變的東西比硬塞知識有效得多。有一個必須避開的坑微調(diào)數(shù)據(jù)不能直接從公開數(shù)據(jù)集里復(fù)制要針對你自己的領(lǐng)域做清洗。如果微調(diào)數(shù)據(jù)里本身就存在前后矛盾的句子模型學(xué)會的就不是正確決策而是“混亂”。我之前踩過這個坑某次微調(diào)用了自動抓取的產(chǎn)品頁面數(shù)據(jù)沒有做時效性過濾結(jié)果模型把已廢棄產(chǎn)品的信息當(dāng)成了新特性輸出整個線上應(yīng)用出了問題。4.3 解碼策略與 Prompt 約束“讓模型承認(rèn)不知道”是訓(xùn)練出來的解碼層面的調(diào)整是成本最低的干預(yù)。溫度參數(shù)的影響很多人知道但很少有人會刻意調(diào)高top_p和frequency_penalty的組合效果。在事實問答場景我通常會把溫度設(shè)到 0.2 或更低top_p設(shè)為 0.9。但這里有個細(xì)節(jié)如果任務(wù)帶有創(chuàng)意性質(zhì)比如寫營銷文案、頭腦風(fēng)暴溫度則要放開到 0.7 以上否則會顯得機(jī)械重復(fù)。不同任務(wù)的性質(zhì)決定了要調(diào)適度的參數(shù)。Prompt 約束也很重要。在提示詞里加入“事實核查指令”能顯著降低幻覺明確要求模型在回答之前先自檢把每一個斷言和自己知道的事實進(jìn)行比對要求模型把不確定的部分標(biāo)注出來。同時支持讓模型明確說“不確定”——這在很多場景中其實比錯誤答案更有價值尤其是醫(yī)療、法律、金融這類高風(fēng)險領(lǐng)域。我們可以把規(guī)范化的拒答句式寫進(jìn)提示詞系統(tǒng)層類似“對不起我無法確認(rèn)該信息的真實性請?zhí)峁└嗌舷挛幕虿殚喒俜絹碓础！?.4 評估閉環(huán)沒有評估體系的幻覺緩解都是空談很多團(tuán)隊做幻覺優(yōu)化是“拍腦袋式”的出一個方案人工看幾個例子覺得不錯就上線。這樣在大規(guī)模場景下完全不可靠。我強(qiáng)烈建議搭建一個自動化評估集至少包含三類樣本樣本類型數(shù)量建議示例標(biāo)準(zhǔn)問答樣本200-500條領(lǐng)域內(nèi)高頻問題附帶標(biāo)準(zhǔn)答案陷阱樣本100-200條問題上下文不包含答案檢驗拒答能力對抗樣本50-100條包含預(yù)設(shè)錯誤前提的問題檢驗糾錯能力評估指標(biāo)上聲譽法可以用快速精確匹配計算準(zhǔn)確率但更推薦用模型作為評判員給答案打分再結(jié)合事實核查對斷言進(jìn)行驗證。這樣能同時覆蓋“是否回答正確”和“是否包含幻覺斷言”兩個維度。順便提醒一下評估集要定期加入線上出現(xiàn)的真實錯誤樣本。每次線上用戶反饋出幻覺問題就把它納入回歸測試集。這個做法幫我避免了很多次“修了東墻漏西墻”的情況。5. 一個可落地的綜合案例給某行業(yè)知識問答系統(tǒng)做幻覺治理下面結(jié)合我在一個模擬項目里的經(jīng)歷完整介紹一套從問題發(fā)現(xiàn)到效果提升的實施路徑。這個系統(tǒng)服務(wù)于某垂直行業(yè)從業(yè)者的日常查詢答案必須準(zhǔn)確、可溯源對幻覺容忍度極低。5.1 場景與方案設(shè)計系統(tǒng)上線初期的基礎(chǔ)模型是某開源大模型直接調(diào)用。剛上線時的問題率高得驚人經(jīng)過人工抽檢我們認(rèn)為有“明顯錯誤或無可驗證依據(jù)”的回答占比約25%。這個數(shù)字對于內(nèi)部測試或許尚可接受但對生產(chǎn)環(huán)境來說完全無法忍受幾乎每四條答案里就有一條存在問題。我做了三步整改。第一步放棄直接裸用基礎(chǔ)模型接上領(lǐng)域知識庫做 RAG同時對提示詞進(jìn)行了嚴(yán)格的引用約束。第二步用領(lǐng)域語料做了低秩適配微調(diào)訓(xùn)練重點是規(guī)范化輸出格式和拒答行為而不是灌輸知識。第三步搭建了基于事實核查和采樣一致性的雙層幻覺檢測服務(wù)對模型的輸出進(jìn)行實時把關(guān)攔截。5.2 效果實測經(jīng)過兩周的迭代我們對三個階段的版本都做了亂序測試每組 300 條問題。這三個版本分別是基礎(chǔ)模型、加了 RAG 的版本、RAG微調(diào)檢測的完整版本。結(jié)果如下指標(biāo)基礎(chǔ)模型RAG版本完整版本事實性準(zhǔn)確率71%82%89%拒答率回答“不清楚”5%10%18%答案可追溯率0%68%74%明顯幻覺占比25%11%6%這個表里的數(shù)據(jù)有幾個值得注意的地方。加了 RAG 之后拒答率反而提高了這不是壞事——說明模型開始意識到“沒有資料就不能硬答”。完整版本中明顯幻覺占比降到了 6%剩余的錯誤集中出現(xiàn)在用戶提供的專用名詞、縮寫拼寫不規(guī)范等小眾場景說明數(shù)據(jù)側(cè)仍存在邊緣盲區(qū)這類問題沒法靠模型層徹底解決只能靠持續(xù)補充知識庫。5.3 踩坑記錄與經(jīng)驗沉淀整個改進(jìn)過程踩了不少坑挑三個最典型的分享。第一個坑最初測試 RAG 時把檢索段落數(shù)量設(shè)成了 6以為“上下文給得越多越好”。結(jié)果模型把多個不相關(guān)段落里的信息做了“縫合”反而產(chǎn)生了幻覺。后來把段落數(shù)量縮到了 3并加了“只引用與問題最相關(guān)的一段”的指令錯誤明顯下降。第二個坑微調(diào)數(shù)據(jù)里加入了一批“帶標(biāo)準(zhǔn)答案”的問題模型在微調(diào)后答題率大幅度提升的同時出現(xiàn)了“過度自信”問題。它對所有問題都傾向給出一個答案哪怕沒有依據(jù)。后來我們在微調(diào)數(shù)據(jù)里專門增加了一批“無答案”樣本告訴模型什么是“不知道”才算扭回來。第三個坑事實核查依賴外部檢索時如果檢索庫本身數(shù)據(jù)質(zhì)量差會把正確的答案標(biāo)記成幻覺。我們在項目里花了很多精力清洗知識庫、建立同義詞映射然后才讓核查服務(wù)上線。檢測服務(wù)只有在知識庫可靠的前提下才可信。6. 最后分享幾個實用小技巧上面講了這么多方法論最后分享幾個可以直接抄作業(yè)的經(jīng)驗點。技巧一做知識庫預(yù)處理的時候統(tǒng)一將文檔按語義切塊同時保留塊與塊之間的標(biāo)題層級關(guān)系。每個塊都附上來源標(biāo)簽、更新日期、所屬分類這樣在生成階段可以強(qiáng)制模型輸出來源便于用戶溯源。溯源成本很低但對治理幻覺有奇效因為它倒逼模型“引用而不是胡編”。技巧二部署線上系統(tǒng)時對所有模型輸出都做一遍“低置信度攔截”。我們內(nèi)部的做法是當(dāng)序列平均對數(shù)概率低于閾值時不直接輸出給用戶而是把回答降級為“我未能找到足夠權(quán)威的資料請換個說法重試”或者觸發(fā)人工客服介入。與其讓用戶看到錯誤答案不如讓用戶看到誠實的回應(yīng)。技巧三每隔一段時間用“錯誤案例復(fù)盤會”的方式找?guī)讉€線上典型幻覺樣本讓研發(fā)和標(biāo)注團(tuán)隊一起定位出錯環(huán)節(jié)。你會發(fā)現(xiàn)很多問題的根因不是單一模塊而是檢索召回錯誤、知識庫信息過期、提示詞指令含糊等多個環(huán)節(jié)疊加的結(jié)果。這種復(fù)盤比任何新算法都更幫你理解系統(tǒng)短板。幻覺問題不會消失但隨著你對模型行為、數(shù)據(jù)質(zhì)量、交互設(shè)計三者的理解加深它是可以被壓到可接受范圍的。我個人的體會是治理幻覺沒有銀彈但系統(tǒng)性工程手段一定比任何花哨的模型技巧都有效。先用評估體系把問題量化再用 RAG、微調(diào)、檢測攔截逐層壓實你就能在一個“會說錯話”的模型上構(gòu)建出可靠的產(chǎn)品。 大模型幻覺深度解析：成因、檢測方法與RAG緩解實戰(zhàn)
這次想認(rèn)真聊聊大模型幻覺問題。做了幾年大模型應(yīng)用落地從最早的客服機(jī)器人到后面的行業(yè)知識問答幾乎每個項目都繞不開“一本正經(jīng)胡說八道”這個坎。很多剛接觸大模型的人會覺得幻覺是模型“笨”其實真相遠(yuǎn)沒那么簡單——它是數(shù)據(jù)、訓(xùn)練方式、解碼策略、用戶提問方式共同作用的結(jié)果。這篇文章我會把幻覺的成因、檢測手段、緩解方案以及我們在實際項目中踩過的坑一次性講清楚希望能給正被幻覺折磨的同行一點參考。1. 什么是大模型幻覺先分清哪些算“病”哪些不算幻覺這個詞在學(xué)術(shù)界的定義是模型生成的內(nèi)容看起來流暢、語法正確、邏輯自洽但與事實不符或者根本沒有任何事實依據(jù)。通俗點說就是模型“編”了一個答案而且編得特別像真的。1.1 幻覺的兩種主流分法現(xiàn)在業(yè)界普遍接受的分法是兩種事實性幻覺Factuality Hallucination和忠實性幻覺Faithfulness Hallucination。事實性幻覺主要指模型輸出的內(nèi)容與真實世界事實不一致。比如你問“某市面積多大”模型報出一個和官方數(shù)據(jù)對不上的數(shù)字。這類幻覺多發(fā)生在涉及時效性信息、具體數(shù)字、近期事件、小眾知識時。忠實性幻覺指的是模型輸出與用戶指令、上下文不一致。比如你給了一段產(chǎn)品文檔讓模型寫摘要它卻自己加了文檔里根本沒有的結(jié)論。這種情況在長文檔處理里特別常見模型沿著上文“順著往下編”編著編著就跑偏了。還有一種很常見的分法是把幻覺分成“內(nèi)在幻覺”和“外在幻覺”。內(nèi)在幻覺指模型輸出的內(nèi)容與檢索到的上下文沖突外在幻覺則指內(nèi)容無法被任何已知事實驗證但也不能說它錯——比如讓你做一道開放性設(shè)計題模型給你提供的方案。1.2 為什么大模型的幻覺問題尤其嚴(yán)重很多人會拿傳統(tǒng)搜索來做對比搜索引擎返回的是網(wǎng)頁用戶自己判斷相關(guān)性但大模型直接給你一個最終答案而且沒有提供任何參考鏈接。它天生就有“生成自信感”——語氣篤定、結(jié)構(gòu)工整這讓用戶很難分辨對錯。更麻煩的是生成式模型在解碼時會傾向于選擇“概率上最合理的下一個詞”而不是“事實正確的下一個詞”。在模型內(nèi)部事實正確性和語言流暢性是分開優(yōu)化的這本質(zhì)上是個“表達(dá)能力”和“世界知識”擰巴在一起的問題。所以不要指望某個算法能“徹底消滅”幻覺?；糜X是大模型本身的屬性我們要做的是控制在可接受的范圍。就像你不可能讓一個健談的人永遠(yuǎn)不說錯話但可以通過準(zhǔn)備材料、轉(zhuǎn)述規(guī)則、核對流程把說錯話的概率降到最低。2. 幻覺從哪來我把成因拆成三層看只有理解了成因你才能在具體場景里對癥下藥。我把幻覺的來源歸納成數(shù)據(jù)側(cè)、訓(xùn)練解碼側(cè)、用戶交互側(cè)三個層面。2.1 數(shù)據(jù)側(cè)的根因高質(zhì)量事實知識占比太低大模型的核心能力來自預(yù)訓(xùn)練語料但語料本身的“知識密度”是參差不齊的。預(yù)訓(xùn)練數(shù)據(jù)里包含大量重復(fù)的論壇帖子、營銷文案、小說對話、代碼注釋模型在這些數(shù)據(jù)上學(xué)會了“語言的組織形式”但并沒有形成穩(wěn)定的事實知識。比如你讓它解釋“牛頓第一定律”它能寫出標(biāo)準(zhǔn)定義因為它見過成百上千遍但你要問“某冷門作家的生平經(jīng)歷”語料里只有零星片段模型就只能靠語言習(xí)慣拼湊一個“看起來合理”的答案。數(shù)據(jù)側(cè)還有一個隱蔽問題時效性缺失。模型的知識截止日期是固定的之后發(fā)生的新聞、產(chǎn)品發(fā)布、人事變動完全不在知識范圍內(nèi)。如果用戶問的是截止日期之后的事模型會被迫“推理”出一個答案幻覺就不可避免。2.2 訓(xùn)練與解碼不確定性被強(qiáng)行“抹平”了從訓(xùn)練角度看交叉熵?fù)p失函數(shù)鼓勵模型給“標(biāo)準(zhǔn)答案”分配高概率。當(dāng)一個問題的上下文出現(xiàn)多個可能的實體、數(shù)字和事件時模型會被迫選擇一個最高概率的路徑而不是表達(dá)“我不知道”。再加上人類反饋強(qiáng)化學(xué)習(xí)RLHF階段標(biāo)注員通常會傾向于給流暢、完整的回答打高分這變相鼓勵了模型“多編一點別留空白”。從解碼角度看采樣參數(shù)也有講究。溫度太高時生成隨機(jī)性增大更容易出現(xiàn)語義漂移溫度太低時模型容易陷入重復(fù)但也可能陷入“高頻詞陷阱”——比如在所有不確定的環(huán)節(jié)都填上一個最常見的答案讓錯誤變得隱蔽。2.3 用戶交互側(cè)提問方式能放大幻覺這一點很容易被忽略。當(dāng)用戶給出一個帶有預(yù)設(shè)的、誤導(dǎo)性的問題時模型會順著用戶的思路回答。比如你問“A公司和B公司哪家研發(fā)投入更高”這個問題本身默認(rèn)了“兩家都高”模型不會主動糾正這個前提而是直接給出對比結(jié)果。更常見的是問題過于模糊、范圍太寬模型只能“猜”你的意圖猜得越努力編得越遠(yuǎn)。還有一個典型場景多輪對話中的“語境粘附”。前面幾輪聊的內(nèi)容如果出現(xiàn)了錯誤信息模型會在后續(xù)回復(fù)中沿用這個錯誤因為對話歷史本身就是它的上下文依據(jù)。這就是為什么有時候你越追問模型錯得越“堅定”。3. 怎么發(fā)現(xiàn)幻覺我常用的三類檢測思路聊完成因下面說檢測。幻覺檢測在生產(chǎn)環(huán)境里不是可選功能而是一個必須落地的質(zhì)量關(guān)卡。我的經(jīng)驗是不要依賴單一檢測手段至少疊兩到三層。3.1 基于事實核查的檢測這是一種“事后校驗”思路讓模型生成了答案之后我們用另外一個模型或者檢索工具去核對答案里的“事實性斷言”。具體做法是先把答案拆成若干個最小的事實單元稱為原子斷言然后逐個驗證。舉例說明。假設(shè)模型回答“結(jié)構(gòu)化提示是2025年3月起面向企業(yè)用戶開放。”拆成的斷言是“結(jié)構(gòu)化提示在2025年3月推出”“企業(yè)用戶可以訪問”。我們拿這些斷言去檢索如果找不到對應(yīng)信息就標(biāo)記為“無法驗證”如果找到的信息與斷言沖突就標(biāo)記為“錯誤”。這種方法適合信息密度高的場景比如新聞?wù)?、醫(yī)療知識問答。3.2 基于一致性的檢測一致性檢測的核心邏輯是讓模型對同一個問題重復(fù)回答多次比較答案是否一致。如果多次回答不斷出現(xiàn)關(guān)鍵實體、數(shù)字、結(jié)論的變化大概率是在“編”。這里有兩種常用做法一種叫“采樣一致性”就是固定溫度高于1.0對同一個問題生成5到10次編輯距離或者語義相似度低于閾值就判為高風(fēng)險另一種叫“反向校驗”——先生成答案再故意提出一個和答案相反的斷言問模型是否同意。如果模型對自己生成過的答案表現(xiàn)出高度不確定說明本身就不穩(wěn)。3.3 基于不確定性的檢測模型在輸出時其實對每個 token 都有一個概率值。很多時候模型“知道自己不確定”只不過最后輸出的那一串文本掩蓋了這一點。我們可以通過捕獲這些概率值來評估不確定性。我在項目里常用的一種方法是序列概率歸一化——對生成的答案計算平均對數(shù)概率。平均概率越低幻覺風(fēng)險越高。我在這里用一段偽代碼說明思路from transformers import pipeline import numpy as np generator pipeline(text-generation, model某開源7B模型) def sample_generation(prompt, temperature1.0): # 額外返回每個token的logprob return generator( prompt, max_new_tokens200, temperaturetemperature, return_full_textFalse, output_scoresTrue, return_dict_in_generateTrue, ) def avg_logprob_score(sample_result, tokenizer): scores sample_result[scores] # 每個token位置的概率分布 sequences sample_result[sequences] logprobs [] for pos, score in enumerate(scores): expected_tokens sequences[0][pos 1] # 實際被選中的token logprob score[0, expected_tokens.item()] logprobs.append(logprob.detach().numpy()) return float(np.mean(logprobs)) prompt 某公司的股東結(jié)構(gòu)是怎樣的 gen_result sample_generation(prompt) if avg_logprob_score(gen_result, generator.tokenizer) -1.0: print(低風(fēng)險)注意這里的-1.0是經(jīng)驗值不同模型差異很大使用前先在自己數(shù)據(jù)集上校準(zhǔn)一下。基于不確定性的檢測好處是速度快、不依賴外部檢索適合在低延遲要求的場景中做第一道初篩。4. 緩解幻覺的實操方案RAG、微調(diào)、Prompt 與解碼策略檢測是發(fā)現(xiàn)問題的緩解才是核心目標(biāo)。接下來分享我們項目里真正用下來有效的幾套方案。4.1 RAG 不是萬能藥關(guān)鍵在于“召回密度”與“提示構(gòu)造”檢索增強(qiáng)生成RAG是目前生產(chǎn)環(huán)境中的主流方案但它經(jīng)常給人一種虛假的安全感——覺得接了知識庫就不會幻覺了。實際上RAG 的幻覺問題經(jīng)常出在“上下文沒被用到”。我在實際項目里觀察到一個現(xiàn)象當(dāng)檢索到的文檔與問題相關(guān)度足夠高時模型會優(yōu)先參考文檔。但相關(guān)度一旦出現(xiàn)“模糊”比如檢索到了兩篇互相矛盾的文檔模型就會自由發(fā)揮了。為了緩解這個問題我建議在三個位置做精細(xì)處理。第一檢索階段不要只用一個向量數(shù)據(jù)庫同時做關(guān)鍵詞檢索混排。向量檢索擅長語義匹配BM25關(guān)鍵詞檢索擅長精確匹配二者結(jié)果做 RRF 融合召回質(zhì)量提升明顯。第二提示詞里要明確給出“引用約束”“你只能基于以下上下文回答。如果上下文不包含答案請回答不清楚不要猜測。”第三對檢索文檔做重排序把最相關(guān)的段落放在距離問題最近的位置。上下文順序?qū)ι尚Ч兄苯佑绊?。?xùn)練數(shù)據(jù)的經(jīng)驗是必須加入“對抗性樣本”——即在上下文中故意不包含答案迫使模型學(xué)會說“不清楚”。如果 RAG 數(shù)據(jù)里全是“上下文剛好有答案”的場景模型就會被訓(xùn)練成默認(rèn)上下文里一定找得到答案這反而會加劇幻覺。4.2 微調(diào)別指望微調(diào)能補充新知識很多人誤以為微調(diào)可以讓模型“記住”大量新知識進(jìn)而減少幻覺。這里必須說清楚低秩適配微調(diào)的參數(shù)量遠(yuǎn)不足以編碼大量事實知識。它的作用是改變模型的“行為模式”而不是更新知識庫。如果你要做領(lǐng)域微調(diào)我建議把重點放在“形式規(guī)范”和“拒答行為”上。比如讓模型面對超出知識范圍的問題時統(tǒng)一回復(fù)為“當(dāng)前知識庫暫無相關(guān)資訊建議咨詢專業(yè)人士”讓模型在生成答案時強(qiáng)制以“根據(jù)提供的信息”作為開頭讓模型輸出結(jié)構(gòu)遵循固定的 JSON 或者“結(jié)論-論據(jù)-來源”三段式。這些都是微調(diào)能切實改變的東西比硬塞知識有效得多。有一個必須避開的坑微調(diào)數(shù)據(jù)不能直接從公開數(shù)據(jù)集里復(fù)制要針對你自己的領(lǐng)域做清洗。如果微調(diào)數(shù)據(jù)里本身就存在前后矛盾的句子模型學(xué)會的就不是正確決策而是“混亂”。我之前踩過這個坑某次微調(diào)用了自動抓取的產(chǎn)品頁面數(shù)據(jù)沒有做時效性過濾結(jié)果模型把已廢棄產(chǎn)品的信息當(dāng)成了新特性輸出整個線上應(yīng)用出了問題。4.3 解碼策略與 Prompt 約束“讓模型承認(rèn)不知道”是訓(xùn)練出來的解碼層面的調(diào)整是成本最低的干預(yù)。溫度參數(shù)的影響很多人知道但很少有人會刻意調(diào)高top_p和frequency_penalty的組合效果。在事實問答場景我通常會把溫度設(shè)到 0.2 或更低top_p設(shè)為 0.9。但這里有個細(xì)節(jié)如果任務(wù)帶有創(chuàng)意性質(zhì)比如寫營銷文案、頭腦風(fēng)暴溫度則要放開到 0.7 以上否則會顯得機(jī)械重復(fù)。不同任務(wù)的性質(zhì)決定了要調(diào)適度的參數(shù)。Prompt 約束也很重要。在提示詞里加入“事實核查指令”能顯著降低幻覺明確要求模型在回答之前先自檢把每一個斷言和自己知道的事實進(jìn)行比對要求模型把不確定的部分標(biāo)注出來。同時支持讓模型明確說“不確定”——這在很多場景中其實比錯誤答案更有價值尤其是醫(yī)療、法律、金融這類高風(fēng)險領(lǐng)域。我們可以把規(guī)范化的拒答句式寫進(jìn)提示詞系統(tǒng)層類似“對不起我無法確認(rèn)該信息的真實性請?zhí)峁└嗌舷挛幕虿殚喒俜絹碓础！?.4 評估閉環(huán)沒有評估體系的幻覺緩解都是空談很多團(tuán)隊做幻覺優(yōu)化是“拍腦袋式”的出一個方案人工看幾個例子覺得不錯就上線。這樣在大規(guī)模場景下完全不可靠。我強(qiáng)烈建議搭建一個自動化評估集至少包含三類樣本樣本類型數(shù)量建議示例標(biāo)準(zhǔn)問答樣本200-500條領(lǐng)域內(nèi)高頻問題附帶標(biāo)準(zhǔn)答案陷阱樣本100-200條問題上下文不包含答案檢驗拒答能力對抗樣本50-100條包含預(yù)設(shè)錯誤前提的問題檢驗糾錯能力評估指標(biāo)上聲譽法可以用快速精確匹配計算準(zhǔn)確率但更推薦用模型作為評判員給答案打分再結(jié)合事實核查對斷言進(jìn)行驗證。這樣能同時覆蓋“是否回答正確”和“是否包含幻覺斷言”兩個維度。順便提醒一下評估集要定期加入線上出現(xiàn)的真實錯誤樣本。每次線上用戶反饋出幻覺問題就把它納入回歸測試集。這個做法幫我避免了很多次“修了東墻漏西墻”的情況。5. 一個可落地的綜合案例給某行業(yè)知識問答系統(tǒng)做幻覺治理下面結(jié)合我在一個模擬項目里的經(jīng)歷完整介紹一套從問題發(fā)現(xiàn)到效果提升的實施路徑。這個系統(tǒng)服務(wù)于某垂直行業(yè)從業(yè)者的日常查詢答案必須準(zhǔn)確、可溯源對幻覺容忍度極低。5.1 場景與方案設(shè)計系統(tǒng)上線初期的基礎(chǔ)模型是某開源大模型直接調(diào)用。剛上線時的問題率高得驚人經(jīng)過人工抽檢我們認(rèn)為有“明顯錯誤或無可驗證依據(jù)”的回答占比約25%。這個數(shù)字對于內(nèi)部測試或許尚可接受但對生產(chǎn)環(huán)境來說完全無法忍受幾乎每四條答案里就有一條存在問題。我做了三步整改。第一步放棄直接裸用基礎(chǔ)模型接上領(lǐng)域知識庫做 RAG同時對提示詞進(jìn)行了嚴(yán)格的引用約束。第二步用領(lǐng)域語料做了低秩適配微調(diào)訓(xùn)練重點是規(guī)范化輸出格式和拒答行為而不是灌輸知識。第三步搭建了基于事實核查和采樣一致性的雙層幻覺檢測服務(wù)對模型的輸出進(jìn)行實時把關(guān)攔截。5.2 效果實測經(jīng)過兩周的迭代我們對三個階段的版本都做了亂序測試每組 300 條問題。這三個版本分別是基礎(chǔ)模型、加了 RAG 的版本、RAG微調(diào)檢測的完整版本。結(jié)果如下指標(biāo)基礎(chǔ)模型RAG版本完整版本事實性準(zhǔn)確率71%82%89%拒答率回答“不清楚”5%10%18%答案可追溯率0%68%74%明顯幻覺占比25%11%6%這個表里的數(shù)據(jù)有幾個值得注意的地方。加了 RAG 之后拒答率反而提高了這不是壞事——說明模型開始意識到“沒有資料就不能硬答”。完整版本中明顯幻覺占比降到了 6%剩余的錯誤集中出現(xiàn)在用戶提供的專用名詞、縮寫拼寫不規(guī)范等小眾場景說明數(shù)據(jù)側(cè)仍存在邊緣盲區(qū)這類問題沒法靠模型層徹底解決只能靠持續(xù)補充知識庫。5.3 踩坑記錄與經(jīng)驗沉淀整個改進(jìn)過程踩了不少坑挑三個最典型的分享。第一個坑最初測試 RAG 時把檢索段落數(shù)量設(shè)成了 6以為“上下文給得越多越好”。結(jié)果模型把多個不相關(guān)段落里的信息做了“縫合”反而產(chǎn)生了幻覺。后來把段落數(shù)量縮到了 3并加了“只引用與問題最相關(guān)的一段”的指令錯誤明顯下降。第二個坑微調(diào)數(shù)據(jù)里加入了一批“帶標(biāo)準(zhǔn)答案”的問題模型在微調(diào)后答題率大幅度提升的同時出現(xiàn)了“過度自信”問題。它對所有問題都傾向給出一個答案哪怕沒有依據(jù)。后來我們在微調(diào)數(shù)據(jù)里專門增加了一批“無答案”樣本告訴模型什么是“不知道”才算扭回來。第三個坑事實核查依賴外部檢索時如果檢索庫本身數(shù)據(jù)質(zhì)量差會把正確的答案標(biāo)記成幻覺。我們在項目里花了很多精力清洗知識庫、建立同義詞映射然后才讓核查服務(wù)上線。檢測服務(wù)只有在知識庫可靠的前提下才可信。6. 最后分享幾個實用小技巧上面講了這么多方法論最后分享幾個可以直接抄作業(yè)的經(jīng)驗點。技巧一做知識庫預(yù)處理的時候統(tǒng)一將文檔按語義切塊同時保留塊與塊之間的標(biāo)題層級關(guān)系。每個塊都附上來源標(biāo)簽、更新日期、所屬分類這樣在生成階段可以強(qiáng)制模型輸出來源便于用戶溯源。溯源成本很低但對治理幻覺有奇效因為它倒逼模型“引用而不是胡編”。技巧二部署線上系統(tǒng)時對所有模型輸出都做一遍“低置信度攔截”。我們內(nèi)部的做法是當(dāng)序列平均對數(shù)概率低于閾值時不直接輸出給用戶而是把回答降級為“我未能找到足夠權(quán)威的資料請換個說法重試”或者觸發(fā)人工客服介入。與其讓用戶看到錯誤答案不如讓用戶看到誠實的回應(yīng)。技巧三每隔一段時間用“錯誤案例復(fù)盤會”的方式找?guī)讉€線上典型幻覺樣本讓研發(fā)和標(biāo)注團(tuán)隊一起定位出錯環(huán)節(jié)。你會發(fā)現(xiàn)很多問題的根因不是單一模塊而是檢索召回錯誤、知識庫信息過期、提示詞指令含糊等多個環(huán)節(jié)疊加的結(jié)果。這種復(fù)盤比任何新算法都更幫你理解系統(tǒng)短板。幻覺問題不會消失但隨著你對模型行為、數(shù)據(jù)質(zhì)量、交互設(shè)計三者的理解加深它是可以被壓到可接受范圍的。我個人的體會是治理幻覺沒有銀彈但系統(tǒng)性工程手段一定比任何花哨的模型技巧都有效。先用評估體系把問題量化再用 RAG、微調(diào)、檢測攔截逐層壓實你就能在一個“會說錯話”的模型上構(gòu)建出可靠的產(chǎn)品。