剛接觸大模型后訓(xùn)練時(shí)很容易把幾件事混在一起模型是不是先寫(xiě)一個(gè)答案再把它改得更像標(biāo)準(zhǔn)答案獎(jiǎng)勵(lì)模型和 Critic 都輸出分?jǐn)?shù)為什么還要分開(kāi)既然都有優(yōu)化效果四種方法是不是按順序全部訓(xùn)練一遍就行理解它們不妨換一個(gè)切入點(diǎn)模型拿什么作為學(xué)習(xí)材料怎樣把材料變成訓(xùn)練信號(hào)最后更新誰(shuí)的參數(shù)沿著這三個(gè)問(wèn)題看SFT、DPO、PPO 和 GRPO 就不再是四個(gè)需要死記的縮寫(xiě)而是四種不同的學(xué)習(xí)機(jī)制。一、先搭一個(gè)共同框架訓(xùn)練改變的是生成概率自回歸語(yǔ)言模型每次根據(jù)已有上下文給“下一個(gè) token”分配概率。token 可以是一段字、詞或符號(hào)不一定對(duì)應(yīng)一個(gè)漢字。將一段回答中各個(gè)位置的條件概率相乘就得到這段回答的概率實(shí)際計(jì)算通常取對(duì)數(shù)把乘法變成加法。這里x 是問(wèn)題y 是整段回答θ 表示待訓(xùn)練參數(shù)π 表示模型的生成概率分布。后面出現(xiàn)的“提高概率”都是在調(diào)整參數(shù)而不是在某一段現(xiàn)成文字上直接增刪改。這也解釋了“算概率”和“生成答案”的區(qū)別算概率是拿一段已有文本計(jì)算模型有多傾向于說(shuō)出它生成答案是按模型當(dāng)前的概率分布真正選出 token 并組成新文本。前者是 SFT、標(biāo)準(zhǔn)離線 DPO 的訓(xùn)練基礎(chǔ)后者進(jìn)入了 PPO、GRPO 的采樣循環(huán)。訓(xùn)練數(shù)據(jù)是“現(xiàn)成的”還是“邊學(xué)邊生成的”標(biāo)準(zhǔn)流程示意。箭頭表示數(shù)據(jù)與學(xué)習(xí)信號(hào)的流向不是四種方法的執(zhí)行順序。二、SFT用示范回答教模型“照這樣答”SFTSupervised Fine-Tuning有監(jiān)督微調(diào)的學(xué)習(xí)材料是“問(wèn)題優(yōu)質(zhì)示范回答”。它不要求兩份答案分出高下也不需要獎(jiǎng)勵(lì)分?jǐn)?shù)示范回答本身就是監(jiān)督信號(hào)。一次參數(shù)更新實(shí)際上發(fā)生了什么假設(shè)示范回答拆成若干 token。訓(xùn)練時(shí)預(yù)測(cè)某個(gè)位置的下一個(gè) token使用的是問(wèn)題和示范回答的真實(shí)前綴這叫Teacher Forcing教師強(qiáng)制。即使整段文本一次送進(jìn)模型因果掩碼也會(huì)阻止當(dāng)前位置看到未來(lái) token“整段輸入”不等于“偷看后面的答案”。讀一批樣本。將問(wèn)題與示范回答拼成訓(xùn)練序列。計(jì)算指定 token 的概率。在每個(gè)回答位置檢查模型給示范中的下一個(gè) token 分配了多大概率。匯總損失。目標(biāo) token 的概率越低負(fù)對(duì)數(shù)損失越大。常見(jiàn)指令微調(diào)只對(duì)回答部分計(jì)損失對(duì)問(wèn)題部分做掩碼。更新參數(shù)。反向傳播并執(zhí)行優(yōu)化器更新再處理下一批數(shù)據(jù)。這個(gè)式子表示單條樣本的 token 損失求和實(shí)現(xiàn)中還可能按有效 token 或批次取平均。最小化損失就是推動(dòng)模型提高示范回答的概率。待訓(xùn)練的語(yǔ)言模型參與更新不需要額外的獎(jiǎng)勵(lì)模型或 Critic。SFT 適合把期望的行為直接示范出來(lái)例如如何遵循指令、采用什么輸出格式、怎樣完成某類(lèi)任務(wù)。但“學(xué)示范”不是“保證背出原句”它學(xué)習(xí)的是一批示范背后的生成規(guī)律。它也不會(huì)僅憑某個(gè)回答未出現(xiàn)在示范中就知道這個(gè)回答為什么不好。三、DPO不用重寫(xiě)范文直接學(xué)習(xí)“哪個(gè)更好”DPODirect Preference Optimization直接偏好優(yōu)化使用“問(wèn)題chosenrejected”。chosen 是一對(duì)回答里更受偏好的那個(gè)不一定完美rejected 是相對(duì)較差的那個(gè)也不一定完全錯(cuò)誤。它學(xué)習(xí)的是這種相對(duì)關(guān)系。先分清數(shù)據(jù)準(zhǔn)備和正式訓(xùn)練準(zhǔn)備偏好數(shù)據(jù)時(shí)可以先讓模型生成候選回答再請(qǐng)人或評(píng)估機(jī)制選出更好的回答。但到了標(biāo)準(zhǔn)離線 DPO 的參數(shù)更新階段這些回答已經(jīng)固定不需要每一步再生成第三個(gè)答案更不會(huì)拿第三個(gè)答案與 chosen 做文本相似度比較。訓(xùn)練中有兩個(gè)角色一個(gè)是會(huì)更新的策略模型 πθ另一個(gè)是凍結(jié)的參考模型 πref通常取訓(xùn)練開(kāi)始前的模型作為基準(zhǔn)。對(duì)同一條偏好樣本兩者分別計(jì)算 chosen 和 rejected 的整段對(duì)數(shù)概率共形成四個(gè)概率量。損失在比較什么令 y? 為 choseny? 為 rejected。DPO 的核心比較量是第一組括號(hào)衡量“現(xiàn)在更偏向誰(shuí)”第二組括號(hào)衡量“參考模型原來(lái)更偏向誰(shuí)”。兩者相減得到相對(duì)于參考模型的偏好變化再構(gòu)造單條樣本損失σ 是 sigmoid 函數(shù)β 是控制參考約束與偏好優(yōu)化權(quán)衡的超參數(shù)不是學(xué)習(xí)率。對(duì)于給定樣本最小化這個(gè)損失會(huì)推動(dòng) Δ 增大也就是讓 chosen 對(duì) rejected 的相對(duì)優(yōu)勢(shì)增強(qiáng)。完整訓(xùn)練目標(biāo)還會(huì)在數(shù)據(jù)集上取平均。一次更新的流程取偏好樣本 → 兩個(gè)模型分別計(jì)算兩段回答的對(duì)數(shù)概率 → 算 DPO 損失 → 反向傳播 → 只更新策略模型。參考模型保持凍結(jié)標(biāo)準(zhǔn) DPO 不單獨(dú)訓(xùn)練獎(jiǎng)勵(lì)模型也不訓(xùn)練 Critic。需要保留一個(gè)重要限定相對(duì)優(yōu)勢(shì)變大不保證 chosen 的絕對(duì)概率每次都上升。兩者概率都下降但 rejected 下降得更多相對(duì)關(guān)系也可能改善。DPO 也不是把 rejected 改寫(xiě)成 chosen而是改變未來(lái)生成時(shí)的傾向。四、PPO讓模型自己嘗試再根據(jù)反饋學(xué)習(xí)SFT 和離線 DPO 的回答來(lái)自已有數(shù)據(jù)PPOProximal Policy Optimization近端策略?xún)?yōu)化把生成新回答放入訓(xùn)練循環(huán)。模型先嘗試獲得反饋再更新自己用更新后的策略繼續(xù)嘗試。獎(jiǎng)勵(lì)模型和 Critic到底各自負(fù)責(zé)什么獎(jiǎng)勵(lì)模型Reward評(píng)價(jià)這次實(shí)際生成的回答?；貓?bào) Critic在每個(gè)生成位置預(yù)測(cè) “從這里按當(dāng)前策略繼續(xù)寫(xiě)平均能獲得多少后續(xù)回報(bào)”。用一道題來(lái)看題目買(mǎi)了 2 袋糖每袋 3 顆又得到 4 顆一共有多少顆為方便理解設(shè)定一個(gè)教學(xué)評(píng)分規(guī)則最終答案是 10獎(jiǎng)勵(lì)為 1否則為 0。這里用程序規(guī)則代替獎(jiǎng)勵(lì)模型承擔(dān)的是相同的 “提供評(píng)分信號(hào)” 的角色。模型已經(jīng)寫(xiě)到“先算兩袋糖2 × 3 6。接下來(lái)加上另外 4 顆……”假設(shè) Critic 此時(shí)輸出 0.9。它的意思不是 “這一步得了 0.9 分”而是根據(jù)目前的前綴和這個(gè)模型的能力繼續(xù)生成下去預(yù)計(jì)最終平均得到 0.9 分。在這個(gè)只有 0/1 獎(jiǎng)勵(lì)的例子里也可以理解為Critic 估計(jì)接下來(lái)最終答對(duì)的概率約為 90%。這些數(shù)值都是教學(xué)假設(shè)不是真實(shí)實(shí)驗(yàn)結(jié)果。同一個(gè)前綴Critic 的預(yù)測(cè)相同但實(shí)際走向不同最終獎(jiǎng)勵(lì)就不同。預(yù)測(cè)的是可能結(jié)果的平均表現(xiàn)獎(jiǎng)勵(lì)記錄的是這一次真正發(fā)生的表現(xiàn)。Critic 也會(huì)用收集到的回報(bào)目標(biāo)訓(xùn)練讓預(yù)測(cè)越來(lái)越準(zhǔn)它不是提前知道答案的 “裁判”。兩者配合一個(gè)提供目標(biāo)一個(gè)幫助更穩(wěn)地學(xué)不是兩個(gè)裁判重復(fù)打分而是 “反饋預(yù)測(cè)基線” 的分工。典型 PPO 用它們估計(jì)優(yōu)勢(shì)更新策略同時(shí)訓(xùn)練 Critic 改善預(yù)測(cè)。它能幫助訓(xùn)練但不保證精確找出每一句推理究竟錯(cuò)在哪里。最后記一句獎(jiǎng)勵(lì)決定 “什么值得學(xué)”Critic 幫助判斷 “這次比預(yù)期好多少”獎(jiǎng)勵(lì)可以單獨(dú)用Critic 通常是為了讓學(xué)習(xí)更穩(wěn)、更高效。Actor策略模型生成回答最終希望訓(xùn)練好的就是它。獎(jiǎng)勵(lì)機(jī)制給回答提供評(píng)分信號(hào)?？梢允菙?shù)學(xué)答案校驗(yàn)、代碼測(cè)試也可以是學(xué)習(xí)出來(lái)的獎(jiǎng)勵(lì)模型。Critic價(jià)值模型輸入問(wèn)題與當(dāng)前回答前綴預(yù)測(cè)從這里繼續(xù)生成的預(yù)期后續(xù)回報(bào)逐步回報(bào)匯總。它不是為每個(gè) token 制定一個(gè)好壞分?jǐn)?shù)。參考模型常見(jiàn) RLHF 中凍結(jié)的基準(zhǔn)用 KL 約束限制策略偏離過(guò)遠(yuǎn)。經(jīng)典 RLHF 通常先用人類(lèi)偏好對(duì)訓(xùn)練獎(jiǎng)勵(lì)模型讓它學(xué)會(huì)給 chosen 更高分再將它用于 PPO 階段的自動(dòng)評(píng)分。獎(jiǎng)勵(lì)模型回答“這個(gè)輸出按評(píng)分標(biāo)準(zhǔn)表現(xiàn)如何”結(jié)果分Critic 回答“按當(dāng)前策略從這個(gè)前綴繼續(xù)下去通常能得到多少回報(bào)”。各個(gè)步驟的預(yù)期結(jié)果分兩者都可能輸出數(shù)值但學(xué)習(xí)目標(biāo)不同。一輪 PPO 怎樣閉環(huán)采樣回答。用本輪采樣策略生成一批回答保存 token、采樣時(shí)的對(duì)數(shù)概率等信息。這個(gè)采樣策略就是本輪的“舊策略”。----采樣 指的是讓當(dāng)前模型針對(duì)同一個(gè)提示詞隨機(jī)生成多條不同的候選回答而不是從外部數(shù)據(jù)集里抽數(shù)據(jù)。收集訓(xùn)練信號(hào)。獎(jiǎng)勵(lì)機(jī)制打分Critic 預(yù)測(cè)各回答前綴的價(jià)值典型 RLHF 還加入相對(duì)參考模型的 KL 懲罰。估計(jì)優(yōu)勢(shì)。將獎(jiǎng)勵(lì)和價(jià)值預(yù)測(cè)結(jié)合通常使用 GAE廣義優(yōu)勢(shì)估計(jì)判斷生成行為比當(dāng)前預(yù)期好多少。更新 Actor。使用優(yōu)勢(shì)和新舊策略的概率比構(gòu)造裁剪目標(biāo)進(jìn)行一個(gè)或有限多個(gè)優(yōu)化輪次。更新 Critic。讓價(jià)值預(yù)測(cè)擬合由獎(jiǎng)勵(lì)及價(jià)值估計(jì)構(gòu)造的回報(bào)目標(biāo)。重新采樣。用更新后的策略收集新回答開(kāi)始下一輪而不是無(wú)限復(fù)用同一批舊回答。優(yōu)勢(shì)的直覺(jué)是“表現(xiàn)相對(duì)基線的好壞”但實(shí)際 GAE 不是簡(jiǎn)單把最終得分減去每個(gè)位置的預(yù)測(cè)值。它先計(jì)算一步時(shí)序差分誤差再按時(shí)間匯總s? 是問(wèn)題加當(dāng)前前綴V 是 Critic 預(yù)測(cè)γ 控制折扣λ 調(diào)節(jié)估計(jì)的偏差與方差在有限回答上求和會(huì)于終止處截?cái)嗾嬲K止?fàn)顟B(tài)的后續(xù)價(jià)值按零處理。正優(yōu)勢(shì)提供強(qiáng)化信號(hào)負(fù)優(yōu)勢(shì)提供削弱信號(hào)。PPO 的“不要改太猛”限制的是什么令 ρ? 表示當(dāng)前策略與舊策略對(duì)同一已采樣 token 的概率比。PPO 最大化的核心裁剪項(xiàng)是當(dāng)概率比朝有利方向變化過(guò)大時(shí)裁剪目標(biāo)不再為繼續(xù)擴(kuò)大這部分變化提供額外收益。這不是把全部參數(shù)變化或?qū)嶋H概率比硬鎖在某個(gè)范圍內(nèi)。另一個(gè)常見(jiàn)約束是相對(duì)參考模型的 KL 懲罰它限制的是相對(duì)于長(zhǎng)期基準(zhǔn)的整體偏移和 PPO 裁剪不是同一回事。因此要分清舊策略與參考模型舊策略是本批數(shù)據(jù)采樣時(shí)的快照下一輪會(huì)刷新參考模型是約束所依賴(lài)的基準(zhǔn)典型訓(xùn)練階段中保持凍結(jié)。PPO 通常更新 Actor 和 Critic獎(jiǎng)勵(lì)模型在這一策略?xún)?yōu)化階段通常凍結(jié)更外層的迭代訓(xùn)練可另行更新獎(jiǎng)勵(lì)模型。五、GRPO同一道題多答幾次用組內(nèi)比較替代 CriticGRPOGroup Relative Policy Optimization組相對(duì)策略?xún)?yōu)化保留了 PPO 風(fēng)格的策略?xún)?yōu)化但改變了優(yōu)勢(shì)的來(lái)源不再單獨(dú)訓(xùn)練價(jià)值模型而是對(duì)同一問(wèn)題生成一組回答利用組內(nèi)獎(jiǎng)勵(lì)的統(tǒng)計(jì)量作為比較基線。組采樣。每個(gè)問(wèn)題生成 G 個(gè)回答并記錄采樣時(shí)的概率。逐個(gè)評(píng)分。用獎(jiǎng)勵(lì)模型或規(guī)則得到各回答的獎(jiǎng)勵(lì) r?。算相對(duì)優(yōu)勢(shì)。在同一個(gè)問(wèn)題的回答組內(nèi)計(jì)算獎(jiǎng)勵(lì)均值與標(biāo)準(zhǔn)差。更新策略。使用組相對(duì)優(yōu)勢(shì)、PPO 風(fēng)格裁剪目標(biāo)和原始版本中的 KL 約束更新 Actor。重新探索。用新 Actor 生成下一組回答重復(fù)上述過(guò)程。在原始最終結(jié)果獎(jiǎng)勵(lì)版本中同一回答的各 token 共用該回答的結(jié)果級(jí)優(yōu)勢(shì)并不意味著知道其中每個(gè)推理步驟各自是否正確過(guò)程獎(jiǎng)勵(lì)屬于另一種更細(xì)粒度的設(shè)置。工程實(shí)現(xiàn)還須處理標(biāo)準(zhǔn)差為零的情況例如加入數(shù)值穩(wěn)定項(xiàng)或跳過(guò)無(wú)區(qū)分信號(hào)的組。一個(gè)可手算的例子假設(shè)某題的四個(gè)回答獲得獎(jiǎng)勵(lì) [1, 1, 0, 0]。采用總體標(biāo)準(zhǔn)差口徑均值為 0.5標(biāo)準(zhǔn)差為 0.5所以相對(duì)優(yōu)勢(shì)為 [1, 1, ?1, ?1]。這是教學(xué)算例不是實(shí)驗(yàn)結(jié)果不同實(shí)現(xiàn)的標(biāo)準(zhǔn)差口徑可能改變數(shù)值尺度。?這張圖里的兩條分支回答了同一個(gè)問(wèn)題獎(jiǎng)勵(lì)已經(jīng)有了拿什么當(dāng)“預(yù)期基線”P(pán)PO 用學(xué)出來(lái)的價(jià)值預(yù)測(cè)criticGRPO 用當(dāng)前回答組的相對(duì)表現(xiàn)。兩者都需要可信的評(píng)分信號(hào)。GRPO 不是“多答案版 DPO”DPO 學(xué)已有回答對(duì)的偏好GRPO 在訓(xùn)練循環(huán)中不斷采樣并根據(jù)組內(nèi)獎(jiǎng)勵(lì)更新。它也不是“只挑最高分做 SFT”組內(nèi)不同回答會(huì)得到不同方向和強(qiáng)度的優(yōu)勢(shì)信號(hào)而非只保留一份范文。組內(nèi)比較有邊界如果整組同分相對(duì)獎(jiǎng)勵(lì)部分就沒(méi)有區(qū)分信號(hào)如果整組都不好“組內(nèi)最好”也不等于絕對(duì)正確。省去 Critic 能減少價(jià)值模型的訓(xùn)練和存儲(chǔ)開(kāi)銷(xiāo)但多回答采樣仍有成本不能據(jù)此斷言所有設(shè)置下總訓(xùn)練成本都更低。六、把四種方法放回完整訓(xùn)練路線常見(jiàn)路線是先通過(guò) SFT 建立較好的指令遵循與任務(wù)表現(xiàn)再根據(jù)可獲得的學(xué)習(xí)信號(hào)繼續(xù)優(yōu)化手里有可靠的回答對(duì)偏好可以做 DPO能對(duì)新生成的回答持續(xù)評(píng)分可以考慮 PPO 或 GRPO 這樣的在線強(qiáng)化學(xué)習(xí)方法。經(jīng)典 InstructGPT 展示了 SFT、獎(jiǎng)勵(lì)建模與 PPO 的組合DPO 與 DeepSeekMath 則展示了不同的后續(xù)優(yōu)化路徑。?同樣RLHF是利用人類(lèi)反饋進(jìn)行強(qiáng)化學(xué)習(xí)的框架PPO是其中可用的算法不是 RLHF 的同義詞。DPO 從偏好數(shù)據(jù)直接優(yōu)化策略繞開(kāi)顯式獎(jiǎng)勵(lì)建模和在線 RL 循環(huán)但在理論上與帶 KL 約束的獎(jiǎng)勵(lì)優(yōu)化目標(biāo)存在聯(lián)系。七、讀完后能回答這五個(gè)問(wèn)題就抓住了主線SFT為什么不需要先生成一份新答案因?yàn)樗苯佑檬痉痘卮鹱鞅O(jiān)督計(jì)算指定 token 的概率和損失。DPO在比較什么比較 chosen 對(duì) rejected 的相對(duì)概率優(yōu)勢(shì)相對(duì)于參考模型改善了多少而不是比較文本長(zhǎng)得多像。獎(jiǎng)勵(lì)模型和 Critic 有什么關(guān)系前者給反饋后者預(yù)測(cè)預(yù)期回報(bào)PPO 用二者構(gòu)造優(yōu)勢(shì)Critic 也從回報(bào)目標(biāo)中學(xué)習(xí)。PPO的舊策略就是參考模型嗎不是。舊策略服務(wù)于本批采樣和更新幅度比較參考模型服務(wù)于相對(duì)長(zhǎng)期基準(zhǔn)的約束。GRPO到底省掉了什么省掉單獨(dú)訓(xùn)練的價(jià)值模型用組內(nèi)統(tǒng)計(jì)計(jì)算優(yōu)勢(shì)沒(méi)有省掉獎(jiǎng)勵(lì)也沒(méi)有省掉在線采樣。最后把四種方法壓成一句話SFT學(xué)示范DPO學(xué)相對(duì)偏好PPO學(xué)比預(yù)期更好的生成行為GRPO學(xué)比同組平均表現(xiàn)更好的生成行為。真正的共同點(diǎn)不是“都在模仿好答案”而是它們都把某種學(xué)習(xí)信號(hào)轉(zhuǎn)化為參數(shù)更新改變模型未來(lái)生成回答的概率。參考資料[1] Direct Preference Optimization: Your Language Model is Secretly a Reward Model重點(diǎn)閱讀第 3—4 節(jié)了解 RLHF 基本流程、DPO 目標(biāo)與參考模型。[2] DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models重點(diǎn)閱讀第 4.1 節(jié)、圖 4 與附錄 A.1理解 PPO、GRPO 及其訓(xùn)練目標(biāo)。[3] Training language models to follow instructions with human feedback經(jīng)典 SFT → 獎(jiǎng)勵(lì)建模 → PPO 路線。