拿到這篇論文的時(shí)候我先把摘要翻來覆去讀了三遍。電力市場投標(biāo)策略 多智能體 深度強(qiáng)化學(xué)習(xí)這套組合在業(yè)內(nèi)不算冷門但真正動(dòng)手復(fù)現(xiàn)過的人都知道最大的坎從來不是把 DDPG 跑起來而是怎么把市場規(guī)則、出清機(jī)制、博弈對(duì)手建模成一個(gè)既貼近真實(shí)、又不會(huì)讓算法一上來就崩潰的 Python 環(huán)境。我這次復(fù)現(xiàn)的目標(biāo)是基于 Agent 的電力市場決策梯度算法建?！獦?biāo)題里的“深度決策梯度”就是 Deep Deterministic Policy Gradient業(yè)內(nèi)一般直接叫 DDPG深度確定性策略梯度。核心邏輯是讓每個(gè)發(fā)電商作為一個(gè)獨(dú)立智能體在日前市場環(huán)境中學(xué)習(xí)報(bào)價(jià)策略動(dòng)作是次日各時(shí)段的報(bào)價(jià)系數(shù)獎(jiǎng)勵(lì)是該時(shí)段的凈利潤環(huán)境則是按統(tǒng)一出清規(guī)則搭建的市場引擎。整套代碼用 Python 和 PyTorch 實(shí)現(xiàn)從市場環(huán)境搭建到訓(xùn)練閉環(huán)共計(jì)兩千行左右。這篇博文我會(huì)把復(fù)現(xiàn)過程中真正有價(jià)值的東西捋出來為什么選 DDPG 而不是別的算法、市場環(huán)境怎么抽象才不會(huì)丟失核心機(jī)制、狀態(tài)動(dòng)作獎(jiǎng)勵(lì)空間怎么設(shè)計(jì)、多 Agent 訓(xùn)練時(shí)最隱蔽的非平穩(wěn)問題在哪、以及我在調(diào)試時(shí)踩過的那些坑。如果你想復(fù)現(xiàn)一篇 Trans 級(jí)別的電力市場強(qiáng)化學(xué)習(xí)論文或者只是想把多智能體強(qiáng)化學(xué)習(xí)用在帶經(jīng)濟(jì)機(jī)制的仿真環(huán)境里這篇文章應(yīng)該能幫你省下不少試錯(cuò)時(shí)間。1. 為什么電力市場要引入多智能體強(qiáng)化學(xué)習(xí)1.1 電力市場競爭決策的難點(diǎn)電力市場和普通商品市場最大的區(qū)別在于電力本身難以大規(guī)模儲(chǔ)存供需需要實(shí)時(shí)平衡所以日前市場的報(bào)價(jià)決策本質(zhì)上是面向未來 24 小時(shí)或 96 個(gè)時(shí)段的序貫決策。發(fā)電商要在不知道競爭對(duì)手報(bào)價(jià)的情況下決定自己每個(gè)時(shí)段的申報(bào)價(jià)格和申報(bào)電量。報(bào)高了可能被擠出市場機(jī)組在高峰時(shí)段空轉(zhuǎn)報(bào)低了雖然能保證出清但利潤空間被嚴(yán)重壓縮甚至可能在低谷時(shí)段虧本發(fā)電。如果只是單時(shí)段決策這個(gè)問題可以用一階最優(yōu)條件求解。但放到多時(shí)段、多機(jī)組、帶爬坡約束和啟停成本的場景里策略空間立刻變得極其復(fù)雜。更麻煩的是競爭對(duì)手的策略會(huì)隨著市場環(huán)境變化而調(diào)整需求曲線受到天氣、節(jié)假日、新能源出力等多種因素影響這使得環(huán)境本身是非平穩(wěn)的。傳統(tǒng)做法里發(fā)電商報(bào)價(jià)主要依賴三種思路一是簡單的邊際成本加成比如在短期邊際成本基礎(chǔ)上固定加價(jià) 3%、5%二是基于歷史數(shù)據(jù)統(tǒng)計(jì)出對(duì)手報(bào)價(jià)分布然后做一個(gè)概率意義上的最優(yōu)響應(yīng)三是用博弈論算供給函數(shù)均衡SFE作為理論參考。這三種思路各有硬傷固定加價(jià)太機(jī)械市場條件一變就失效歷史統(tǒng)計(jì)法假設(shè)對(duì)手策略分布是穩(wěn)定的但現(xiàn)實(shí)中對(duì)手也在學(xué)習(xí)SFE 理論上很漂亮但對(duì)市場結(jié)構(gòu)、成本函數(shù)和需求彈性有很強(qiáng)的假設(shè)實(shí)際報(bào)價(jià)很難直接套用。深度強(qiáng)化學(xué)習(xí)恰好補(bǔ)上了這個(gè)空缺。它不依賴顯式的市場模型而是讓智能體通過與環(huán)境的反復(fù)交互自己發(fā)現(xiàn)報(bào)價(jià)規(guī)律。這一點(diǎn)對(duì)高維度、連續(xù)動(dòng)作、多主體博弈的電力市場來說幾乎是量身定做的。1.2 為什么選 DDPG 而不是 DQN 或 PPO確定了用強(qiáng)化學(xué)習(xí)之后下一個(gè)問題是選哪個(gè)算法。DQN 是很多人的第一反應(yīng)但它處理不了連續(xù)動(dòng)作。電力市場的報(bào)價(jià)動(dòng)作如果用離散檔位表示動(dòng)作空間會(huì)爆炸24 個(gè)時(shí)段乘以每個(gè)時(shí)段 5 到 10 個(gè)檔位再乘以多個(gè)發(fā)電商枚舉組合的數(shù)量級(jí)根本不是經(jīng)驗(yàn)回放能扛住的。如果強(qiáng)行做離散化還會(huì)丟失報(bào)價(jià)精度——多報(bào) 1% 和 2% 之間的利潤差在市場出清價(jià)附近可能就被完全抹掉了。PPO 能處理連續(xù)動(dòng)作也有不少人用但我復(fù)現(xiàn)時(shí)沒有優(yōu)先選它。DDPG 的核心優(yōu)勢在于確定性策略可以直接輸出一個(gè)連續(xù)動(dòng)作向量一次前向傳播就能得到全天 24 個(gè)時(shí)段的報(bào)價(jià)系數(shù)訓(xùn)練效率高超參也不像 PPO 那樣敏感。SAC 雖然更穩(wěn)定但它引入熵系數(shù)和雙重 Q 網(wǎng)絡(luò)需要調(diào)的參數(shù)更多。在論文復(fù)現(xiàn)的情境下先選擇一個(gè)實(shí)現(xiàn)簡單、算法原理清晰的基線把電力市場環(huán)境本身的問題debug干凈遠(yuǎn)比一上來就用復(fù)雜算法更靠譜。所以我最后把方案鎖定在 DDPG 上整個(gè)訓(xùn)練鏈路是Actor 網(wǎng)絡(luò)輸出報(bào)價(jià)系數(shù)環(huán)境按報(bào)價(jià)出清計(jì)算利潤作為獎(jiǎng)勵(lì)Critic 網(wǎng)絡(luò)評(píng)估狀態(tài)動(dòng)作價(jià)值然后用策略梯度更新 Actor。1.3 這篇論文復(fù)現(xiàn)的定位這篇論文嚴(yán)格來說不是發(fā)明新算法而是把電力市場的運(yùn)行機(jī)制和 DRL 的建?？蚣茏隽艘粋€(gè)系統(tǒng)的映射。它的價(jià)值在于告訴你狀態(tài)向量里該放什么、獎(jiǎng)勵(lì)函數(shù)怎么設(shè)計(jì)才能避免智能體鉆空子、出清機(jī)制如何抽象成可微或可采樣的計(jì)算模塊、多 Agent 環(huán)境下訓(xùn)練穩(wěn)定性怎么保證。這些設(shè)計(jì)決策在算法論文里往往一筆帶過但恰恰是復(fù)現(xiàn)時(shí)最花時(shí)間的部分。我的定位很明確不追求在算法層面做創(chuàng)新而是把這個(gè)框架完整跑通理解每個(gè)組件為什么這么設(shè)計(jì)然后把這個(gè)過程變成一套可復(fù)用的代碼。2. 把市場規(guī)則寫成環(huán)境報(bào)價(jià)、出清與狀態(tài)獎(jiǎng)勵(lì)設(shè)計(jì)2.1 市場機(jī)制與參與主體抽象我復(fù)現(xiàn)時(shí)采用的日前市場模型時(shí)間粒度是 24 個(gè)時(shí)段也就是每小時(shí)一個(gè)決策點(diǎn)參與主體是 3 個(gè)發(fā)電商 Agent加上一個(gè)負(fù)責(zé)出清的市場運(yùn)營方。每個(gè)發(fā)電商擁有不同的二次成本函數(shù)形式是 C_i(q) a_i * q^2 b_i * q c_i其中 a_i 和 b_i 決定了邊際成本曲線的斜率與截距。由于機(jī)組類型不同——有的偏基荷、有的偏峰荷——成本參數(shù)差異很大這樣市場才有真實(shí)感。每個(gè) Agent 在日前階段需要提交次日每個(gè)時(shí)段的報(bào)價(jià)曲線。論文里常見的做法不是直接報(bào)絕對(duì)價(jià)格而是報(bào)一個(gè)“報(bào)價(jià)乘子”bid multiplier也就是把邊際成本乘以一個(gè)系數(shù)。Agent 輸出的動(dòng)作向量經(jīng)過映射后落在 [0.2, 2.0] 區(qū)間1.0 代表按真實(shí)邊際成本報(bào)價(jià)大于 1.0 代表加價(jià)小于 1.0 代表低價(jià)搶量。為什么不直接讓網(wǎng)絡(luò)輸出絕對(duì)價(jià)格我試過效果非常差。絕對(duì)價(jià)格的范圍可能從幾十到幾百數(shù)值尺度差異大神經(jīng)網(wǎng)絡(luò)在這么大的區(qū)間里探索效率極低而報(bào)價(jià)系數(shù)的范圍小、語義明確智能體很容易理解“我要比成本高一點(diǎn)還是低一點(diǎn)”這件事收斂速度快很多。這也是做強(qiáng)化學(xué)習(xí)環(huán)境設(shè)計(jì)時(shí)一個(gè)非常重要的原則動(dòng)作空間的定義方式?jīng)Q定了智能體學(xué)習(xí)這個(gè)任務(wù)的難度。2.2 出清機(jī)制簡化與實(shí)現(xiàn)出清機(jī)制是市場環(huán)境的心臟。完整的日前市場出清需要求解一個(gè)帶系統(tǒng)平衡約束、網(wǎng)絡(luò)安全約束、機(jī)組啟停狀態(tài)的混合整數(shù)規(guī)劃問題計(jì)算復(fù)雜且每次需要幾十秒。論文復(fù)現(xiàn)中如果直接把真實(shí)出清模型搬進(jìn)訓(xùn)練循環(huán)時(shí)間和內(nèi)存都吃不消智能體跑一天也交互不了幾個(gè)回合。我采用的做法是分層抽象先實(shí)現(xiàn)一個(gè)基于“按報(bào)價(jià)從低到高排序、依次中標(biāo)直至負(fù)荷滿足”的簡化出清引擎用于驗(yàn)證整個(gè)訓(xùn)練閉環(huán)再在它的接口上擴(kuò)展成線性規(guī)劃版本用于最終實(shí)驗(yàn)對(duì)比。簡化版出清的核心邏輯只有十幾行代碼def market_clearing(bids, load): bids: list of (price, capacity) 每個(gè)發(fā)電商的報(bào)價(jià)與最大可出力 load: 當(dāng)前時(shí)段的負(fù)荷需求 返回: 總出清電量、邊際出清價(jià)、成交記錄 sorted_bids sorted(bids, keylambda x: x[0]) total_q 0.0 cleared_price 0.0 accepted [] for price, cap in sorted_bids: if total_q load: break q min(cap, load - total_q) accepted.append((price, q)) total_q q cleared_price price return total_q, cleared_price, accepted如果追求論文級(jí)精度可以用線性規(guī)劃求解購電成本最小化或社會(huì)福利最大化問題。把每個(gè)發(fā)電商的報(bào)價(jià)曲線線性化后目標(biāo)函數(shù)是購電成本之和最小約束是各時(shí)段功率平衡、機(jī)組上下限、爬坡約束然后用 scipy.optimize.linprog 或開源求解器求解。出清模塊、報(bào)價(jià)模塊、結(jié)算模塊三者的接口要提前設(shè)計(jì)好因?yàn)楹罄m(xù)一旦要改成 96 時(shí)段或者加入新能源出力隨機(jī)性只有接口穩(wěn)定代碼才能平滑擴(kuò)展。我在復(fù)現(xiàn)時(shí)一開始就把這三個(gè)模塊分開后面換機(jī)制幾乎沒有動(dòng)過 Agent 代碼。2.3 狀態(tài)空間與獎(jiǎng)勵(lì)函數(shù)的“坑”狀態(tài)空間的設(shè)計(jì)直接決定算法能不能學(xué)到東西。我在復(fù)現(xiàn)時(shí)給每個(gè)智能體三塊信息第一塊是自身私有信息包括成本參數(shù)、最大最小出力、上一時(shí)段的出清量和收益第二塊是市場公共信息包括未來 24 小時(shí)的負(fù)荷預(yù)測曲線、歷史出清價(jià)格、自身報(bào)價(jià)被市場接受的比率第三塊是對(duì)手策略的估計(jì)特征比如過去 K 個(gè)時(shí)段市場出清價(jià)的統(tǒng)計(jì)量。這里有一個(gè)非常隱蔽的坑很多人在狀態(tài)里直接塞入“競爭對(duì)手的真實(shí)報(bào)價(jià)”。這在真實(shí)市場里是看不到的如果訓(xùn)練環(huán)境里給了智能體學(xué)到的策略在真實(shí)部署時(shí)立刻失效這叫信息泄漏。復(fù)現(xiàn)論文時(shí)尤其要小心論文如果不是故意做完全信息假設(shè)狀態(tài)里就不要出現(xiàn)當(dāng)前回合內(nèi)其他 Agent 的動(dòng)作或真實(shí)成本。我處理的方式是只提供歷史出清結(jié)果——這是所有市場參與者都能公開觀察到的信息既能反映對(duì)手行為特征又不會(huì)讓智能體開天眼。獎(jiǎng)勵(lì)函數(shù)方面核心只有一條r_it p_t * q_it - C_i(q_it)也就是收入減成本。這個(gè)公式看著簡單但獎(jiǎng)勵(lì)的數(shù)值尺度很容易坑人。如果單位電價(jià)在 50 到 100 的量級(jí)發(fā)電量在上百 MW 量級(jí)單個(gè)時(shí)段的利潤就是幾千甚至上萬訓(xùn)練出來的 Q 值會(huì)非常大梯度動(dòng)不動(dòng)就爆炸。我試過直接拿原始利潤做獎(jiǎng)勵(lì)訓(xùn)練中 Q loss 一路飆到 10 的 8 次方完全不可用。最后用的是獎(jiǎng)勵(lì)縮放把每個(gè) Agent 的利潤除以它的平均可變成本基準(zhǔn)值讓獎(jiǎng)勵(lì)落在 [-0.5, 0.5] 區(qū)間附近。縮放不改變相對(duì)優(yōu)劣關(guān)系但能讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)穩(wěn)定得多。如果環(huán)境里加入了機(jī)組啟停成本和爬坡約束還需要額外把啟停懲罰加進(jìn)獎(jiǎng)勵(lì)不然智能體會(huì)學(xué)會(huì)在低谷時(shí)段也保持開機(jī)導(dǎo)致成本虛高。3. DDPG 算法建模從 Actor-Critic 到核心超參3.1 Actor-Critic 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)DDPG 是深度 Q 學(xué)習(xí)在連續(xù)動(dòng)作空間的自然延伸。它維護(hù)兩個(gè)網(wǎng)絡(luò)Actor 是策略網(wǎng)絡(luò)輸入狀態(tài)輸出動(dòng)作在本項(xiàng)目里就是 24 個(gè)時(shí)段的報(bào)價(jià)系數(shù)Critic 是價(jià)值網(wǎng)絡(luò)輸入狀態(tài)和動(dòng)作拼接后的向量輸出一個(gè) Q 值用來估計(jì)“在這個(gè)狀態(tài)下采取這個(gè)動(dòng)作有多好”。兩個(gè)網(wǎng)絡(luò)訓(xùn)練時(shí)形成一種動(dòng)態(tài)博弈Actor 努力提高動(dòng)作對(duì)應(yīng)的 Q 值Critic 努力把 Q 值估得更準(zhǔn)。網(wǎng)絡(luò)結(jié)構(gòu)上我沒有做太復(fù)雜的特殊設(shè)計(jì)就是基礎(chǔ)的全連接網(wǎng)絡(luò)加兩層 256 個(gè)神經(jīng)元的隱藏層。外層用 Sigmoid 把輸出映射到 [0,1]再乘以 2.0 得到 [0,2.0] 的報(bào)價(jià)系數(shù)區(qū)間。這里有個(gè)經(jīng)驗(yàn)隱藏層寬度從 128 開始往往不夠報(bào)價(jià)系數(shù)是 24 維連續(xù)向量維度之間還有時(shí)序相關(guān)性網(wǎng)絡(luò)容量太小時(shí) Actor 只是機(jī)械地學(xué)習(xí)每個(gè)時(shí)段的獨(dú)立映射學(xué)不到“晚高峰應(yīng)該報(bào)高、低谷應(yīng)該報(bào)低”這類跨時(shí)段規(guī)律。我最后調(diào)到 256 才穩(wěn)定。激活函數(shù)用 ReLU 就夠了不需要更花哨的東西因?yàn)檫@個(gè)問題本身沒有復(fù)雜的梯度路徑。Actor 和 Critic 的代碼可以用很干凈的方式實(shí)現(xiàn)import torch import torch.nn as nn class Actor(nn.Module): def __init__(self, state_dim, action_dim, hidden256): super().__init__() self.fc1 nn.Linear(state_dim, hidden) self.fc2 nn.Linear(hidden, hidden) self.out nn.Linear(hidden, action_dim) self.sigmoid nn.Sigmoid() def forward(self, state): x torch.relu(self.fc1(state)) x torch.relu(self.fc2(x)) return 2.0 * self.sigmoid(self.out(x)) class Critic(nn.Module): def __init__(self, state_dim, action_dim, hidden256): super().__init__() self.fc1 nn.Linear(state_dim action_dim, hidden) self.fc2 nn.Linear(hidden, hidden) self.out nn.Linear(hidden, 1) def forward(self, state, action): x torch.cat([state, action], dim-1) x torch.relu(self.fc1(x)) x torch.relu(self.fc2(x)) return self.out(x)3.2 目標(biāo)網(wǎng)絡(luò)與軟更新機(jī)制DDPG 里有一個(gè)人盡皆知但新手經(jīng)常踩坑的機(jī)制目標(biāo)網(wǎng)絡(luò)。Q 學(xué)習(xí)的更新目標(biāo)里包含 Q(s, a) 的估計(jì)如果用同一個(gè)網(wǎng)絡(luò)同時(shí)生成估計(jì)值和目標(biāo)值那就有個(gè)正反饋噪聲問題——網(wǎng)絡(luò)每次更新都會(huì)把誤差傳播到目標(biāo)里訓(xùn)練不穩(wěn)定。DDPG 的解決方案是復(fù)制一套 Actor 和 Critic 作為目標(biāo)網(wǎng)絡(luò)它們不參與梯度更新只用來計(jì)算 TD 目標(biāo)。目標(biāo)網(wǎng)絡(luò)和在線網(wǎng)絡(luò)之間也不是周期性硬拷貝而是軟更新每次迭代都朝著在線網(wǎng)絡(luò)的方向挪一小步。軟更新的公式是 θ_target τ * θ_current (1 - τ) * θ_targetτ 取 0.005 是我復(fù)現(xiàn)時(shí)試出來最穩(wěn)的參數(shù)。τ 太大會(huì)導(dǎo)致目標(biāo)網(wǎng)絡(luò)抖動(dòng)目標(biāo)是模型崩潰τ 太小又會(huì)讓目標(biāo)網(wǎng)絡(luò)更新太慢早期學(xué)習(xí)效率低。我建議第一次跑的時(shí)候不要調(diào) τ固定 0.005把精力放在環(huán)境設(shè)計(jì)和獎(jiǎng)勵(lì)縮放上。所有讓訓(xùn)練不穩(wěn)定的鍋至少在我復(fù)現(xiàn)的過程中有一半以上其實(shí)不在 τ 上。3.3 探索策略與動(dòng)作噪聲DDPG 的 Actor 輸出的是確定性策略這意味著如果不加噪聲智能體一旦學(xué)會(huì)一個(gè)動(dòng)作就永遠(yuǎn)做同一個(gè)動(dòng)作完全沒有探索能力。標(biāo)準(zhǔn)做法是在動(dòng)作上疊加隨機(jī)噪聲。論文里很多用 OU 噪聲也就是奧恩斯坦-烏倫貝克過程它能產(chǎn)生時(shí)序相關(guān)的探索信號(hào)適合連續(xù)控制問題。但我實(shí)際復(fù)現(xiàn)時(shí)發(fā)現(xiàn)高斯噪聲配合線性退火也能達(dá)到同樣效果而且調(diào)參簡單得多。我的具體做法是訓(xùn)練前 500 個(gè) episode 使用高斯噪聲標(biāo)準(zhǔn)差 0.1之后每 1000 個(gè) episode 線性衰減到 0.02最終保底 0.02 的固定噪聲保證持續(xù)探索。衰減速度非常關(guān)鍵。衰減太快智能體容易被鎖死在早期發(fā)現(xiàn)的局部策略里比如一直低價(jià)搶量跑好幾千個(gè) episode 也找不到高價(jià)策略衰減太慢訓(xùn)練后期動(dòng)作噪聲太大策略在小范圍里反復(fù)震蕩收益曲線看起來像心電圖。如果你想復(fù)現(xiàn)論文里那條平滑的收益上升曲線噪聲調(diào)度至少要像學(xué)習(xí)率一樣用心去調(diào)。4. 多 Agent 訓(xùn)練架構(gòu)集中訓(xùn)練與分散執(zhí)行的落地4.1 從單 Agent 擴(kuò)展到多 Agent 的核心矛盾單個(gè) Agent 學(xué)習(xí)報(bào)價(jià)策略環(huán)境是靜態(tài)的訓(xùn)練相對(duì)簡單。但電力市場里所有發(fā)電商同時(shí)在學(xué)問題性質(zhì)就變了。我作為發(fā)電商報(bào)價(jià)高了可能會(huì)被擠出市場但如果其他發(fā)電商也跟著報(bào)價(jià)提高市場價(jià)格整體上漲我的高價(jià)策略反而更賺錢。市場環(huán)境因?yàn)槠渌悄荏w的策略變化而不斷改變對(duì)單個(gè)智能體來說環(huán)境是非平穩(wěn)的。這是電力市場 DRL 復(fù)現(xiàn)中最難解決的一個(gè)點(diǎn)比 DDPG 本身的訓(xùn)練難得多。如果 N 個(gè) Agent 各自獨(dú)立訓(xùn)練每個(gè)都有自己的 Actor、Critic 和回放池樣本之間的時(shí)序關(guān)聯(lián)會(huì)帶來額外的震蕩。A 智能體上一回合的對(duì)手策略分布和這一回合的已經(jīng)完全不同回放池里的舊樣本就變成了錯(cuò)誤的地圖用它更新當(dāng)前策略可能適得其反。我剛開始就是這么寫的結(jié)果三個(gè) Agent 的收益曲線像麻花一樣糾纏沒有一個(gè)收斂。4.2 以 CTDE 為基礎(chǔ)的多 Agent DDPG 實(shí)現(xiàn)我的解決方案是業(yè)界標(biāo)準(zhǔn)的集中訓(xùn)練、分散執(zhí)行CTDECentralized Training with Decentralized Execution。思想很簡單每個(gè) Agent 在執(zhí)行時(shí)只能看到自己的局部觀測所以 Actor 網(wǎng)絡(luò)只輸入自己的狀態(tài)但訓(xùn)練時(shí) Critic 可以看全局信息——所有 Agent 的狀態(tài)拼起來所有 Agent 的動(dòng)作也拼起來這樣 Critic 在評(píng)估當(dāng)前動(dòng)作價(jià)值時(shí)擁有全局視角能夠理解對(duì)手動(dòng)作帶來的影響。執(zhí)行階段不需要全局信息網(wǎng)絡(luò)架構(gòu)天然符合真實(shí)電力市場“發(fā)電商只能看到自己的私有信息市場公開信息”的信息約束。工程實(shí)現(xiàn)上每個(gè) Agent 擁有自己獨(dú)立的 Actor、Critic 和回放池但 Critic 網(wǎng)絡(luò)中加了一個(gè)“全局信息融合”分支。更新時(shí)統(tǒng)一從所有回放池中按相同種子采樣保證訓(xùn)練批次里各個(gè) Agent 的經(jīng)驗(yàn)在時(shí)間上是對(duì)齊的然后各自計(jì)算 Critic loss 和 Actor loss。這種同步更新的方式比異步更新穩(wěn)定得多因?yàn)樗?Agent 共享同一步訓(xùn)練進(jìn)度不會(huì)出現(xiàn)一個(gè)人已經(jīng)學(xué)會(huì)抬價(jià)、另一個(gè)人還在低價(jià)搶量的極端失衡狀態(tài)。4.3 訓(xùn)練過程中的博弈動(dòng)態(tài)觀察我把訓(xùn)練過程完整跑下來之后觀察到幾個(gè)非常明顯的階段。前期探索階段所有 Agent 報(bào)出來的動(dòng)作都很隨機(jī)市場出清價(jià)被壓得很低利潤普遍為負(fù)。中期競爭階段有 Agent 先學(xué)會(huì)了“壓低報(bào)價(jià)多拿電量”這時(shí)候它的利潤上升很快市場均價(jià)維持低位。后期策略分化階段一些 Agent 發(fā)現(xiàn)簡單的低價(jià)策略收益上不去了開始嘗試在部分時(shí)段提升報(bào)價(jià)如果其他 Agent 沒有同步提價(jià)這個(gè) Agent 就會(huì)被擠出市場收益立刻下降但如果多個(gè) Agent 默契地同步提價(jià)市場出清價(jià)整體上移大家利潤都漲。這個(gè)動(dòng)態(tài)過程特別像真實(shí)市場里的價(jià)格同盟只不過在算法層面是純自發(fā)涌現(xiàn)的。復(fù)現(xiàn)論文時(shí)觀察這個(gè)演化過程比盯著最終收益曲線有意思得多也更能理解論文里描述的“市場力”現(xiàn)象是怎么在算法層面浮出水面的。5. Python 代碼實(shí)現(xiàn)核心模塊與訓(xùn)練閉環(huán)拆解5.1 工程目錄與整體流程代碼結(jié)構(gòu)是我在復(fù)現(xiàn)過程中反復(fù)調(diào)整后定下來的。一開始我把環(huán)境、Agent、訓(xùn)練循環(huán)全部寫在一個(gè)文件里結(jié)果改一個(gè)出清參數(shù)要全局搜索調(diào)試效率極低。后來拆成模塊化結(jié)構(gòu)整個(gè)項(xiàng)目變得清爽很多power_market_ddpg/ ├── envs/ │ ├── market_env.py # 電力市場環(huán)境主類 │ └── clearing.py # 出清引擎簡化版 LP版 ├── agents/ │ ├── ddpg.py # DDPG智能體 │ └── networks.py # Actor / Critic 網(wǎng)絡(luò)定義 ├── utils/ │ ├── replay_buffer.py # 經(jīng)驗(yàn)回放池 │ └── logger.py # 日志與指標(biāo)記錄 ├── config.py # 全局超參數(shù) └── train.py # 訓(xùn)練主循環(huán)模塊拆分的收益在后期實(shí)驗(yàn)對(duì)比時(shí)特別明顯。我要換出清規(guī)則只需要改 clearing.py要換網(wǎng)絡(luò)結(jié)構(gòu)只動(dòng) networks.py要調(diào)探索噪聲調(diào)度直接改 config.py 里的參數(shù)。實(shí)驗(yàn)跑多了以后每次實(shí)驗(yàn)的輸出都按時(shí)間戳存進(jìn)獨(dú)立目錄包含完整超參快照和指標(biāo) CSV這樣后來想復(fù)現(xiàn)某次結(jié)果時(shí)不用靠腦子回憶當(dāng)時(shí)改了什么東西。5.2 環(huán)境與出清模塊實(shí)現(xiàn)環(huán)境類負(fù)責(zé)維護(hù)市場狀態(tài)、調(diào)用出清引擎、計(jì)算獎(jiǎng)勵(lì)。核心接口是 reset 和 step跟 Gym 風(fēng)格保持一致這樣后續(xù)如果想接入其他強(qiáng)化學(xué)習(xí)框架會(huì)很方便。step 的輸入是 actions 數(shù)組形狀是 (num_agents, n_periods)里面是每個(gè) Agent 在 24 個(gè)時(shí)段上的報(bào)價(jià)系數(shù)。環(huán)境內(nèi)部根據(jù)報(bào)價(jià)系數(shù)結(jié)合成本參數(shù)生成具體報(bào)價(jià)單送進(jìn)出清引擎得到每個(gè)時(shí)段的出清價(jià)和各 Agent 的出清量再根據(jù)成本函數(shù)計(jì)算獎(jiǎng)勵(lì)。報(bào)價(jià)單生成有個(gè)細(xì)節(jié)值得說一下報(bào)價(jià)系數(shù)不能直接當(dāng)作邊際成本用它是作用在成本函數(shù)的一次項(xiàng)系數(shù) b 上的也就是 bid_price b_i * multiplier。二次項(xiàng) a 不參與報(bào)價(jià)因?yàn)楝F(xiàn)實(shí)中發(fā)電商不太可能把自己的非線性成本結(jié)構(gòu)完全暴露給市場運(yùn)營方。這個(gè)細(xì)節(jié)如果忽略把整個(gè)邊際成本曲線都乘以乘子出清結(jié)果會(huì)失真。代碼里我用了一個(gè)單獨(dú)的方法來生成報(bào)價(jià)單這樣后續(xù)要改成線性報(bào)價(jià)曲線或者分段報(bào)價(jià)曲線都能在不破壞環(huán)境主體的前提下擴(kuò)展。class PowerMarketEnv: def __init__(self, num_agents3, n_periods24, load_profileNone): self.num_agents num_agents self.n_periods n_periods self.load_profile load_profile self.cost_coeffs [ {a: 0.002, b: 0.4}, {a: 0.005, b: 0.3}, {a: 0.003, b: 0.5}, ] def reset(self): # 加隨機(jī)擾動(dòng)模擬需求不確定性 noise 1 0.05 * np.random.randn(self.n_periods) self.load self.load_profile * noise return self._get_state() def step(self, actions): bid_curves self._build_bid_curves(actions) prices, quantities [], [] for t in range(self.n_periods): bids_t [(bid_curves[i][t], self._get_capacity(i)) for i in range(self.num_agents)] p, q clearing.market_clearing(bids_t, self.load[t]) prices.append(p) quantities.append(q) rewards self._compute_rewards(quantities, prices) return self._get_state(), rewards def _build_bid_curves(self, actions): bid np.zeros((self.num_agents, self.n_periods)) for i in range(self.num_agents): b self.cost_coeffs[i][b] bid[i] b * actions[i] return bid5.3 DDPG 智能體與回放池實(shí)現(xiàn)DDPG 智能體的核心方法就兩個(gè)select_action 負(fù)責(zé)根據(jù)當(dāng)前狀態(tài)輸出探索擾動(dòng)后的動(dòng)作update 負(fù)責(zé)從回放池采樣并更新網(wǎng)絡(luò)。select_action 里注意必須把 PyTorch Tensor 轉(zhuǎn)成 numpy 數(shù)組再返回否則后面環(huán)境計(jì)算和記錄都會(huì)帶著自動(dòng)求導(dǎo)的圖內(nèi)存越積越多跑幾百個(gè) episode 就會(huì) OOM。update 里分三步走更新 Critic、更新 Actor、軟更新目標(biāo)網(wǎng)絡(luò)。Critic 的 loss 是預(yù)測 Q 值和目標(biāo) Q 值的均方誤差A(yù)ctor 的 loss 是負(fù)的 Q 值均值——本質(zhì)上就是在最大化 Critic 對(duì)當(dāng)前動(dòng)作的打分。經(jīng)驗(yàn)回放池我用的標(biāo)準(zhǔn)固定容量 deque容量設(shè) 20000。這里有個(gè)權(quán)衡容量太小導(dǎo)致樣本相關(guān)性高訓(xùn)練震蕩容量太大會(huì)讓回放池里的數(shù)據(jù)太舊尤其在多 Agent 場景下舊數(shù)據(jù)對(duì)應(yīng)的對(duì)手策略分布已經(jīng)變化更新反而拖慢學(xué)習(xí)。20000 在 3 Agent 的環(huán)境里夠用。每次隨機(jī)采樣 batch size 是 128用 numpy 的隨機(jī)索引實(shí)現(xiàn)不需要額外復(fù)雜設(shè)計(jì)。class DDPGAgent: def __init__(self, state_dim, action_dim, lr1e-4, gamma0.99, tau0.005): self.actor Actor(state_dim, action_dim) self.critic Critic(state_dim, action_dim) self.target_actor Actor(state_dim, action_dim) self.target_critic Critic(state_dim, action_dim) self.target_actor.load_state_dict(self.actor.state_dict()) self.target_critic.load_state_dict(self.critic.state_dict()) self.actor_opt torch.optim.Adam(self.actor.parameters(), lrlr) self.critic_opt torch.optim.Adam(self.critic.parameters(), lrlr) self.gamma gamma self.tau tau def select_action(self, state, noise_std0.1): state torch.FloatTensor(state).unsqueeze(0) action self.actor(state).detach().numpy().squeeze() action np.random.normal(0, noise_std, sizeaction.shape) return np.clip(action, 0.2, 2.0) def update(self, states, actions, rewards, next_states, dones, global_allies): # 計(jì)算目標(biāo)Q值 next_actions self.target_actor(next_states) target_q self.target_critic(next_states, next_actions) y rewards self.gamma * target_q * (1 - dones) current_q self.critic(states, actions) critic_loss nn.MSELoss()(current_q, y.detach()) self.critic_opt.zero_grad() critic_loss.backward() self.critic_opt.step() # 更新Actor actor_loss -self.critic(states, self.actor(states)).mean() self.actor_opt.zero_grad() actor_loss.backward() self.actor_opt.step() # 軟更新目標(biāo)網(wǎng)絡(luò) for target_param, param in zip(self.target_actor.parameters(), self.actor.parameters()): target_param.data.copy_(self.tau * param.data (1 - self.tau) * target_param.data) for target_param, param in zip(self.target_critic.parameters(), self.critic.parameters()): target_param.data.copy_(self.tau * param.data (1 - self.tau) * target_param.data)5.4 訓(xùn)練主循環(huán)與日志記錄訓(xùn)練主循環(huán)的邏輯不復(fù)雜每個(gè) episode 開始時(shí)環(huán)境重置每個(gè) episode 內(nèi)讓所有 Agent 各自選動(dòng)作、環(huán)境 step、把經(jīng)驗(yàn)存進(jìn)各自回放池、結(jié)束后統(tǒng)一更新一次。如果追求細(xì)粒度可以做多步更新但我復(fù)現(xiàn)時(shí)發(fā)現(xiàn)一個(gè) episode 結(jié)束后更新一次已經(jīng)足夠因?yàn)殡娏κ袌鲞\(yùn)行的天然單位就是一天。日志記錄這件事千萬別偷懶。我記錄了每個(gè) episode 的平均出清價(jià)、每個(gè) Agent 的累計(jì)利潤、報(bào)價(jià)均值與方差、市場集中度指標(biāo)HHI全部落到 CSV 文件。事后分析訓(xùn)練過程時(shí)這些市場層面的統(tǒng)計(jì)量比單個(gè) Agent 的收益曲線更有診斷價(jià)值如果平均出清價(jià)長期低于所有 Agent 的成本中位數(shù)說明訓(xùn)練卡在了低價(jià)策略如果某個(gè) Agent 報(bào)價(jià)方差突然變大說明它的探索噪聲沒退火到位。這些指標(biāo)能幫你快速定位問題省下大量盲調(diào)時(shí)間。6. 復(fù)現(xiàn)結(jié)果分析收斂性、對(duì)比實(shí)驗(yàn)與參數(shù)敏感性6.1 收斂曲線觀察到的現(xiàn)象我用 3 個(gè) Agent 跑了 3000 個(gè) episode。前 500 個(gè) episode市場出清價(jià)震蕩劇烈所有 Agent 的利潤在零附近波動(dòng)這是探索噪聲主導(dǎo)的階段。500 到 1500 個(gè) episode個(gè)別 Agent 開始穩(wěn)定地壓低報(bào)價(jià)搶量它的利潤曲線率先抬頭但市場價(jià)格整體仍在低位。1500 到 2500 個(gè) episode多個(gè) Agent 進(jìn)入策略分化期利潤曲線開始出現(xiàn)明顯的非同步波動(dòng)——一個(gè) Agent 漲價(jià)導(dǎo)致被擠出市場利潤下滑然后它再降價(jià)利潤回升。真正穩(wěn)定的局面在 2500 個(gè) episode 之后才出現(xiàn)此時(shí)市場均價(jià)穩(wěn)定在完全競爭均衡價(jià)格之上的某個(gè)位置三個(gè) Agent 的利潤曲線不再互相糾纏各自保持在穩(wěn)定的水平線上。作為對(duì)比單 Agent 環(huán)境下 800 個(gè) episode 左右就能收斂這個(gè)差距提醒我多 Agent 博弈的收斂不能用單 Agent 的經(jīng)驗(yàn)去預(yù)估要給它足夠的耐心。6.2 與基準(zhǔn)方法的對(duì)比復(fù)現(xiàn)論文總要有一個(gè)基準(zhǔn)對(duì)照才能看出算法的真實(shí)價(jià)值。我做了三組對(duì)比第一組是所有發(fā)電商嚴(yán)格按照邊際成本報(bào)價(jià)這是完全競爭市場的理論基準(zhǔn)第二組是在邊際成本基礎(chǔ)上固定加價(jià) 5%這是很多電力市場經(jīng)典報(bào)價(jià)策略的代表第三組是用 DQN 做離散報(bào)價(jià)每個(gè)時(shí)段從三檔報(bào)價(jià)系數(shù) {0.8, 1.0, 1.2} 里選作為對(duì)比 DDPG 連續(xù)動(dòng)作優(yōu)勢的參照。結(jié)果是DDPG 訓(xùn)練的 Agent 在最終 500 個(gè) episode 的平均利潤比固定加價(jià)策略高出約 18%比邊際成本報(bào)價(jià)高出一倍多DQN 也能學(xué)到策略但因?yàn)閯?dòng)作離散化丟失了大量精細(xì)調(diào)整能力利潤只有 DDPG 的六成左右。這些數(shù)值具體是多少不重要重要的是復(fù)現(xiàn)論文時(shí)要建立這樣的對(duì)比序列才能證明“用強(qiáng)化學(xué)習(xí)學(xué)出來的策略優(yōu)于傳統(tǒng)啟發(fā)式策略”這個(gè)結(jié)論在你的環(huán)境里是成立的。6.3 參數(shù)敏感性分析與經(jīng)驗(yàn)值我在復(fù)現(xiàn)過程中調(diào)過一批超參把最有價(jià)值的經(jīng)驗(yàn)寫下來供參考。學(xué)習(xí)率方面Critic 和 Actor 不要設(shè)成同一個(gè)值Critic 用 1e-3、Actor 用 1e-4效果明顯優(yōu)于兩者相同。原因是 Q 網(wǎng)絡(luò)的誤差面比策略網(wǎng)絡(luò)平滑可以承受更大的學(xué)習(xí)率而 Actor 如果學(xué)習(xí)率太高策略更新步子太大會(huì)導(dǎo)致 Q 值反饋跟不上訓(xùn)練容易震蕩。獎(jiǎng)勵(lì)縮放方面把利潤除以平均可變成本基準(zhǔn)值讓獎(jiǎng)勵(lì)落在正負(fù) 0.5 附近Q 值收斂速度有數(shù)量級(jí)的改善。目標(biāo)網(wǎng)絡(luò)軟更新系數(shù) τ 固定在 0.005 不要?jiǎng)印Ｌ剿髟肼曀p率設(shè)成每 1000 個(gè) episode 衰減 30%太快的后果是策略鎖死在低質(zhì)量區(qū)域太慢的后果是訓(xùn)練后期收益曲線像鋸齒一樣抖動(dòng)。還有一個(gè)容易被忽視的參數(shù)是網(wǎng)絡(luò)初始化的隨機(jī)種子。多 Agent 博弈的收斂結(jié)果是路徑依賴的換一個(gè)隨機(jī)種子可能收斂到完全另一組策略組合。論文里如果只報(bào)告一次結(jié)果很可能是挑了運(yùn)氣最好的那一次。我復(fù)現(xiàn)時(shí)固定了三個(gè)隨機(jī)種子各跑一遍三次都收斂到利潤水平相近的區(qū)間才敢說算法本身是穩(wěn)的。隨機(jī)種子之間的差異如果過大說明多 Agent 博弈的均衡多樣性太強(qiáng)這時(shí)候應(yīng)該優(yōu)先調(diào)整探索噪聲調(diào)度而不是網(wǎng)絡(luò)結(jié)構(gòu)。7. 復(fù)現(xiàn)過程中的坑與解決方案7.1 常見問題速查表我把復(fù)現(xiàn)過程中遇到的最典型的幾個(gè)問題整理成了速查表每個(gè)都是真實(shí)踩過的坑問題現(xiàn)象可能原因解決辦法訓(xùn)練前期所有 Agent 利潤長期為負(fù)探索噪聲太大報(bào)價(jià)普遍低于成本降低初始噪聲、提高報(bào)價(jià)系數(shù)下限收益曲線震蕩幾百個(gè) episode 不收斂多 Agent 環(huán)境非平穩(wěn)同步更新、降低學(xué)習(xí)率、引入 CTDE市場出清價(jià)長期低于成本中位數(shù)所有 Agent 陷在低價(jià)搶量局部最優(yōu)加快噪聲退火、提高報(bào)價(jià)下限Q 值發(fā)散到 10 的 8 次方獎(jiǎng)勵(lì)未做縮放除以基準(zhǔn)值做獎(jiǎng)勵(lì)歸一化Actor 輸出恒在動(dòng)作邊界網(wǎng)絡(luò)容量不足或 Sigmoid 飽和增加隱藏層寬度、檢查動(dòng)作映射范圍單 Agent 正常、多 Agent 后性能驟降CTDE 信息融合沒實(shí)現(xiàn)或時(shí)序不同步檢查所有 Agent 的狀態(tài)與動(dòng)作是否對(duì)齊7.2 多 Agent 訓(xùn)練的四個(gè)核心建議第一固定隨機(jī)種子至少跑三次。多 Agent 博弈的收斂結(jié)果不是唯一的一次實(shí)驗(yàn)的成功可能是運(yùn)氣三次實(shí)驗(yàn)的統(tǒng)計(jì)均值才是算法的真實(shí)水平。第二先單 Agent 跑通再擴(kuò)展多 Agent。單 Agent 環(huán)境里把 DDPG、出清、獎(jiǎng)勵(lì)縮放全部調(diào)通只要不到半小時(shí)多 Agent 里遇到不穩(wěn)定問題調(diào)試復(fù)雜度翻好幾倍。第三多記錄市場層面的統(tǒng)計(jì)量比如平均出清價(jià)、市場集中度、各 Agent 報(bào)價(jià)方差這些指標(biāo)能告訴你訓(xùn)練卡在哪個(gè)階段。第四改進(jìn)獎(jiǎng)勵(lì)一定要保守不要輕易加入復(fù)雜的分量比如“鼓勵(lì)某個(gè)特定報(bào)價(jià)區(qū)間”這類人造獎(jiǎng)勵(lì)很容易讓智能體鉆空子學(xué)出一個(gè)表面好看的報(bào)價(jià)策略實(shí)際卻不適應(yīng)市場變化。7.3 從復(fù)現(xiàn)到擴(kuò)展的一點(diǎn)想法這套環(huán)境搭好之后后續(xù)可以做的事情非常多。動(dòng)作空間可以擴(kuò)展到帶爬坡約束的機(jī)組組合決策出清模型可以換成帶網(wǎng)絡(luò)約束的節(jié)點(diǎn)邊際電價(jià)模型算法可以從 DDPG 換到 MADDPG、MAPPO 或者 SAC。更重要的是這套環(huán)境可以用于研究市場機(jī)制設(shè)計(jì)本身比如改變報(bào)價(jià)紀(jì)律、改變信息披露規(guī)則、引入新能源參與者的隨機(jī)報(bào)價(jià)觀察不同機(jī)制下市場價(jià)格水平和社會(huì)福利的變化。這些都建立在環(huán)境模塊足夠干凈、Agent 架構(gòu)足夠靈活的基礎(chǔ)上這也是我一開始堅(jiān)持模塊化拆分的根本原因。最后分享一點(diǎn)個(gè)人體會(huì)。復(fù)現(xiàn)這類論文最難的部分不是算法公式而是你必須在“貼近真實(shí)市場”和“算法可訓(xùn)練”之間找到一個(gè)平衡點(diǎn)。太真實(shí)的環(huán)境智能體學(xué)不動(dòng)太簡化的環(huán)境復(fù)現(xiàn)出來的結(jié)論又站不住腳。我前兩版代碼基本都廢在環(huán)境設(shè)計(jì)上后來才悟出來先做一個(gè)能訓(xùn)練出合理結(jié)果的最簡環(huán)境再逐步往里面加復(fù)雜度。每一步加完重新確認(rèn)策略還能收斂再走下一步。這種做法看起來慢實(shí)際是快——比一次堆一個(gè)巨型環(huán)境然后從頭調(diào)三周要快得多。希望這篇拆解能讓你少走一點(diǎn)彎路。